Seither haben viele Besucher und auch der heutige Schlossherr La Dame Blanche, eine Frau in Weiß, nachts durch die Gänge des Schlosses wandeln gesehen.
Im Lauf der Jahrhunderte wechselte das Château de Puymartin mehrmals den Besitzer. Es wurde geplündert, seiner Schießscharten, Türme und Dächer beraubt und stand lange Zeit leer. Die Familie des heutigen Besitzers begann Ende des 19. Jahrhunderts mit den umfangreichen Restaurationsarbeiten.
Das gesamte Schloss ist sehr attraktiv, doch besonders bemerkenswert sind die Wendeltreppe, ein Ehrengemach mit Wandteppichen aus Aubusson, Deckenbalken „à la française“ und wunderbare Möbel, die seit Generationen im Familienbesitz sind.