Desde entonces son muchos, incluido el actual propietario, los que afirman haber visto a La "Dame Blanche", una mujer vestida de blanco, vagar por el castillo durante la noche.
A lo largo de los siglos, el castillo de Puymartin cambió de manos en numerosas ocasiones, fue saqueado, se vio privado de sus murallas, sus torres y su tejado, e incluso fue abandonado en cierto momento. La familia del propietario actual se hizo cargo del edificio a finales del siglo XIX e inició un largo proceso de restauración.
Además de la elegancia general de su arquitectura, se puede admirar la escalera de caracol, la sala principal decorada con tapices del taller de Aubusson, las vigas de estilo francés y el magnífico mobiliario transmitido de generación en generación.