Sindsdien heeft een groot aantal mensen, waaronder de huidige eigenaar, 'La Dame Blanche' (een vrouw in wit gewaad) 's nachts in het kasteel zien ronddwalen.
Door de eeuwen heen is Château de Puymartin verschillende malen van eigenaar veranderd en geplunderd, en zijn de vestingmuren, torens en daken ontmanteld. Ook is het kasteel een tijdlang onbewoond geweest. De familie van de huidige eigenaar nam het kasteel aan het eind van de 19e eeuw over en begon het langdurige restauratieproces.
Naast de elegante architectuur zijn er bewonderenswaardigheden zoals de fraaie wenteltrap, een staatsiekamer behangen met wandtapijten uit Aubusson, balken in Franse stijl en magnifiek meubilair dat van generatie op generatie is overgedragen.