Dank der Südlage entsteht so ein mediterranes Klima, das bereits zu prähistorischen Zeiten Siedler anzog. Im Hundertjährigen Krieg und in den
französischen Religionskriegen war La Roque Gageac eine uneinnehmbare und dicht bevölkerte Festung.
Die Mehrzahl der Gebäude stammt aus dieser Zeit, auch die Höhlenfestung (die besichtigt werden kann) und die Überreste des Sommerpalasts der Bischöfe von Sarlat.
Durch die Südlage der Felswand wird die Sonnenwärme gespeichert. Dies ermöglichte die Anlage des bemerkenswerten exotischen Gartens neben der Kirche.
Auf halber Höher der Felswand gedeihen hier subtropische und mediterrane Pflanzen.