Ce fut d'ailleurs l'un des plus importants de la région. Les traces d'occupation s'étalent d'ailleurs de la Préhistoire à la Protohistoire. Une légende ou une tradition veut que ces grottes aient servi d'abris, lors des invasions sarrasines à un dénommé Kalès et ses hommes. Ce qui est plus assuré est que ce site appartient à la première génération des grands castra du Moyen Âge.

On y accède par d'étroits escaliers taillés dans le roc. Mais la présence de trous de boulins dans la falaise montrent que certaines excavations n'étaient accessibles que par des échelles de branchages. Les grottes furent habitées du XII^e siècle jusqu'au XVI^e siècle par une population qui a varié entre 120 et 220 habitants. Des rigoles creusées dirigeaient les eaux de ruissellement vers des citernes et des aiguiers. C'est de la dernière période d'occupation que date les aménagements les plus sophistiqués avec cheminées, placards, tasseaux et feuillures de portes.

Le site de Calès, dont on est assuré qu'il servit maintes fois de refuge à la population de Lamanon est à mettre en rapport avec le castrum de Alamanone, daté du XI^e siècle. L'histoire montre qu'au cours des années 1390, les habitants eurent à subir la vindicte des troupes de Raymond de Turenne. Non seulement elles saccagèrent le château mais provoquèrent la fuite de la population dans les grottes. Deux siècles plus tard, elles servirent encore une fois de refuge, lors des guerres de religion, à Carrier d'Alleins et à ses bandes qui n'abandonnèrent le fort qu'après l'avoir mis en l'état de ruines. Les grottes furent définitivement abandonnées en 1586, au cours de ces mêmes guerres de religion.

Si les différentes périodes d'occupation restent difficile à dater avec précision, il n'en est pas moins indéniable que cet ensemble avec ses escaliers et ses gradins pour l'ancrage des maçonneries constituent un « vocabulaire » spécifique à ce site.

Ce site est aujourd'hui couronné par une statue de la Vierge qui domine le village troglodyte.