L'histoire de ces places fortes est étroitement liée aux événements qui agitèrent le Languedoc au XIIIe siècle, alors que la croisade déclarée contre les cathares (les Albigeois hérétiques) plaçait la région au centre de toutes les attentions.

La religion cathare dérive du christianisme romain. En 1209, après l'assassinat de Pierre de Castelnau, le pape Innocent III ordonna une croisade. Les croisés et leur chef Simon de Montfort détruisirent Béziers et Carcassonne.

L'un des fils de Simon de Montfort, Amaury, et ses soldats marchèrent sur Marmande et massacrèrent plus de 5 000 hommes, femmes et enfants qu'ils accusaient d'hérésie…

Une Église cathare existait bien en pays agenais, mais la proportion de Marmandais l'ayant rejointe reste inconnue. Cette croisade ne prit fin que sous la régence de Blanche de Castille, en 1229. Le dernier bastion de résistance, Montségur, persista jusqu'en 1244. Le 16 mars de cette même année, plus de 200 cathares furent brûlés vifs pour n'avoir pas renié leur foi. Ils étaient convaincus du bien-fondé de leurs croyances au point de chanter tout en se jetant dans les flammes.

La légende raconte qu'après la chute de la citadelle de Montségur, le trésor des cathares fut caché dans les grottes de Lombrives pour échapper à l'Inquisition. On ignore à ce jour en quoi consiste ce trésor.