Les ruines envoûtantes et suggestives d'un petit prieuré de l'Agenais
La première mention de l'édifice apparaît en 980 sur un cartulaire de biens bénédictins.
Il est ensuite mentionné dans l'acte de donation des biens d'Hunaud de Bruilhois à Moissac, et donc à Cluny, en 1062. Dans cet acte, outre le prieuré Saint-Martin et l'église paroissiale Saint-Sernin de Layrac, Hunaud donne 8 autres églises situées sur le territoire du Bruilhois, dont Saint-Pierre de Cazaux.
En 1408, le prieuré bénédictin de Laplume est uni à celui de Layrac.
En 1604, le registre des insinuations du diocèse de Condom dénombre 3 prieurés clunisiens situés dans l'archiprêtré de Bruilhois : Saint-Martin de Layrac, le prieuré ou doyenné de Moirax et "le prieuré Saint-Pierre de Cazaux, lès La Plume, régulier de l'ordre de Cluny". La Bibliotheca cluniacensis parue en 1614, qui recense tous les biens de Cluny, conforte l'idée d'un prieuré en mentionnant "Prioratus de Plumia, subditus Prioratui de Aleyraco, unitus".
Saint-Pierre de Cazaux est la paroisse principale du bourg de Laplume jusqu'à la construction de l'église Saint-Barthélémy en 1511-1525.
L'église s'ordonne en un plan asssez simple et traditionnel. Sa largeur est de 12 mètres et sa nef est longue de 22 mètres. Nef et choeur sont séparés par un arc triomphal.
Les soubassements romans émergeant du cheur actuel de l'église sont certainement le fruit d'une reconstruction du XIIe s., menée à l'initiative des moines de Cluny. La façade de l'église est contrebutée par de puissants et massifs contreforts (plus de 2,50m à leur base). On remarque la présence de diverses marques lapidaires en forme de Z sur les pierres, laissées par des constructeurs romans. Des croix sont également gravées matérialisant les stations d'un chemin de croix de la période gothique.
Le bas-relief du portail de la façade romane porte la roue symbolique. Elle est classée au titre des objets mobiliers par les Monuments Historiques le 1er juin 1910. La roue est divisée en 8 quartiers par des rayons. Chaque portion comporte une lettre sculptée, qui une fois assemblées forment la formule Pax Vobis (la paix soit avec vous).
Une fois le portail franchi, des éléments frappent immédiatement le regard. Le revers de la façade conserve deux piliers carrés qui portent les sommiers de départ d'une grand arcade correspondant au vaisseau central de l'église romane. L'élévation du mur de façade se prolongeant au-dessus du voûtement du vaisseau central laisse supposer l'existence d'un ancien clocher. L'église de Sérigac-sur-Garonne ressemble à ce que peut-être, en élévation, Saint-Pierre de Cazaux.
Des formerets retombant très haut sur un ensemble de petits éléments sculptés attirent également notre attention. On distingue une tête souriante avec des cheveux bouclés, un animal avec des pattes palmées, un autre aux longues oreilles, un homme accroupi ainsi que des motifs géométriques.
Une autre curiosité de Saint-Pierre de Cazaux réside dans les 11 fenêtres de l'église, basses, situées seulement à 5 mètres du sol. D'une grande simplicité, sans remplage, elles forment à l'extérieur un jour étroit et rectangulaire rendant impossible l'implantation de vitraux et ne laissant que peu entrer la lumière.
Suite à la reconstruction de la nouvelle église dans le bourg au XVIe s., l'église de Cazaux continue à être utilisée pour les offices funèbres. Malgré les multiples travaux de réparation entrepris sur les couvertures et les charpentes au XVI et XIXe s., l'église de Cazaux se détériore peu à peu, ce qui entraîne la ruine de l'édifice et l'écroulement de la toiture en 1888.
Texte proposé par Jean-Luc Moreno dans la revue de l'Agenais 2020, Tome 270°, n°4 de l'Académie des Sciences, des Lettres et des Arts d'Agen.
La commune abrite d'autres édifices religieux, telle les églises de Brimont (XIVe s.), de Saint-Barthémlémy (XVIe s.) et de Saint-Vincent de Plaichac, aujourd'hui propriété privée, ainsi que des remparts offrant une vue magnifique sur la vallée et les Pyrénées.