Peu avant d'aborder le village, on découvre, à gauche au bout d'une allée, un château du XIIIème siècle qui appartenait à la famille de Bivès; en 1418 le fief passe à la maison de Marreux et par alliance au XVème siècle, il est la propriété de Castelbajac, qui passe bail à bâtir avec les maçons du village en 1582 pour opérer des démolitions et d'importantes transformations du château auquel il a été adjoint une tour ronde : cage d'une vis de pierre.

La petite fille apportera Bivès à Octavien DU BOUZET et par échange deviendra la propriété d'Henri de Preissac d'Esclignac qui émigrera; le château sera alors vendu comme un bien national.
En 1855 Bivès est devenu la propriété de la famille de Mellis, est la proie d'un incendie et l'objet d'une reconstruction partielle selon un cachet Renaissance, lui donnant son visage actuel.

Quant à l'église paroissiale, c'est en réalité une ancienne chapelle voûtée en berceau avec une sacristie du XIIème siècle; la nef, le choeur et le clocher-mur datant de 1612; celui-ci comporte cinq arcades mais chaque arcade est garnie de sa cloche, ce qui est rarissime.
Dans l'église restaurée en 1853 le regard se porte, à droite en rentrant, sur la statue moderne du bienheureux Charles de Bouzet ancien vicaire général de Reims. Ce dernier est né au château de Bivès et fut assassiné le 3 septembre 1792 à la prison de Saint-Germain-des-Prés à Paris et béatifié sous Pie XI le 17 octobre 1926, faisant partie des "Martyrs de Septembre".

Sources :
- Promenades en Lomagne : André Dupuy
- En Flanant en Lomagne : S.P.A.Q.B