D'après la légende, son nom remonterait aux croisades : un seigneur, resté seul parmi ses sujettes, périt de son excès de complaisance envers les pauvrettes esseulées. Lorsque son âme s'envola, on vit planer un énorme bouc sur le château qui, depuis, s'est appelé Castelbouc. Les ruines du château se dressent sur un rocher escarpé, haut de 60 m, qui surplombe un joli petit village troglodytique accroché à la falaise calcaire qui se reflète dans le Tarn.