Érigé au 12e s., le palais des Trencavel fut transformé en citadelle après 1226. Depuis le règne de Saint Louis, un immense fossé et une barbacane de plan semi-circulaire en font une forteresse à l'intérieur de la Cité. Il abrite un Musée lapidaire (voir le calvaire de Villanière), possède aussi deux cours intérieures à l'architecture remarquable relevée par la présence de nombreuses tours (rempart ouest). Au 2e étage, un film et une exposition racontent les travaux de restauration de Viollet-le-Duc.