Dominant de sa puissante silhouette la vallée de l'Allaine, le château conserve de l'époque médiévale la tour Réfous (45 m) qui, de son sommet, offre une belle vue. Accolée à la façade est, la tour du Coq porte ses armoiries (le coq) ainsi que celles de l'évêché de Bâle (la crosse).