Ce palais (15e-17e s.) fut au départ une maison d'hôte dépendant de l'abbaye. Les rois Stuart la transformèrent en résidence royale et Charles II chargea l'architecte sir William Bruce de concevoir de nouveaux plans. Après quelques vicissitudes, le château redevint résidence royale sous le règne de Victoria. Les bâtiments de la cour intérieure sont un bel exemple de la période Renaissance. La décoration des Appartements d'État est somptueuse, notamment les plafonds en haut-relief.