Un nouvel évêché fut construit au 12e s. à côté de la nouvelle cathédrale. Deux reconstructions suivirent aux 16e et 17e s., la dernière par le comte Patrick, désireux de créer une vaste résidence seigneuriale incorporant son nouveau palais. La tour d'angle ronde date des transformations engagées au 16e s. par l'évêque Reid. La sculpture de grès jaune (dans une niche rouge) représentant un évêque date du 13e s.