Au début du 13e s., ce bâtiment était le siège épiscopal de l'évêché de Moray. Il demeura la résidence des prélats, après le transfert du siège à Elgin. Parmi les différentes constructions, la tour dite de Davie est un donjon à six étages avec des murs épais de près de 2,7 m.