Fondé en 1496, ce collège était autrefois un couvent bénédictin, édifié autour de la cour du cloître et de la chapelle du prieuré du 12e s. La première cour, dont la solide entrée date du début de l'époque Tudor, fut ajoutée au 16e s., la deuxième cour et la cour de la chapelle au 19e s., et la cour nord au 20e s.