Construit durant la guerre de Cent Ans par Louis II de Bourbon et ses successeurs, Jean Ier et Charles Ier, ce château des 15e et 16e s. possède un vaste corps de logis rectangulaire, que flanquent, côté ville, une tourelle et une grosse tour rectangulaire. Protégé par un rempart et par le mur d'enceinte de la cité, dont il reste des vestiges dans le jardin Wilson, il était destiné à défendre la ville.