Les deux tours romaines, Neptune et Jupiter (sur la Grand-Place), faisaient partie des remparts. Ceux-ci furent édifiés sur une large assise constituée de fragments de monuments démantelés, notamment de magnifiques bas-reliefs qui ont enrichi le Musée archéologique. L'une de ces sculptures, représentant Neptune, est restée en place dans la muraille, sous la tour.