Le musée fut créé en 1825 grâce à la générosité du peintre montpelliérain François-Xavier Fabre (1766-1837) qui y rassembla plusieurs collections. Son fonds, largement enrichi par la suite, en particulier grâce aux donations d'artistes locaux comme Bazille ou Soulages, compte plus de 900 oeuvres (sur plus de 7 000), présentées de façon chronologique, de la Renaissance à nos jours.