Le premier édifice défensif de Celje, dit Vieux château, fut bâti dans la première moitié du 13e s. Un siècle plus tard, il passa aux seigneurs de Žovnek, comtes de Celje après 1341. Leur ambitieuse reconstruction, conservant sa force défensive, en fit une résidence prestigieuse. En témoigne la tour Frederick, qui domine la partie est du château. Après plusieurs remaniements, il finit au 19e s. par servir de carrière, avant que, depuis 1882, la puissante fortification ne commence à renaître de ses ruines.