Die ältesten Bauelemente des Gartenschlosses stammen aus dem Ende des 13. Jahrhunderts. Mitte des 16. Jahrhunderts erfolgt eine Erweiterung als Wohnburg und gleichzeitig eine Anpassung an den vorherrschenden Stil der Renaissance.
Sehenswert sind außerdem Tierpark und Gartenanlage.
Die Herbersteins gehen zurück auf den Stammvater Otto von Aflenz, der sich nach dem Erwerb der Burg Otto von Herberstein nannte. Im 16. und 17. Jahrhundert waren ca. 1000 Bauernhöfe (das sind untgefähr 20 Prozent der heutigen Steiermark) den Herbersteins zinspflichtig. 1710 wurde das Adelsgeschlecht in den Reichsgrafenstand erhoben.