Mit Beginn der bäuerlichen Besiedelung des Erzgebirges wurde vermutlich Mitte des 12. Jahrhunderts auf einem Felssporn über dem Thierfelder Bach eine Wehranlage errichtet.
Sie hatte einerseits die Aufgabe, das Gebiet zu erschließen und zu verwalten, als auch die vorbeiführende Salzstraße nach Böhmen zu betreuen.
Diese Anlage wurde im Laufe der Zeit erweitert und immer wieder um- und ausgebaut.
Erster bekannter Besitzer der damaligen Burg war Meinher I. von Werben, der im Jahr 1173 Burggraf von Meißen war, die Grafschaft als Lehen erhielt und das Klösterlein Zelle bei Aue mitgegründet hat.
Ab 1406 wurde die Grafschaft Hartenstein, mit den zugehörigen Dörfern, Wäldern und Burgen an die Schönburger verpfändet und 1417 als böhmisches Reichsafterlehen belehnt.
Das Gebiet reichte bis zum Erzgebirgskamm, und mit einigen Flecken sogar bis ins böhmische.
Ein berühmtes Ereignis dass sich 1455 ereignete, rückte das Schloss ins Licht des öffentlichen Interesses. Nach dem Raub der sächsischen Prinzen Ernst und Albrecht aus dem Altenburger Schloss ergab sich ein der Teil der Entführer und übergab den Prinzen Ernst an den Herren von Schönburg, der ihn am nächsten Tag nach Zwickau geleitete.
Der obere Teil der Grafschaft musste im Jahr 1559 an den sächsischen Kurfürsten verkauft werden. Durch die Ausdehnung des Klosters Grünhainichen war es umständlich und teuer geworden, diesen Teil der Grafschaft zu erreichen und zu regieren.
Im 16. Jahrhundert wurde die Anlage zum bequemer bewohnbaren Schloss umgebaut.
Die Anlage hatte einen ovalen Grundriss und bestand trotz vieler Veränderungen und Modernisierungen bis Ende April 1945.
In den letzten Kriegstagen verschanzten sich Wehrmachts- und SS-Einheiten im Hartensteiner Wald, worauf das Schloss durch amerikanische Bomben am 20. April 1945 fast vollständig zerstört wurde.
Die erhalten gebliebenen Gebäude des äußeren Schlosshofes wurden nach dem Krieg zu Wohnzwecken genutzt.
Eine völlige Beseitigung der Ruine, nachdem schon durch die Bürger Material entnommen werden durfte, konnte verhindert werden.
In ihr fanden wieder, wie in den 30er Jahren, Freilichtaufführungen statt, die sich großer Beliebtheit erfreuten.
Der Förderverein, der sich seit 2001 um den Erhalt und die Nutzung der Schlossruine bemüht, möchte den Ort wieder zum kulturellen Hotspot einschließlich einer Freilichtbühne machen.
