Infolge der Errichtung der Eisenhütten und des Hammerwerks in Fügen, erbaute sich der erste Gewerke in diesem Gebiet, Georg von Keutschach, einen Wohnturm. 1581 kam dieser an die Familie Schneeweiß, welche ihn 70 Jahre später an die Grafen von Fieger weiterverkauften. Diese brachten den Ansitz zwischen 1695 und 1702 in die heutige Form, indem sie durch Neubauten einen rechteckigen Komplex mit Innenhof schufen. Der ursprüngliche Turm wurde in die Südwestecke integriert. Aufgrund dessen, dass das Schloss immer bewohnt war, wurde das Innere oftmals umgestaltet, sodass aus dieser Zeit nur sehr wenige Zeugnisse erhalten blieben, wie Wappen über dem Hauptportal. Im Festsaal wurde 1822 anlässlich eines Treffens zwischen Zar Nikolaus I. und Kaiser Franz I. erstmals öffentlich das Lied „Stille Nacht, Heilige Nacht“ aufgeführt.
Unter dem Besitz der Grafen von Dönhoff wurde 1831 eine Nadelfabrik innerhalb des Schlosses errichtet, welche bis 1851 das Eisen aus den Fügener Hütten verarbeitete.
1926 kam der Bau an das Seraphische Liebeswerk, welches die „Bubenburg“ darin unterbrachte.
(Autor: MF)