Schon in vorgeschichtlicher Zeit befand sich eine Wallburg am Platz der Burg Sprechenstein. 1241 wurde eine Hochmittelalterliche Burganlage durch Graf Albert von Tirol infolge eines Konfliktes mit dem Bischof von Brixen errichtet. Im Friedensschluss desselben Jahres verpflichtete sich Albert zwar zur Schleifung der Anlage, jedoch blieb diese Bestehen und ging als Lehen an die Herren von Trautson, welche sie bis zu deren Aussterben im Jahre 1780 behielten. Seit damals befindet sich die Burg im Besitz der Grafen Auersperg.

Die Anlage wurde in zwei Bauwellen errichtet, wobei in der ersten Bauphase der runde Bergfried und die ihn umgebenden Gebäude gebaut wurden.
Während des 2. Weltkrieges erlitt die Wehranlage mehrere Bombentreffer, wodurch Teile der Anlage und auch Kunstschätze vernichtet wurden. Die Familie Auersperg ließ die Festung jedoch wieder herstellen.

(Autor: MF)