1279 wurde die Kapelle „in castro" durch den Bischof von Brixen eingeweiht, der auch einen Ablas dazu vergab. In den folgenden Jahrhunderten finden sich zahlreiche Rechnungen über Instandhaltungsarbeiten und Ausbauten der Burg.
1448 heiratete Erzherzog Sigmund Eleonore von Schottland und wählte die Innsbrucker Burg als ihren Wohnsitz. Für die Erzherzogin und ihren Hofstaat wurde ein eigener Trakt reserviert, der auch einen eigenen Eingang erhielt.
Kaiser Maximilian I. ließ in Innsbruck den Neuhof und die Hofburg errichten, wodurch die bisherige Innsbrucker Burg ihre Funktion als Residenz des Landesherrn verlor. Entsprechend der Maximilianeischen Zeughausoffensive wurde sie in ein Zeughaus umgebaut. Zur selben Zeit wurde das äußere Zeughaus (heute Museum Zeughaus) errichtet, wodurch die ehemalige Burg als „Inneres Zeughaus" bezeichnet wurde.
Im 16. Jahrhundert wurde der Gebäudekomplex grundlegend saniert, wobei auch 1555 durch den Hofmaler Paul Dax die Fassade künstlerisch gestaltet wurde. Den Mittelpunkt bildete die Abbildung des Ordens vom Goldenen Vlies, die vom Bindenschild und dem Tiroler Ader umrahmt wurden. Die übrige Fassade wurde mit Laubwerk und kriegerischen Trophäen verziert.
1755 wurde das Gebäude erstmals als „landesfürstliche Caserne" bezeichnet, worauf 1790 umfangreiche Umbauarbeiten durchgeführt wurden. Der angrenzende Innturm wurde geschliffen und die Mauritiuskapelle abgetragen.
Über die bauliche Substanz der ehemaligen Burg ist gerade aus der Zeit ihrer Erbauung und ihrer Funktion als Residenz beinahe nichts bekannt. Trotz mannigfacher Quellen zu Ausbesserungen und Ausbauten, ist nicht einmal die genaue Position der Burgkapelle überliefert. Eine der wenigen Quellen hierzu ist der Aquarell „Jnsprug" von Albrecht Dürer aus den Jahren 1494-95.
Wie der Bau zur Zeit seiner Funktion als „Inneres Zeugheus" ausgesehen hat, ist zwar im Detail nicht bekannt, jedoch gibt das Haller Bergbaubuch hierzu gewisse Anhaltspunkte, wo dieser Teil zeichnerisch verewigt wurde.