Der Turm (Bergfried) ist der älteste Teil der Anlage. Er stammt aus der Mitte des 13. Jahrhunderts und wurde von den Herren von Passeier als frei stehender Wohnturm erbaut. Da er direkt am Weg zum Jaufen lag, wurde er ursprünglich einfach Turm unter dem Jaufen genannt, erst später erhielt die Anlage den Namen Jaufenburg.
Im 14. Jahrhundert kam es zur Errichtung von Wohngebäuden (Palas). Im 16. Jahrhundert wurde ein weiteres Wohngebäude im Osten (Ostpalas) angefügt, der Bergfried erhöht und die Burg talseitig mit einer zinnenbekränzten Wehrmauer abgeschlossen. In späterer Zeit wurde diese Mauer mit einem Wirtschafts- und Gesindegebäude überbaut. Die 1390 erwähnte Burgkapelle ÑZur Heiligen Margarethì war wahrscheinlich am Palas angebaut. Eine Besonderheit stellen die Wandmalereien im 4. Stock von Bartlme Dill Riemenschneider von 1538 dar.
Von der ursprünglichen Burgausstattung haben sich lediglich einige Reste von Fenster- und Türeinfassungen aus weißem Marmor erhalten, eine vage Vorstellung von der einst reichen Einrichtung gibt ein Inventar aus dem 18. Jahrhundert. Im 18. Jahrhundert begann der Verfall der Anlage. Nach dem Aussterben der Grafen Fuchs wurde die Ruine 1833 öffentlich versteigert, Johann Haller erwarb die Burg samt dem darunter liegenden Bauernhof. Die Anlage ist heute noch im Besitz des Burghofbauern, 1951 und 1998 wurde der Bergfried saniert, 2003 als Außenstelle des MuseumPasseier eingerichtet.
In den fünf Stockwerken des Bergfriedes haben MuseumPasseier und Gemeindeverwaltung den bewegten Werdegang der Burg von ihrer Erbauung bis heute dargestellt. Die Themen der einzelnen Stockwerke sind:
Die Schildhöfe
Die Schildhöfe waren im Mittelalter adelige Ansitze, die sich als burgenartige ÑSteinhäuserì von den Passeirer Holzblockbauten abhoben.
Ein Teil der Schildhöfe lässt sich auf Adelige zurückführen, die durch die räumliche Nähe zum Stammschloss Tirol in Passeier ihre Wohntürme errichteten. Ein anderer Teil geht auf Dienstleute der Landesfürsten zurück, welche Anfang des 14. Jahrhunderts Steuerfreiheit als Gegenleistung für Waffendienste erhielten: Sie wurden zu Schildherren erhoben, gehörten also der untersten Schicht des Adels an. Sie durften innerhalb ihrer Besitzungen frei jagen und fischen und ihnen war das Tragen von Schwert, Messer und Spieß auch in der Kirche und vor Gericht erlaubt.
Durch die Verlegung der landesfürstlichen Residenz von Meran nach Innsbruck im Jahr 1420 verloren die Schildhöfe an Bedeutung. Die Höfe wurden zur Bewirtschaftung an Bauern weitergegeben, bis sie im 19. Jahrhundert in den völligen Besitz der Bauern kamen. Damit wurden aus den ehemaligen Wohntürmen der Schildherren Bauernhöfe. Die Rechte, die ursprünglich Adeligen gegolten hatten, galten nun nicht mehr für die Bauern. Anlässlich der Jahrhundertfeier im Jahr 1909 wurden die Schildhöfler mit Schild und Hellebarde ausgerüstet, welche sie heute noch bei feierlichen Anlässen mitführen. Von den alten Rechten besitzen sie nur mehr das Fischereirecht für alle Bäche in Passeier.
Die heute noch bestehenden 11 historischen Schildhöfe sind: Saltaus, Haupold, Granstein (Weingart) Kalm, Ebion, Baumkirch, Buchenegg, Gereut, Steinhaus, Happerg (Endhof) und Gomion.
Das Gericht Passeier
Tirol war vom 13. bis 19. Jahrhundert in Gerichte eingeteilt, wobei diese neben der Rechtspflege und polizeilichen Diensten alle Aufgaben einer heutigen Gemeindeverwaltung inne hatten. Das Gericht Passeier deckte sich im wesentlichen mit den heutigen Gemeindegrenzen der drei Passeirer Gemeinden. Die Gerichtsversammlungen fanden zunächst viermal jährlich unter freiem Himmel statt (in St. Leonhard auf der Brücke zwischen Stroblwirt und Theiswirt, in St. Martin unterhalb der Kirche), später wurden sie in die Gerichtshäuser verlegt (in St. Leonhard Manggerhaus in der Silbergasse und Frickhaus, in St. Martin Armenhaus). An der Spitze des Gerichts standen die Gerichtsherrn oder Pfleger (Herren von Passeier und später die Grafen Fuchs), welche einen Richter wählen ließen bzw. einsetzten. Dem Richter standen vier gewählte Pröpste zur Einhebung der Steuern und Gerichtsabgaben zur Seite. Das Gericht Passeier war zu diesem Zwecke in vier Propsteien eingeteilt: Propstei Prantach, Walten, Walchs und St. Martin.
Das Wappen des Gerichts Passeier zeigt den Tiroler Adler und eine Eule.
Eng mit dem Gericht verflochten war die Gerichtsgemeinde. Das Tal Passeier war zu einer einzigen Gemeinde zusammengeschlossen, an deren Spitze der Gerichtsanwalt stand. Die entscheidende Macht lag beim Gerichts- oder Gemeindeausschuss, der sich aus zehn sittlich einwandfreien Personen zusammensetzte und wie der Anwalt von der Gerichtsgemeinde gewählt wurde. Die Gerichtsgemeinde wandte sich immer wieder direkt an den Landesherrn und ließ sich ihre Rechte bestätigen, so bereits 1496 von König Maximilian. Ab dem 18. Jahrhundert gab es ständig Streitereien mit den Gerichtsherrn bzw. den Richtern, bis die Gerichtsgemeinde ab 1762 schließlich selbst das Gericht übernahm.
3. Stock Die Herren von Passeier
Die Herkunft der Herren von Passeier ist historisch nicht gesichert, 1233 tritt erstmals ein Perchtold Propst von Passeier auf. 1363 verpfändete Herzogin Margarete von Tirol den Herren von Passeier das Gericht Passeier. Bereits 1418 starben die Herren von Passeier jedoch mit Ritter Hildebrand aus, seine einzige Tochter Barbara heiratete Christoph Fuchs. Das Wappen der Herren von Passeier zeigt eine goldene Spitze auf schwarzem Feld. Über seine Bedeutung lässt sich nichts sagen, als Gemeindewappen von St. Leonhard lebt es weiter.
Die Herren bzw. Grafen Fuchs
Die Fuchs stammen aus dem Überetsch und waren im Spätmittelalter eines der mächtigsten Adelsgeschlechter im Burggrafenamt. Nachdem Christoph Fuchs 1418 das Schloss Jaufenburg mit allen Rechten und Freiheiten verliehen bekam, begann ein schneller Aufstieg. Seine Nachkommen besetzten im 16. Jahrhundert die höchsten weltlichen und geistlichen Ämter des Landes. 1603 wurden die Fuchs Freiherren und 1634 Grafen. Sie lebten fortan jedoch zu verschwenderisch, ihre wirtschaftliche Lage verschlechterte sich und es kam immer häufiger zu Streitigkeiten mit der Talbevölkerung. 1749 starb der Mannesstamm der Fuchs zu Jaufenburg aus und das Gericht Passeier und die Jaufenburg fielen an die Fuchs zu Lebenberg. 1828 erlosch auch dieses Geschlecht mit dem Tode von Johann Graf Fuchs. Die Erben seiner Frau versteigerten schließlich die Jaufenburg, die schon vorher verlassen und teilweise dem Verfall preisgegeben war.
Die Wandmalereien
Die Ausmalung stellt ein hervorragendes und für Südtirol seltenes Zeugnis der Renaissance-Kunst dar. Die Malereien aus dem Jahr 1538 sind Bartlme Dill Riemenschneider zuzuschreiben, dem fortschrittlichsten Maler seiner Zeit in Südtirol.
Im grau-violetten Scheingesims der Südwand hat der Künstler an einem gemalten Riemen mehrmals eine angesetzte Schere angedeutet und so auf originelle Weise auf seinen Namen aufmerksam gemacht.
Die dazwischen angebrachten Wappenschilde beziehen sich auf die Familie des Auftraggebers Christoph Fuchs, der zum Zeitpunkt der Ausmalung Domherr von Brixen war. Die zahlreichen Bibelzitate in den Schrifttafeln und Spruchbändern bezeugen seine Hinwendung zur Religion und stellen den Schwerpunkt der Ausmalung dar.
Nähere Einblicke in die Geschichte gibt ein Kurzführer, welcher im vierten Stock erhältlich ist. Auf Wunsch werden vom MuseumPasseier Führungen durchgeführt, wozu allerdings eine Voranmeldung unter Tel. 0473 659086 notwendig ist (Mindestteilnehmerzahl 5 Personen).