Die Besiedlung des hinteren Defereggentales erfolgte über die Pässe her von den Nachbartälern, besonders von Antholz über den Staller Sattel.

Das Institut für Ur- und Frühgeschichte der Universität Innsbruck mit Prof. Dr. H. Stadler/ W. Leitner hat von 1989 bis 1992 systematische Grabungen auf dem Hirschbichl (2145 m) getätigt und dabei Kulturschichten mit Feuerstellen aus der Mittleren Steinzeit (8. bis 5. Jahrtausend vor Chr.) und Kleinfunde von Ersatzklingen für Pfeil- und Wurfhölzer steinzeitlicher Jäger wissenschaftlich nachweisen können.

Viele Orts- und Flurnamen deuten auf eine ehemalige keltische und slawische Einwohnerschaft hin. Im 8. Jhdt gelangte das Gebiet jedoch in die Abhängigkeit von den Bajuwaren. Die ältesten Talbezeichnungen lauten: Tobereche, Tovireche, Tovereke, Tobrich. Sie sind dem Neustifter Salbuch der Jahre 1148 bis 1164 entnommen. Im 15. Jhdt. scheinen die Bezeichnungen: Töffreggen, Doffröggen, Döffrogg u. ä. auf. Ebenso strittig ist die heute offizielle Namensschreibung Defereggental, weil im allgemeinen Sprachgebrauch ausschließlich „die Defregger bzw. Defreggental" in Verwendung ist.

Ob die Namensdeutung, die die Entstehung des Namens Defereggen auf das slawische „Daber‘-Schlucht zurückführt, richtig ist, muss dahingestellt bleiben. Der Taleingang bei Huben bildet allerdings eine auffallende Mündungsschlucht der Schwarzach.

Die Urbarmachung des Bodens durch Rodung des Waldes beschränkte sich bis Ende des Mittelalters vorwiegend auf die Sonnseite des Tales. Dort entstanden bäuerliche Wirtschaftseinheiten, die in der Hochlage als „Schwaigen" (Viehhöfe) bezeichnet wurden. Eine Schwaige hatte zumeist ein Ausmaß von 12 Stück Großvieh mit einer Zinsleistung von 300 Pfund Käse pro Jahr. Das görzische Güterverzeichnis (Urbar) aus dem Jahr 1299 verzeichnet im Anteil des Gerichtes Virgen im  hinteren Döfrickh 12 namentlich genannte Schwaigen.

Nach dem Tode des Grafen Albert III. von Tirol ist Schloss und Gericht Virgen an die Grafen von Görz übergegangen, anlässlich der Teilung der Grafschaften Tirol und Görz von 1271 ist der Inhaber Graf Albert II. von Görz. Die Besitzungen des Gerichtes Virgen erstreckten sich vom Trojeralmbach westlich bis Seebach mit den Enklaven Feistritz und Ratschitsch. Die Großrotte von St. Leonhard bis zum Trojeralmbach gehörte zum Gericht Windisch Matrei und kam erst 1817 politisch und 1820 kirchlich zu St. Jakob.

Urkundlich belegt ist 1516 die Weihe einer Kirche zu Ehren des hl. Jakobus des Älteren (1516) durch Bischof Berthold von Chiemsee. Sie stand im heutigen Friedhof. 1827/30 erfolgte der Bau der jetzigen Pfarrkirche durch den Vorarlberger Baumeister Simon Moosbrugger. Sie wurde am 7. 9. 1839 vom Brixner Weihbischof Georg Prünster eingeweiht.

Die Altäre fertigte 1842 der aus Sexten stammende Josef Stauder an, das Hochaltarbild ist ein Werk des Venezianers Leonardo Davonini (Hl. Jakobus). Die Orgel wurde 1896 vom Orgelbauer Fuetsch, Lienz, aufgestellt. Die heutigen Deckengemälde malte1934/35 Johann Baptist Oberkofler, der aus St. Johann im Ahrntal gebürtig und Priester in Brixen war. Die Kirchenbänke fertigte der einheimische Tischler Franz Stemberger an.

Das Kriegerdenkmal auf dem Kirchplatz stammt dem Wiener Bildhauer ORAH. Es wurde 1927 eingeweiht, 1951 erweitert und 1990 auf Betreiben der Schützenkompanie renoviert.

Die Filialkirche St. Leonhard ist das Werk des Meisters der Görzer Bauhütte, Hans von Lienz („1480 diß paw hat gemacht maister hanns von Lüntz"). Diese spätgotische Wallfahrtskirche wurde in den Jahren 1955 bis 1959 gründlich renoviert.

Die Mariahilfe-Kapelle in der Oberrotte wird von den Talbewohnern gern besucht. Das Altarbild ist eine gute Kopie des Mariahilfbildes von Lukas Cranach in der Domkirche St. Jakob zu Innsbruck. Die Glasfenster entwarf Carl Rieder von Schwaz.

Im 15. Jhdt. zeigten sich Erzfunde im Trojeralmtal über der Waldgrenze. Es wurde bald lebhaft nach Kupfer geschürft. der Abbau von Blei, Silber und Gold  war unbedeutend.

Das „Handelshaus" im Ortskern wurde in der Hochblüte des Bergbaues 1627 errichtet und diente den Gewerken als Verwaltungsgebäude. Zwei mächtige Schlackenhaufen standen bis ca. 1920 am Ortseingang (Kohlplatz) und wurden als Straßenschotter beim Bau der Talstraße verbraucht. 1714 waren noch 3 Zechen mit 17 Knappen tätig. Nachher verliert sich jede Spur eines aktiven Bergbaues. Stolleneingänge in 2300 m Seehöhe und das beeindruckende Fundament des Knappenhauses und der Erzscheideanlage sind erhalten geblieben.

Als der Bergbau zu erliegen drohte, sahen sich die Leute von St. Jakob, denen man außerordentlichen Geschäftssinn nachsagen kann, nach anderen Erwerbszweigen um.

Schon im 17. Jhdt. hatten sich einige dem Hausieren zugewandt, und nach und nach nahm dieses Wanderhändlerwesen ganz beachtliche Formen an. Ein Teil der Männer war das ganze Jahr auf Wanderschaft, der größere kehrte zur Zeit des Frühjahrsanbaues in das Heimattal zurück und ging erst wieder nach dem Ende der Feldarbeiten „auf den Handel‘. Gehandelt wurden Teppiche, Stoffe, dann Wetzsteine, Sensen, Hüte, Handschuhe, Uhren und Kleinzeug. Nicht wenige gelangten auf diese Weise durch Fleiß und unverdrossenes Handeln zu Geld und wurden ortsfeste Kaufleute. Als tüchtige Kaufleute bewährten sich die St. Jakober in vielen Städten der Monarchie.

Heute gibt es in Wien Firmennamen, die ihren Ursprung auf Deferegger Hausierer und Fabrikanten zurückführen.

Da die Deferegger weit in der Welt herumkamen, waren ihnen fremde Ideen bekannt, die sie auch in ihr heimatliches Tal brachten. So auch den Protestantismus. Nach und nach gewann die „neue Lehre" immer mehr Anhänger, gegen die schließlich die weltlichen und kirchlichen Behörden mit drakonischen Maßnahmen vorgingen 1684/85 wurden durch Erzbischof Gandolph von Salzburg 910 Talbewohner — darunter 69 aus St. Jakob — ausgewiesen. Im strengsten Winter hatten sie unter Zurücklassung ihrer noch nicht fünfzehnjährigen Kinder die Heimat zu verlassen. Die Ausgewiesenen wanderten in die Gegend von Augsburg, Ulm oder Stuttgart, kleinere Gruppen auch in die Schweiz. (nach Prof. Dr. Dessitori)

Quellenangabe:

Bezirkskunde Osttirol 1993: bearbeitet von Viktor Ladstätter (geschichtliche Daten) und ergänzt von Rudolf Ladstätter (Statistik,Text)
Gemeindeamt St. Jakob (Robert Ladstätter und Hannes Erlsbacher): Flächennutzung, Bevölkerungsentwicklung, Schutzbauten, Viehzählung, Wasser
Tourismusverband Defereggental (Doris Erlsbacher): Nächtigungsstatisik, Tourismusbetriebe
Universität Innsbruck (Institut für Ur- und Frühgeschichte): Projekt Hirschbichl und Projekt Kupferbergbau im Trojertal