Aufmerksamkeit ist alles: Der Transformer, Self-Attention und die Architektur moderner KI

Der Aufhänger: Ein Satz, der die Welt veränderte

Im Juni 2017 lud ein Team von acht Forschern bei Google eine Arbeit auf den Preprint-Server hoch, deren Titel wie eine Provokation klang: „Attention Is All You Need" – „Aufmerksamkeit ist alles, was du brauchst". Der Titel war halb Scherz, halb Manifest. Er behauptete, dass man einen ganzen Zweig der Ingenieurskunst – die rekurrenten neuronalen Netze, an denen die Übersetzungsforschung jahrelang gefeilt hatte, und die Faltungsnetze, die aus der Bildverarbeitung kamen – schlicht wegwerfen könne. Alles, was übrig bleiben müsse, sei ein einziger Mechanismus namens Attention, zu Deutsch etwa „Aufmerksamkeit".

Man muss sich klarmachen, wie kühn das war. Zu diesem Zeitpunkt galten rekurrente Netze mit sogenannten LSTM-Zellen als der unangefochtene Königsweg für alles, was mit Sprache zu tun hatte: maschinelle Übersetzung, Spracherkennung, Textzusammenfassung. Sie hatten eine eingebaute, intuitive Logik – sie lasen einen Satz Wort für Wort, von links nach rechts, so wie ein Mensch liest. Der Vorschlag, diese ganze zeitliche Logik aufzugeben und stattdessen jedes Wort gleichzeitig auf jedes andere blicken zu lassen, wirkte fast widersinnig.

Und doch: Kaum eine wissenschaftliche Arbeit der letzten zwei Jahrzehnte hat die Welt so tief umgepflügt. Die in dieser Arbeit vorgestellte Architektur – der Transformer – ist heute das Fundament praktisch jedes großen KI-Systems, das du kennst. Jedes große Sprachmodell, von der GPT-Reihe über Claude bis zu Gemini und den offenen Modellen, ist im Kern ein Transformer. Die Bildgeneratoren, die Proteinfaltungsmaschinen, die Code-Assistenten: Transformer, Transformer, Transformer. Das „T" in „GPT" steht buchstäblich für „Transformer". Eine Architektur, die ursprünglich für die Übersetzung von Deutsch nach Englisch gedacht war, wurde zum universellen Rechenbaustein einer ganzen technologischen Epoche.

Dieser Artikel nimmt dich mit auf die ganze Strecke: von dem Problem, das der Transformer löste, über die überraschend einfache Grundidee der Attention, ihre mathematische Gestalt, den vollständigen Bauplan der Architektur, bis hin zu der Frage, warum ausgerechnet dieser Entwurf gewann – und ob der triumphale Titel von 2017 heute, im Zeitalter von Mamba und den Zustandsraummodellen, überhaupt noch stimmt. Am Ende sollst du nicht nur wissen, was ein Transformer ist, sondern warum er so aussieht, wie er aussieht.

Teil 1: Das Problem vor dem Transformer

Der sequenzielle Flaschenhals

Um zu verstehen, warum der Transformer eine Revolution war, muss man verstehen, wogegen er antrat. Bis 2017 dominierten rekurrente neuronale Netze (RNNs) die Verarbeitung von Sequenzen. Ein RNN liest eine Folge – etwa die Wörter eines Satzes – strikt der Reihe nach. Es hält einen internen Zustand, eine Art Gedächtnis, und aktualisiert diesen Zustand bei jedem neuen Wort. Wort eins verändert den Zustand, dann kommt Wort zwei und verändert ihn weiter, dann Wort drei, und so fort. Der Zustand nach dem letzten Wort ist eine komprimierte Zusammenfassung des gesamten Satzes.

Diese Bauart hat eine fundamentale Schwäche, die sich nicht wegoptimieren lässt: Sie ist von Natur aus seriell. Um Wort 100 zu verarbeiten, muss das Netz erst die Wörter 1 bis 99 durchlaufen haben, denn jeder Schritt hängt vom Ergebnis des vorherigen ab. Auf modernen Grafikprozessoren, die ihre gewaltige Rechenkraft gerade daraus ziehen, dass sie Tausende Operationen gleichzeitig ausführen, ist das ein Desaster. Ein RNN lässt diese Parallelität ungenutzt liegen. Es zwingt eine Maschine, die für Parallelarbeit gebaut ist, im Gänsemarsch zu rechnen.

Das Problem des langen Gedächtnisses

Es kam eine zweite Schwäche hinzu. Information musste in einem RNN einen langen Weg zurücklegen. Wenn das erste Wort eines Satzes für die Bedeutung des letzten Wortes wichtig ist – man denke an einen deutschen Nebensatz, in dem das entscheidende Verb erst ganz am Ende auftaucht –, dann muss dieses Signal durch alle dazwischenliegenden Verarbeitungsschritte hindurchgereicht werden, ohne verwässert zu werden. In der Praxis gelang das nur unvollkommen. Die berüchtigten Probleme der verschwindenden und explodierenden Gradienten machten es schwer, Abhängigkeiten über große Distanzen zu lernen. LSTM- und GRU-Zellen, ausgeklügelte Varianten der RNN-Zelle mit eingebauten „Toren", milderten das Problem, lösten es aber nie ganz.

Anschaulich gesprochen: In einem RNN ist der Weg zwischen zwei Wörtern so lang wie die Zahl der Wörter, die zwischen ihnen liegen. Je weiter zwei zusammengehörige Wörter auseinanderstehen, desto schwieriger wird es, ihre Beziehung zu erfassen.

Der erste Funke: Bahdanau und die Attention von 2014

Die Idee der Attention wurde nicht 2017 erfunden. Ihre Geburtsstunde war eine Arbeit von Dzmitry Bahdanau, Kyunghyun Cho und Yoshua Bengio aus dem Jahr 2014 mit dem Titel „Neural Machine Translation by Jointly Learning to Align and Translate". Diese Forscher arbeiteten am klassischen Encoder-Decoder-Modell für die Übersetzung. Der Encoder – ein RNN – presste den gesamten Quellsatz in einen einzigen Vektor fester Länge, den Kontextvektor. Der Decoder – ein weiteres RNN – sollte aus diesem einen Vektor den ganzen Zielsatz erzeugen.

Genau hier lag ein Nadelöhr. Der ganze Satz, ob fünf oder fünfzig Wörter lang, musste durch dieses eine Vektorbündel hindurch. Bei langen Sätzen brach die Qualität ein, weil ein Vektor fester Größe einfach nicht genug Platz hatte, um alle Feinheiten zu speichern. Bahdanau und Kollegen fanden eine elegante Lösung: Statt den Decoder auf einen einzigen Kontextvektor festzunageln, erlaubten sie ihm, bei jedem einzelnen zu erzeugenden Wort zurückzublicken auf alle Zustände des Encoders und sich diejenigen herauszusuchen, die gerade relevant waren. Beim Übersetzen des Wortes „Katze" durfte der Decoder gezielt auf den Teil des Quellsatzes „aufmerksam" werden, der von der Katze handelte.

Dieser Mechanismus des gewichteten Zurückblickens war die erste Attention. Er verbesserte vor allem die Übersetzung langer Sätze deutlich. Aber – und das ist entscheidend – er saß immer noch obenauf auf einem RNN. Die Attention war ein Hilfsmittel, das serielle Rückgrat blieb. Die eigentliche Revolution bestand drei Jahre später in einem radikalen Gedanken: Was, wenn die Attention nicht das Hilfsmittel ist, sondern die Hauptsache? Was, wenn man das RNN ganz weglässt?

Teil 2: Die Grundidee – Attention als weiches Nachschlagen

Eine Bibliothek, in der jedes Buch teilweise passt

Bevor wir zu Formeln kommen, sollten wir die Grundidee der Self-Attention (Selbst-Aufmerksamkeit) auf eine Weise fassen, die im Gedächtnis bleibt. Stell dir vor, du hast eine Frage und suchst in einer Bibliothek nach Antworten. In einer klassischen Datenbank funktioniert das nach dem Alles-oder-nichts-Prinzip: Du hast einen Schlüssel (Key), und wenn deine Suchanfrage (Query) exakt passt, bekommst du den zugehörigen Wert (Value) – sonst nichts.

Attention macht dasselbe, nur weich. Deine Anfrage wird mit jedem Schlüssel in der Bibliothek verglichen. Statt eines einzigen Treffers bekommst du eine ganze Landschaft von Ähnlichkeiten: Buch A passt zu 60 Prozent, Buch B zu 30 Prozent, Buch C zu 10 Prozent. Die Antwort, die du zurückbekommst, ist eine gewichtete Mischung aller Werte, wobei jedes Buch entsprechend seiner Passgenauigkeit beiträgt. Kein Buch wird ganz ignoriert, keines allein zählt.

Genau das tut Self-Attention mit den Wörtern eines Satzes. Jedes Wort stellt eine Anfrage: „Welche anderen Wörter in diesem Satz sind für mein Verständnis wichtig?" Es vergleicht seine Anfrage mit den Schlüsseln aller Wörter – auch mit sich selbst – und mischt deren Werte im Verhältnis der Ähnlichkeit zu einer neuen, kontextangereicherten Darstellung seiner selbst.

Das klassische Beispiel: Wohin bezieht sich „es"?

Nehmen wir den Satz: „Das Tier überquerte die Straße nicht, weil es zu müde war." Worauf bezieht sich das Wort „es"? Auf das Tier oder auf die Straße? Für einen Menschen ist die Antwort offensichtlich – müde können nur Tiere sein, nicht Straßen. Ändert man den Satz zu „… weil sie zu breit war", kippt der Bezug schlagartig auf die Straße.

Die Self-Attention löst dieses Problem, indem das Wort „es" eine Anfrage aussendet und feststellt, dass sein Schlüssel-Vergleich mit „Tier" eine hohe Ähnlichkeit ergibt, mit „Straße" eine niedrige. Folglich fließt in die neue Darstellung von „es" vor allem die Bedeutung von „Tier" ein. Das Wort „es" wird buchstäblich mit dem Sinn von „Tier" aufgeladen. Und das Schöne daran: Diese Zuordnung wird nicht von Hand einprogrammiert. Sie ergibt sich aus Parametern, die das Netz beim Training an Millionen von Sätzen selbst gelernt hat.

Der entscheidende Unterschied zum RNN: Das Wort „es" muss nicht Schritt für Schritt zum Wort „Tier" zurücklaufen. Es blickt in einem einzigen Schritt direkt dorthin, egal wie weit die beiden auseinanderstehen. Der Weg zwischen zwei beliebigen Wörtern hat konstante Länge – er ist immer genau einen Schritt lang.

Teil 3: Scaled Dot-Product Attention – die Mathematik in Ruhe betrachtet

Drei Rollen für jedes Wort: Query, Key, Value

Jetzt machen wir es konkret, aber ohne Angst vor der Mathematik. Jedes Wort betritt den Mechanismus zunächst als ein Vektor – eine Liste von Zahlen, die das Wort im sogenannten Einbettungsraum repräsentiert. Aus diesem einen Vektor erzeugt der Transformer drei verschiedene Versionen, indem er ihn mit drei gelernten Gewichtsmatrizen multipliziert:

• den Query-Vektor (Q, Anfrage): „Wonach suche ich?"
• den Key-Vektor (K, Schlüssel): „Was biete ich anderen als Suchkriterium an?"
• den Value-Vektor (V, Wert): „Welchen Inhalt gebe ich weiter, wenn jemand auf mich aufmerksam wird?"

Dieselbe Wort-Repräsentation spielt also drei Rollen gleichzeitig. Sie fragt, sie wird gefragt, und sie liefert Inhalt. Query und Key steuern, wer auf wen achtet; der Value bestimmt, was dabei übertragen wird.

Die Formel und was sie bedeutet

Die berühmte Formel aus der Arbeit von Vaswani und Kollegen lautet:

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V$$

Gehen wir sie Stück für Stück durch, denn jeder Teil hat einen klaren Sinn:

Erstens, \(QK^\top\). Das ist das Skalarprodukt (Dot Product) jeder Anfrage mit jedem Schlüssel. Das Skalarprodukt zweier Vektoren ist ein Maß für ihre Ähnlichkeit: Zeigen sie in dieselbe Richtung, ist es groß; stehen sie senkrecht zueinander, ist es null. Das Ergebnis ist eine Tabelle von Rohwerten – für jedes Wortpaar eine Zahl, die sagt, wie gut die Anfrage des einen zum Schlüssel des anderen passt. Bei einem Satz mit \(n\) Wörtern entsteht so eine \(n \times n\)-Matrix. Genau in dieser Matrix steckt später der Preis, den der Transformer zahlt – dazu kommen wir.

Zweitens, die Division durch \(\sqrt{d_k}\). Das ist der namensgebende „skalierte" Teil. \(d_k\) ist die Dimension der Schlüsselvektoren, in der Originalarbeit 64. Bei hochdimensionalen Vektoren werden die Skalarprodukte betragsmäßig sehr groß. Große Werte treiben die anschließende Softmax-Funktion in extreme Bereiche, in denen ihre Ableitung praktisch null wird – die berüchtigten verschwindenden Gradienten, die das Lernen zum Erliegen bringen. Die Division durch die Wurzel der Dimension hält die Werte in einem gutmütigen Bereich. Es ist ein kleiner, technischer, aber unentbehrlicher Kniff.

Drittens, das Softmax. Diese Funktion verwandelt jede Zeile der Tabelle in eine Wahrscheinlichkeitsverteilung: lauter Zahlen zwischen null und eins, die sich zu eins summieren. Das sind die eigentlichen Aufmerksamkeitsgewichte. Für jedes Wort sagen sie: „Verteile deine Aufmerksamkeit zu 60 Prozent auf dieses Wort, zu 30 Prozent auf jenes, zu 10 Prozent auf ein drittes."

Viertens, die Multiplikation mit \(V\). Die Aufmerksamkeitsgewichte werden nun benutzt, um eine gewichtete Summe der Value-Vektoren zu bilden. Das Ergebnis ist für jedes Wort ein neuer Vektor – seine mit Kontext angereicherte Darstellung. Das Wort „es" aus unserem Beispiel trägt nun einen kräftigen Anteil des „Tier"-Values in sich.

Die ganze Formel ist am Ende nichts anderes als ein weiches, differenzierbares Nachschlagen in einer Tabelle: vergleichen, normieren, mischen. Ihre Schönheit liegt darin, dass sie sich vollständig als Matrixmultiplikationen ausdrücken lässt – und genau das können Grafikprozessoren mit atemberaubender Geschwindigkeit und, entscheidend, für alle Wörter gleichzeitig.

Teil 4: Multi-Head Attention – mehrere Blickwinkel zugleich

Warum ein Kopf nicht genügt

Eine einzige Attention-Operation zwingt jedes Wort, seine Aufmerksamkeit in einer Weise zu verteilen. Aber Sprache ist vielschichtig. Ein Wort steht gleichzeitig in mehreren Beziehungen: Es hat eine grammatische Rolle (Subjekt, Objekt), einen semantischen Bezug (worauf verweist es), eine syntaktische Nachbarschaft, vielleicht einen stilistischen Ton. Eine einzelne Aufmerksamkeitsverteilung kann diese verschiedenen Beziehungstypen nicht gleichzeitig sauber trennen.

Die Lösung heißt Multi-Head Attention, Mehrkopf-Aufmerksamkeit. Statt die Attention einmal zu berechnen, tut man es mehrfach parallel – in der Originalarbeit achtmal. Jeder dieser „Köpfe" hat seine eigenen, unabhängig gelernten Q-, K- und V-Matrizen und operiert in einem eigenen, niedrigerdimensionalen Unterraum. Weil man die Dimension pro Kopf entsprechend reduziert (bei acht Köpfen und einer Modelldimension von 512 arbeitet jeder Kopf mit 64 Dimensionen), bleibt der Gesamtrechenaufwand ungefähr derselbe wie bei einem einzigen Kopf voller Größe.

Was die Köpfe lernen

Das Reizvolle ist, was in der Praxis passiert: Verschiedene Köpfe spezialisieren sich, ohne dass man es ihnen vorschreibt. Analysen trainierter Transformer haben gezeigt, dass manche Köpfe sich auf das unmittelbar vorhergehende Wort konzentrieren, andere Bezüge zwischen Pronomen und ihren Bezugswörtern verfolgen, wieder andere syntaktische Muster wie die Zuordnung von Verben zu ihren Objekten erfassen. Jeder Kopf blickt gewissermaßen mit einer anderen Brille auf denselben Satz. Am Ende werden die Ergebnisse aller Köpfe aneinandergehängt und durch eine weitere gelernte Matrix zu einer gemeinsamen Darstellung verschmolzen.

Ich bin der Meinung, dass gerade diese Aufteilung in spezialisierte Köpfe einer der Gründe ist, warum sich Transformer so gut interpretieren lassen – die Forschung zur mechanistischen Interpretierbarkeit knüpft genau hier an, wenn sie einzelne Köpfe und ihre Funktion zu entschlüsseln versucht. Belegt ist, dass es solche spezialisierten Köpfe gibt; wie sauber die Aufgabenteilung im Einzelfall wirklich ist, bleibt Gegenstand laufender Forschung.

Teil 5: Der vollständige Bauplan

Attention ist das Herz des Transformers, aber ein Herz allein ist noch kein Organismus. Um aus dem Attention-Mechanismus eine funktionierende Architektur zu machen, braucht es einige weitere Bauteile. Gehen wir den kompletten Bauplan durch.

Positionskodierung: Wo die Reihenfolge herkommt

Hier steckt eine Tücke. Die Attention behandelt einen Satz wie eine Menge von Wörtern, nicht wie eine geordnete Folge. Wenn jedes Wort auf jedes andere blickt, ist in der Rechnung zunächst nirgends kodiert, welches Wort zuerst kam. „Der Hund beißt den Mann" und „Den Mann beißt der Hund" ergäben dieselben Attention-Werte – ein offensichtliches Problem, denn Wortstellung trägt Bedeutung.

Die Lösung ist die Positionskodierung (Positional Encoding). Bevor die Wörter in den ersten Attention-Block gehen, wird jedem Wortvektor ein zweiter Vektor hinzuaddiert, der seine Position im Satz kodiert. In der Originalarbeit geschieht das mit einer eleganten Konstruktion aus Sinus- und Kosinusfunktionen verschiedener Wellenlängen. Man kann sich das wie eine Reihe von Zeigern vorstellen, die mit unterschiedlichen Geschwindigkeiten rotieren – zusammen ergeben sie für jede Position einen einzigartigen „Fingerabdruck". Dadurch weiß das Modell doch, welches Wort an welcher Stelle steht, ohne dass die Verarbeitung selbst seriell werden müsste. Spätere Varianten haben dies verfeinert, etwa durch die heute weit verbreiteten rotary position embeddings (RoPE), aber das Grundprinzip bleibt: Position wird als zusätzliches Signal in die Darstellung eingespeist.

Feed-Forward-Netze, Residuen und Normalisierung

Jeder Transformer-Block enthält nach der Attention ein kleines, für jede Position getrennt angewandtes Feed-Forward-Netz: zwei lineare Schichten mit einer nichtlinearen Aktivierung dazwischen. Während die Attention Information zwischen den Wörtern austauscht, verarbeitet dieses Netz die Information innerhalb jedes einzelnen Wortes weiter. Ich bin der Meinung, dass man den Transformer treffend als ein Wechselspiel zweier Bewegungen verstehen kann: Attention mischt horizontal über die Wörter hinweg, das Feed-Forward-Netz denkt vertikal an jeder Position nach.

Hinzu kommen zwei Techniken, die weniger spektakulär, aber für das Training tiefer Netze unverzichtbar sind. Residualverbindungen (Skip Connections) führen die Eingabe eines Blocks um ihn herum und addieren sie zu seiner Ausgabe. Das gibt dem Signal und den Gradienten eine „Autobahn" durch das gesamte Netz und macht es möglich, sehr viele Blöcke übereinanderzustapeln, ohne dass das Training kollabiert. Die Schichtnormalisierung (Layer Normalization) hält die Zahlenwerte in jedem Schritt in einem stabilen Bereich. Beides zusammen sind die stillen Helden, die dafür sorgen, dass ein Turm aus Dutzenden Transformer-Blöcken überhaupt lernbar bleibt.

Encoder, Decoder und die drei Bauformen

Der ursprüngliche Transformer war für Übersetzung gedacht und hatte deshalb zwei Hälften: einen Encoder, der den Quellsatz einliest und in eine reiche Darstellung verwandelt, und einen Decoder, der daraus Wort für Wort den Zielsatz erzeugt. Der Decoder benutzt eine besondere Variante, die maskierte Attention: Beim Erzeugen eines Wortes darf er nur auf bereits erzeugte Wörter blicken, nicht in die Zukunft – sonst würde er beim Training schummeln, indem er die Antwort abliest.

Aus diesem Grundbau haben sich drei Familien entwickelt, die man kennen sollte:

Bemerkenswert ist, dass sich die heute dominierende Familie der großen Sprachmodelle für die einfachste dieser Formen entschieden hat: reine Decoder, die nichts anderes tun, als immer wieder das nächste Wort vorherzusagen.

Teil 6: Warum der Transformer gewann

Parallelität und kurze Wege

Kehren wir zu den zwei Schwächen der RNNs zurück – seriell und langgezogen – und schauen, wie der Transformer beide auf einen Schlag aufhebt.

Erstens die Parallelität. Weil in der Self-Attention alle Wörter gleichzeitig auf alle blicken, gibt es keine erzwungene Reihenfolge in der Berechnung. Alle Positionen eines Satzes lassen sich in einem Rutsch verarbeiten. Das passt perfekt zu Grafikprozessoren, die für massiv parallele Matrixmultiplikationen gebaut sind. Genau das machte es überhaupt erst praktikabel, Modelle auf Datenmengen und in Größen zu trainieren, die bei RNNs undenkbar gewesen wären.

Zweitens der kurze Pfad. In einem RNN wächst die Distanz zwischen zwei Wörtern mit ihrem Abstand im Satz. In der Self-Attention ist sie konstant: Jedes Wort erreicht jedes andere in einem einzigen Schritt. Weitreichende Abhängigkeiten – ein Bezug über hundert Wörter hinweg – sind grundsätzlich genauso leicht zu lernen wie nachbarschaftliche.

Die folgende Tabelle, in ihren Grundzügen aus der Originalarbeit, bringt den Vergleich auf den Punkt (\(n\) = Länge der Sequenz, \(d\) = Dimension der Darstellung):

Man sieht sofort das Kräfteverhältnis: Self-Attention braucht null serielle Schritte und hat einen konstanten Pfad – ideal für Parallelrechner und weitreichende Bezüge. Der Preis steht in der ersten Spalte: Der Rechenaufwand wächst mit \(n^2\), dem Quadrat der Sequenzlänge. Diese Zahl wird uns in Teil 8 noch beschäftigen.

Ein unerwartetes Geschenk: Skalierbarkeit

Es gab einen Effekt, den die Erfinder des Transformers 2017 selbst noch nicht in voller Tragweite ahnen konnten. Der Transformer erwies sich als außergewöhnlich skalierbar. Macht man ihn größer – mehr Blöcke, mehr Dimensionen, mehr Parameter – und füttert ihn mit mehr Daten und mehr Rechenleistung, so werden seine Fähigkeiten auf verblüffend regelmäßige, vorhersagbare Weise besser. Diese Regelmäßigkeit wurde später in den neuronalen Skalierungsgesetzen präzise vermessen. Der Transformer war damit nicht nur eine bessere Architektur, sondern eine, die sich als Vehikel für einen beispiellosen Größenwettlauf eignete. Ohne die Parallelisierbarkeit des Transformers hätte man die riesigen Modelle der Gegenwart schlicht nicht trainieren können.

Teil 7: Die Kinder des Transformers

Die Jahre nach 2017 waren eine kambrische Explosion. Aus dem einen Bauplan entstand ein ganzer Stammbaum.

BERT (2018, Google) nahm nur die Encoder-Hälfte und trainierte sie mit einer schlichten, aber genialen Aufgabe: Man verdeckt zufällig einige Wörter eines Textes und lässt das Modell sie erraten. Weil das Modell dabei den Kontext von beiden Seiten sehen darf, lernt es ein tiefes, bidirektionales Sprachverständnis. BERT wurde zum Arbeitspferd für Suche, Klassifikation und all die Aufgaben, bei denen es ums Verstehen und nicht ums Erzeugen geht.

Die GPT-Reihe (ab 2018, OpenAI) ging den anderen Weg: nur der Decoder, trainiert auf die denkbar einfachste Aufgabe – sage das nächste Wort voraus. Was zunächst bescheiden klingt, entpuppte sich als überraschend mächtig. Ein Modell, das gut genug im Vorhersagen des nächsten Wortes wird, muss dafür implizit Grammatik, Fakten, Argumentationsmuster und eine Fülle von Weltwissen erwerben. Mit wachsender Größe kamen Fähigkeiten hinzu, die niemand explizit einprogrammiert hatte: Übersetzen, Rechnen, Programmieren, das Befolgen von Anweisungen. Die heutigen Chat- und Reasoning-Modelle sind die direkten Nachfahren dieser Linie.

Und der Transformer blieb nicht bei der Sprache. Der Vision Transformer zerlegte Bilder in kleine Kacheln und behandelte sie wie Wörter – mit hervorragenden Ergebnissen. In der Biologie half eine Transformer-verwandte Aufmerksamkeitsarchitektur, das Problem der Proteinfaltung zu knacken. Transformer verarbeiten heute Audio, Video, Zeitreihen, Molekülstrukturen. Die Architektur erwies sich als bemerkenswert gattungsunabhängig: Alles, was sich als Folge von Bausteinen mit inneren Beziehungen auffassen lässt, ist Nahrung für einen Transformer.

Teil 8: Der Preis der Aufmerksamkeit – und ob der Titel noch stimmt

Die quadratische Achillesferse

Erinnern wir uns an die \(n \times n\)-Matrix aus Teil 3. Wenn jedes Wort auf jedes andere blickt, wächst die Zahl der Vergleiche mit dem Quadrat der Sequenzlänge. Verdoppelt man die Länge des Textes, vervierfacht sich der Aufwand. Für einen Satz ist das gleichgültig, für ein Buch, eine Codebasis oder einen stundenlangen Videostrom wird es schnell erdrückend – sowohl im Rechenaufwand als auch, oft noch schmerzhafter, im Speicherbedarf für diese riesige Matrix. Das ist der Grund, warum die „Kontextlänge" – wie viel Text ein Modell auf einmal berücksichtigen kann – lange ein hart umkämpftes Maß war.

FlashAttention: dieselbe Rechnung, klüger organisiert

Ein wichtiger Durchbruch kam 2022 mit FlashAttention (Tri Dao und Kollegen). Die Einsicht war nicht, die Mathematik zu ändern, sondern wie sie auf der Hardware abläuft. Auf einem Grafikprozessor ist das eigentliche Rechnen oft nicht der Engpass, sondern das Hin- und Herschaufeln von Daten zwischen dem großen, langsamen Speicher und dem kleinen, schnellen. FlashAttention berechnet die Attention in Kacheln, die in den schnellen Speicher passen, und vermeidet es, die vollständige \(n \times n\)-Matrix jemals ganz im langsamen Speicher abzulegen. Das Ergebnis ist dieselbe exakte Attention, aber mit einem Speicherbedarf, der linear statt quadratisch mit der Länge wächst, und mit erheblich höherem Tempo. Spätere Fassungen – FlashAttention-2 und -3 – trieben das weiter, unter anderem durch bessere Anpassung an neue GPU-Generationen. FlashAttention hat die praktisch nutzbaren Kontextlängen dramatisch vergrößert und ist heute in fast jedem ernsthaften Training verbaut.

Mamba und die Zustandsraummodelle: War Attention doch nicht alles?

Interessanter noch ist ein anderer Angriff, der die Grundannahme selbst infrage stellt. Ende 2023 stellten Albert Gu und Tri Dao Mamba vor, ein sogenanntes selektives Zustandsraummodell (State Space Model, SSM). Die Idee kehrt in gewisser Weise zum RNN-Gedanken zurück: Statt jedes Wort auf jedes andere blicken zu lassen, hält Mamba einen komprimierten Zustand, der die Sequenz entlangwandert – aber mit einem raffinierten, eingabeabhängigen Mechanismus, der entscheidet, welche Information behalten und welche vergessen wird. Der Clou: Der Aufwand wächst nur linear mit der Sequenzlänge, nicht quadratisch. Für sehr lange Sequenzen verspricht Mamba deutlich schnellere Verarbeitung und geringeren Speicherbedarf.

Damit ist die Provokation des Titels von 2017 heute eine offene Frage. War Attention wirklich „alles, was man braucht"? Die aktuelle Forschung deutet auf ein differenzierteres Bild. Erstens zeigte die Folgearbeit Mamba-2 (2024) eine tiefe theoretische Verbindung: Unter dem Dach der State Space Duality erweisen sich Attention und Zustandsraummodelle als zwei Seiten einer Medaille – eine bestimmte Form der linearen Attention ist mathematisch äquivalent zu einem Zustandsraummodell. Die vermeintlichen Rivalen sind Verwandte. Zweitens setzt sich in der Praxis zunehmend nicht das Entweder-oder durch, sondern das Sowohl-als-auch: Hybridmodelle, die günstige Zustandsraum-Schichten mit einigen wenigen, teuren Attention-Schichten mischen. Reine Zustandsraummodelle haben nämlich eigene Schwächen – sie tun sich schwer damit, lange Passagen wörtlich zu kopieren oder gezielt auf ein weit zurückliegendes Detail zurückzugreifen; genau das, worin Attention brilliert.

Ich bin der Meinung, dass der ehrlichste Stand der Dinge lautet: Attention ist nicht alles, aber sie ist unverzichtbar. Sie hat sich als so grundlegend erwiesen, dass selbst ihre Herausforderer sie am Ende meist wieder in irgendeiner Form einbauen. Der Titel von 2017 war vielleicht eine Übertreibung – aber eine, die sich als erstaunlich haltbar erwiesen hat.

Erkenntnis zum Mitnehmen

Wenn du aus diesem Artikel eine einzige Sache mitnimmst, dann diese: Der Transformer war deshalb eine Revolution, weil er ein serielles Problem in ein paralleles verwandelte. Die alten rekurrenten Netze zwangen die Verarbeitung von Sprache in ein enges Nadelöhr aus Schritt-für-Schritt-Berechnung. Der Transformer riss dieses Nadelöhr ein, indem er eine schlichte, aber mächtige Frage in den Mittelpunkt stellte – „welche anderen Elemente sind für dieses Element gerade relevant?" – und diese Frage für alle Elemente gleichzeitig beantwortete. Aus dieser einen Idee, konsequent zu Ende gedacht und mit den passenden Bauteilen umgeben, wurde das Fundament einer ganzen technologischen Epoche.

Der praktische Handlungsanstoß, gerade für dich als Ingenieur: Wenn du das nächste Mal ein Sprachmodell benutzt, denke daran, dass „Kontext" keine magische Eigenschaft ist, sondern eine Rechenoperation mit einem Preis. Die quadratische Natur der Attention erklärt, warum lange Eingaben teuer sind, warum Kontextfenster ein hart umkämpftes Maß bleiben und warum die Wahl, was du in den Kontext legst, so viel ausmacht. Wer versteht, dass jedes Token mit jedem anderen verglichen wird, trifft bessere Entscheidungen über Prompt-Länge, Chunking und Architektur – und durchschaut zugleich das Rennen um immer effizientere Alternativen, das die nächsten Jahre der KI prägen wird.

Und eine allgemeinere Lehre steckt auch darin: Manchmal besteht der größte Fortschritt nicht darin, ein bestehendes Werkzeug zu verfeinern, sondern eine seiner tief verwurzelten Annahmen fallenzulassen. Jahrelang hatte niemand ernsthaft daran gezweifelt, dass man Sprache der Reihe nach lesen müsse. Der Mut, genau das infrage zu stellen, war der eigentliche Durchbruch.

Reflexionsfrage

Der Transformer verdankt seinen Erfolg zu einem großen Teil dem Umstand, dass er perfekt zur Hardware seiner Zeit passte – zu massiv parallelen Grafikprozessoren. Die überlegenen rekurrenten Netze der Vorzeit scheiterten nicht nur an ihrer Mathematik, sondern daran, dass sie die verfügbare Rechenmaschinerie nicht ausnutzen konnten. Wie viele unserer „besten" Ideen in der Informatik sind in Wahrheit die besten für die gerade verfügbare Hardware – und welche heute verworfene Idee könnte zurückkehren, wenn sich die Maschinen unter ihr verändern?

Querverweise im Vault

Dieser Artikel bildet gewissermaßen das architektonische Fundament, auf dem mehrere frühere Beiträge aufsetzen. Wer verstehen will, was in den spezialisierten Attention-Köpfen und den inneren Darstellungen eines Transformers eigentlich vorgeht, findet die Fortsetzung in Der Geist in der Maschine: Wie man ein neuronales Netz von innen liest. Die Frage, warum das bloße Größermachen dieser Architektur so verlässlich bessere Fähigkeiten hervorbringt, behandelt Wie groß ist groß genug? Skalierungsgesetze, Chinchilla und die Vermessung der KI. Ob ein solches System, das nur Wortformen nach gelernten Mustern verschiebt, dabei wirklich versteht, ist die philosophische Kehrseite, die Das chinesische Zimmer: Searle und die Frage, ob Maschinen verstehen können auslotet. Eine faszinierende Parallele aus den Neurowissenschaften – das Gehirn als vorhersagende Maschine – zieht Das vorhersagende Gehirn: Predictive Processing und die Illusion der Wahrnehmung. Und wer wissen will, in welchem regulatorischen Rahmen diese Modelle in Europa künftig betrieben werden, sollte Die Pyramide des Risikos: Wie der EU AI Act künstliche Intelligenz bändigt – und warum das die ganze Welt betrifft lesen.

Quellen

• Vaswani, A. et al. (2017): Attention Is All You Need. Advances in Neural Information Processing Systems (NeurIPS). https://papers.neurips.cc/paper/7181-attention-is-all-you-need.pdf (Preprint: https://arxiv.org/abs/1706.03762)
• Bahdanau, D., Cho, K., Bengio, Y. (2014): Neural Machine Translation by Jointly Learning to Align and Translate. https://arxiv.org/abs/1409.0473
• Devlin, J. et al. (2018): BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. https://arxiv.org/abs/1810.04805
• Dao, T. et al. (2022): FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. https://arxiv.org/abs/2205.14135
• Gu, A., Dao, T. (2023): Mamba: Linear-Time Sequence Modeling with Selective State Spaces. https://arxiv.org/abs/2312.00752
• Dao, T., Gu, A. (2024): Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality. https://arxiv.org/abs/2405.21060

← All articles