Der Zustand, der sich alles merken soll: Mamba, State Space Models und die Alternative zum Transformer

Der Aufhänger: Die Rechnung, die mit jedem Token teurer wird

Es gibt eine Zahl, die in jeder Diskussion über große Sprachmodelle vorkommt und die fast niemand als Architekturentscheidung liest: die Kontextlänge. 128.000 Token. 200.000. Eine Million. Sie wird wie eine Produkteigenschaft verkauft – „unser Modell kann ein ganzes Buch lesen" –, aber sie ist in Wahrheit eine Ansage über Kosten.

Der Grund liegt im Herzstück des Transformers, der Self-Attention. Jedes Token vergleicht sich mit jedem anderen Token. Bei 1.000 Token sind das eine Million Paarvergleiche, bei 10.000 Token hundert Millionen, bei 100.000 Token zehn Milliarden. Der Rechenaufwand wächst quadratisch mit der Sequenzlänge. Das ist der Satz, den jeder kennt.

Der zweite Satz ist der, der in der Praxis wehtut und seltener gesagt wird: Beim Generieren von Text wächst nicht nur die Rechenzeit, sondern auch der Speicher – linear und unaufhörlich. Ein autoregressives Modell muss, um Token Nummer 50.001 zu schreiben, alle Schlüssel- und Wert-Vektoren der 50.000 vorhergehenden Token vorhalten. Dieser KV-Cache ist kein Zwischenpuffer, den man wegoptimieren kann; er ist das Gedächtnis des Modells. Er liegt im teuersten Speicher des Rechenzentrums, wächst mit jedem geschriebenen Wort, und er wächst pro gleichzeitigem Nutzer. Wer wissen will, warum Inferenz bei langen Kontexten so unverhältnismäßig teuer ist, muss nicht die FLOPs anschauen, sondern die Gigabytes.

Und jetzt kommt die Frage, die diesen Artikel trägt: Muss das so sein?

Es gibt eine ältere Antwort darauf, und sie heißt: nein. Rekurrente neuronale Netze – LSTMs, GRUs – haben genau dieses Problem nie gehabt. Ein RNN hält einen Zustand fester Größe. Es liest ein Token, aktualisiert den Zustand, vergisst das Token. Speicherbedarf pro generiertem Token: konstant. Rechenaufwand pro Token: konstant. Die Gesamtrechnung für eine Sequenz der Länge L: linear, nicht quadratisch.

Der Haken ist bekannt: RNNs waren schlechter. Sie ließen sich nicht gut parallel trainieren, ihre Gradienten verschwanden über lange Distanzen, und 2017 hat der Transformer sie aus genau diesem Grund verdrängt.

Was in den Jahren seit 2020 passiert ist, ist deshalb eine der interessantesten Geschichten der KI-Architekturforschung: Eine Gruppe um Albert Gu und Tri Dao hat die rekurrente Idee nicht wiederbelebt, indem sie RNNs besser gemacht hat, sondern indem sie sie durch ein mathematisches Objekt aus der Regelungstechnik ersetzt hat – das lineare Zustandsraummodell. Daraus wurden S4, Mamba, die State-Space-Dualität und zuletzt, im März 2026, Mamba-3. Und dann, was ich für den eigentlich lehrreichen Teil halte, hat sich die Praxis nicht für eine der beiden Seiten entschieden, sondern für die Mischung.

Teil 1: Zwei Arten von Gedächtnis

Bevor wir in die Mathematik gehen, lohnt sich eine saubere Unterscheidung, weil sie den ganzen Rest erklärt.

Der Transformer hat ein wachsendes Archiv. Er speichert jedes Token unkomprimiert und kann im Nachhinein auf jedes beliebige Token exakt zugreifen. Das ist ein assoziatives Gedächtnis mit perfektem Rückgriff. Der Preis: Das Archiv wächst, und jeder Zugriff muss es ganz durchsuchen.

Das rekurrente Modell hat eine Zusammenfassung. Es komprimiert die gesamte Vergangenheit in einen Vektor fester Dimension. Was in dieser Zusammenfassung nicht vorkommt, ist unwiederbringlich verloren. Der Preis: Informationsverlust. Der Gewinn: konstante Kosten.

Diese Unterscheidung ist keine Implementierungsfrage, sondern eine informationstheoretische. Ein Zustand mit d reellen Zahlen kann nur eine beschränkte Menge Information tragen. Wenn 100.000 Token hineinwandern und d = 128 bleibt, muss komprimiert werden. Die ganze Forschungsgeschichte, die jetzt folgt, ist der Versuch, diese Kompression so gut wie möglich zu machen – und, am Ende, die Erkenntnis, wo sie prinzipiell nicht gut genug sein kann.

Teil 2: Das Zustandsraummodell – eine Anleihe bei der Regelungstechnik

Die Gleichung

Das lineare Zustandsraummodell ist ungefähr so alt wie die moderne Regelungstechnik und beschreibt ein kontinuierliches System mit zwei Gleichungen:

x'(t) = A x(t) + B u(t)      (wie der Zustand sich entwickelt)
y(t)  = C x(t) + D u(t)      (was man von außen beobachtet)

u(t) ist das Eingangssignal, x(t) der verborgene Zustand, y(t) die Ausgabe. A ist die Zustandsmatrix: Sie allein bestimmt, wie der Zustand sich über Zeit verändert, wenn man ihn in Ruhe lässt – und damit, wie lange er sich etwas merkt.

Für ein Sprachmodell braucht man die diskrete Variante. Man wählt eine Schrittweite Δ und erhält daraus eine Rekurrenz der Form

h_t = Ā h_{t-1} + B̄ u_t
y_t = C h_t

Das sieht wie ein RNN aus. Der entscheidende Unterschied: Es gibt keine Nichtlinearität zwischen den Zeitschritten. Das klingt nach einer Schwäche und ist der zentrale Trick, auf den ich in Teil 2.3 zurückkomme.

HiPPO: Welches A sich etwas merkt

Die erste wichtige Arbeit kam 2020. In HiPPO: Recurrent Memory with Optimal Polynomial Projections (Albert Gu, Tri Dao, Stefano Ermon, Atri Rudra, Christopher Ré; arXiv:2008.07669, NeurIPS 2020) wurde die Frage gestellt: Wenn ein Zustand fester Größe eine immer länger werdende Vergangenheit zusammenfassen soll – wie sieht die optimale Zusammenfassung aus?

Die Antwort der Autoren ist elegant: Man betrachte das Problem als Online-Funktionsapproximation. Das vergangene Signal ist eine Funktion; der Zustand speichert deren Koeffizienten bezüglich einer Polynombasis. Gibt man vor, wie wichtig welcher Zeitpunkt der Vergangenheit ist (ein „Maß"), liefert HiPPO die optimale Aktualisierungsregel – und damit eine ganz bestimmte, hergeleitete Matrix A.

Das Resultat ist der Punkt: Die Matrix A wird nicht gelernt und nicht geraten, sondern aus einem Approximationsprinzip abgeleitet. Die Variante HiPPO-LegS (Legendre-Polynome mit skaliertem Maß) „remembers all history, avoiding priors on the timescale" und hat beweisbar beschränkte Gradienten – genau die Eigenschaft, deren Fehlen LSTMs über lange Distanzen ruiniert hat. Empirisch erreichte HiPPO-LegS auf dem damaligen Langzeitgedächtnis-Standardtest Permuted MNIST 98,3 % und übertraf RNN- und Neural-ODE-Baselines bei verschobenen Zeitskalen um 25 bis 40 Prozentpunkte.

Damit war klar: Ein linearer Zustand kann sich sehr lange etwas merken, wenn man die richtige Matrix wählt. Unklar war, wie man damit rechnet.

S4: Dieselbe Operation, zwei Gesichter

Hier kommt die Pointe der Linearität. Weil zwischen den Zeitschritten keine Nichtlinearität steht, kann man die Rekurrenz ausrollen – und was dabei herauskommt, ist eine Faltung:

y = K * u      mit    K = (C B̄, C Ā B̄, C Ā² B̄, …, C Ā^(L-1) B̄)

Das heißt: Dasselbe Modell hat zwei exakt äquivalente Berechnungsformen.

Das ist eine Eigenschaft, die ein RNN mit Nichtlinearität niemals haben kann, und sie löst genau das Problem, an dem RNNs gescheitert sind: Man trainiert parallel wie eine CNN und inferiert sequenziell wie ein RNN. Dasselbe Modell, zwei Modi.

Das Problem war die praktische Berechnung des Kerns K: Die naive Form erfordert Potenzen von Ā und ist, wie das Paper formuliert, „prohibitive" in Rechenzeit und Speicher. Efficiently Modeling Long Sequences with Structured State Spaces (Albert Gu, Karan Goel, Christopher Ré; arXiv:2111.00396, ICLR 2022) löste das mit einer neuen Parametrisierung: A wird als Diagonalmatrix plus Niedrigrangkorrektur geschrieben („conditioning A with a low-rank correction"), sodass sie stabil diagonalisierbar wird und die Kernberechnung auf die gut untersuchte Auswertung eines Cauchy-Kerns zusammenfällt.

Die Ergebnisse von S4 waren für 2021 spektakulär:

• 91 % Genauigkeit auf sequentiellem CIFAR-10 ohne Datenaugmentierung und ohne Hilfsverluste – ein Bild als Pixelfolge gelesen, auf Augenhöhe mit einem größeren 2-D-ResNet.
• 60-fach schnellere Generierung als vergleichbare Transformer bei Bild- und Sprachmodellierung.
• State of the Art auf jeder Aufgabe der Long Range Arena – dem Benchmark aus Long Range Arena: A Benchmark for Efficient Transformers (Yi Tay, Mostafa Dehghani, Samira Abnar, Yikang Shen, Dara Bahri, Philip Pham, Jinfeng Rao, Liu Yang, Sebastian Ruder, Donald Metzler; arXiv:2011.04006, ICLR 2021), der Sequenzen von 1.000 bis 16.000 Token über Text, Bilder und mathematische Ausdrücke prüft.
• Und der Satz, der das Feld elektrisierte: S4 löste Path-X, die Aufgabe mit Länge 16k, „that all prior work fails on". Zehn getestete effiziente Transformer-Varianten hatten dort zuvor auf Zufallsniveau gelegen.

Und dann kam Sprache

Es gab nur ein Problem, und es war ein großes: Auf Sprache war S4 nicht gut. Auf synthetischen Langzeitaufgaben, auf Audio, auf Genomdaten – überzeugend. Auf Text – deutlich hinter Transformern gleicher Größe.

Das war kein Detail, sondern ein Rätsel. Und die Erklärung, die 2023 kam, ist der Grund, warum dieser Artikel nicht mit S4 endet.

Teil 3: Mamba und die Selektion

Die Diagnose

Mamba: Linear-Time Sequence Modeling with Selective State Spaces (Albert Gu, Tri Dao; arXiv:2312.00752, eingereicht am 1. Dezember 2023) benennt die Schwäche präzise: Alle subquadratischen Architekturen – lineare Attention, Gated Convolutions, rekurrente Modelle, SSMs – scheitern an derselben Stelle, nämlich an ihrer „inability to perform content-based reasoning".

Was heißt das konkret? S4 ist ein zeitinvariantes System. Die Matrizen Ā, B̄, C und die Schrittweite Δ sind nach dem Training feste Zahlen. Das Modell verarbeitet jedes Token mit genau derselben Dynamik. Es ist ein Filter – ein sehr guter, mathematisch hergeleiteter Filter, aber einer, der nicht unterscheiden kann, ob gerade ein Füllwort oder ein Eigenname hereinkommt.

Für Audio ist das in Ordnung: Ein Audiosignal ist weitgehend gleichmäßig informationsdicht. Für Sprache ist es fatal. Sprache besteht aus wenigen hochinformativen Token in einem Meer von Grammatik. Ein Modell, das nicht entscheiden kann „das hier merke ich mir, das hier werfe ich weg", muss seinen endlichen Zustand gleichmäßig verschwenden.

Die Lösung und ihr Preis

Mambas erste Idee ist in einem Satz erzählt: Man macht die SSM-Parameter zu Funktionen des Eingangs. Δ, B und C werden pro Token aus dem Token selbst berechnet. Damit entsteht ein Selektionsmechanismus: „allowing the model to selectively propagate or forget information along the sequence length dimension depending on the current token".

Die Schrittweite Δ wird dabei zum Gas- und Bremspedal des Gedächtnisses. Ein großes Δ bedeutet: diesen Eingang stark in den Zustand schreiben, Altes überschreiben. Ein Δ nahe null bedeutet: Zustand unverändert lassen, Token ignorieren. Das Modell lernt, selbst zu entscheiden, was es behält. Die Verwandtschaft zum Gating von LSTM und GRU ist offensichtlich und von den Autoren ausdrücklich gezogen – nur dass hier ein mathematisch hergeleitetes Zustandsmodell gegated wird statt eines handgebauten Zellzustands.

Und hier liegt der Preis, und er ist hoch. Sobald die Parameter vom Eingang abhängen, ist das System nicht mehr zeitinvariant – und die Faltungsform existiert nicht mehr. Der ganze Trick aus Teil 2.3, das parallele Training per FFT, ist weg. Das Paper sagt es unmissverständlich: „even though this change prevents the use of efficient convolutions". Mamba wirft genau jene Eigenschaft weg, die S4 erst trainierbar gemacht hatte.

Der hardwarebewusste Ausweg

Die Antwort darauf ist der zweite Beitrag des Papers, und ich halte ihn für den unterschätzten: ein „hardware-aware parallel algorithm in recurrent mode". Drei Elemente:

1. Paralleler Scan statt Faltung. Eine lineare Rekurrenz ist eine assoziative Operation. Assoziative Operationen lassen sich als Präfixsumme (Scan) in logarithmischer Tiefe parallel auswerten – auch wenn die Koeffizienten pro Schritt verschieden sind. Parallelität bleibt also erhalten, nur über einen anderen Weg.
2. Kernel-Fusion. Diskretisierung, Scan und Multiplikation mit C werden in einen einzigen GPU-Kernel gelegt. Der große Zustandstensor wird nie in den langsamen HBM-Hauptspeicher geschrieben, sondern bleibt im schnellen SRAM.
3. Rematerialisierung. Für den Rückwärtspass werden die Zwischenzustände nicht gespeichert, sondern neu berechnet – Rechenzeit gegen Speicherbandbreite getauscht.

Das ist dieselbe Denkfigur, die FlashAttention groß gemacht hat, und zwar von einem der beiden Autoren: Der Engpass moderner GPUs ist nicht Arithmetik, sondern Speicherbewegung. Wer die Anzahl der HBM-Zugriffe senkt, gewinnt, selbst wenn er mehr rechnet.

Das Ergebnis des Papers: Mamba erreicht „5× higher throughput than Transformers" bei der Inferenz, skaliert linear in der Sequenzlänge, und – der bemerkenswerteste Satz – „its performance improves on real data up to million-length sequences". Beim Sprachmodellieren übertrifft Mamba-3B Transformer gleicher Größe und erreicht die Qualität von Transformern doppelter Größe, sowohl im Pretraining als auch in nachgelagerten Evaluationen. Architektonisch ist Mamba dabei radikal aufgeräumt: ein homogener Block, „without attention or even MLP blocks".

Teil 4: Die Dualität – Transformer sind State Space Models

Ein halbes Jahr später erschien die Arbeit, die ich für die intellektuell schönste dieser Reihe halte: Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (Tri Dao, Albert Gu; arXiv:2405.21060, ICML 2024).

Die Behauptung im Titel ist keine Marketingzuspitzung, sondern ein mathematisches Resultat. Beide Familien lassen sich als Multiplikation mit einer strukturierten semiseparablen Matrix schreiben. Attention berechnet diese Matrix explizit – deshalb das Quadrat. Ein SSM berechnet dieselbe Matrixoperation über eine Zerlegung, die nie die volle Matrix materialisiert – deshalb linear. Es sind zwei Berechnungsreihenfolgen desselben Objekts, und welche billiger ist, hängt davon ab, ob die Sequenz oder die Zustandsdimension größer ist.

Diese Perspektive heißt State Space Duality (SSD), und sie hat zwei Konsequenzen.

Theoretisch löst sie die seltsame Trennung auf, in der die Literatur jahrelang gearbeitet hat. Linear Attention, Gated Linear Attention, selektive SSMs, RetNet – das sind nicht konkurrierende Erfindungen, sondern Punkte in einem Raum, dessen Koordinaten man benennen kann.

Praktisch liefert sie Mamba-2: eine „refinement of Mamba's selective SSM that is 2-8X faster, while continuing to be competitive with Transformers on language modeling". Der Mechanismus ist, dass sich die Rekurrenz blockweise als Matrixmultiplikation formulieren lässt – und Matrixmultiplikation ist genau die Operation, für die Tensor Cores gebaut sind. Mamba-1s Scan nutzte sie nicht.

Ich bin der Meinung, dass dies die wichtigste methodische Lehre des ganzen Themas ist, und sie ist nicht KI-spezifisch: Wenn zwei Entwurfsfamilien unvereinbar aussehen, ist die lohnendste Frage nicht, welche gewinnt, sondern welches gemeinsame Objekt beide als Spezialfall enthält. Die Antwort liefert meist beides – bessere Theorie und schnellere Implementierungen.

Teil 5: Die harten Grenzen – wo der Zustand eine Illusion ist

Es wäre an dieser Stelle verlockend, die Geschichte als Ablösung zu erzählen. Sie ist es nicht, und das Jahr 2024 hat dafür zwei präzise Gegenbefunde geliefert. Beide sind wichtiger als jede Benchmark-Tabelle, weil sie strukturelle Aussagen machen.

Kopieren: die fixe Zustandsgröße ist ein Informationsengpass

Repeat After Me: Transformers are Better than State Space Models at Copying (Samy Jelassi, David Brandfonbrener, Sham M. Kakade, Eran Malach; arXiv:2402.01032, 2024) nimmt die einfachste denkbare Aufgabe: eine Zeichenkette aus dem Kontext wörtlich wiederholen.

Das Resultat ist ein Beweis, nicht eine Messung. Ein zweischichtiger Transformer kann Strings exponentieller Länge kopieren, weil Attention direkt auf die Position zurückgreifen kann, an der das Zeichen stand. Modelle mit fixem latenten Zustand – die Autoren nennen sie „generalized state space models" – sind dagegen „fundamentally limited by their fixed-size latent state". Wer n Bits exakt reproduzieren muss, braucht n Bits Zustand. Das ist keine Trainingsfrage und keine Hyperparameterfrage; es ist Informationstheorie. Empirisch bestätigen die Autoren den Befund auf synthetischen Aufgaben und dann an vortrainierten Modellen, wo Transformer beim Kopieren und beim Abrufen von Information aus dem Kontext „dramatically outperform" State Space Models.

Das ist die harte Grenze für eine riesige Klasse praktisch wichtiger Aufgaben: Zitate finden, Code-Snippets exakt wiedergeben, eine ID aus einem Logfile aufgreifen, Retrieval-Augmented Generation. Überall dort, wo exakter Rückgriff statt Zusammenfassung gefordert ist, ist das wachsende Archiv dem komprimierten Zustand prinzipiell überlegen.

Zustandsverfolgung: Rekurrenz allein genügt nicht

Der zweite Befund ist noch überraschender. The Illusion of State in State-Space Models (William Merrill, Jackson Petty, Ashish Sabharwal; arXiv:2404.08819, ICML 2024) prüft die naheliegende Erwartung, dass ein rekurrentes Modell dem Transformer wenigstens bei Zustandsverfolgung überlegen sein müsste. Transformer können bekanntlich bestimmte sequenzielle Berechnungen nicht ausdrücken; SSMs sind architektonisch RNN-nah; also müssten sie es können.

„Surprisingly, the answer is no." Die Analyse zeigt, dass die Ausdrucksmächtigkeit von SSMs „limited very similarly to transformers" ist: Sie können keine Berechnungen außerhalb der Komplexitätsklasse TC⁰ ausdrücken. Konkret heißt das, sie können Permutationskomposition nicht lösen – und daraus folgt, dass sie Schachzüge in bestimmter Notation nicht zuverlässig mitverfolgen, Code nicht auswerten und Entitäten über eine lange Erzählung nicht konsistent nachhalten können. Experimente mit Mamba-artigen Modellen bestätigen das. Der Titel sagt das Ergebnis: Trotz rekurrenter Formulierung ist der „state" in einem SSM eine Illusion.

Der tiefere Grund ist die Linearität, also genau das, was in Teil 2.3 der Trick war. Eine lineare Rekurrenz ohne Nichtlinearität zwischen den Schritten lässt sich zu einer flachen, parallel auswertbaren Form zusammenfalten – und was flach parallel auswertbar ist, kann keine echte sequenzielle Tiefe haben. Die Parallelisierbarkeit, die das Training möglich macht, ist dieselbe Eigenschaft, die die Ausdrucksmächtigkeit begrenzt. Das ist kein Bug, sondern ein Erhaltungssatz.

Teil 6: Die Synthese – warum die Praxis hybrid geworden ist

Wenn Attention exakten Rückgriff kann und Mamba billige lange Kontexte, dann ist die naheliegende Antwort nicht Entweder-oder, sondern Arbeitsteilung. Genau das ist passiert, und zwar schnell.

Jamba (Opher Lieber, Barak Lenz, Hofit Bata u. a., AI21 Labs; arXiv:2403.19887, 2024) war das erste große Modell dieser Art: „a novel hybrid Transformer-Mamba mixture-of-experts (MoE) architecture", die Blöcke beider Familien verschränkt und in einigen Schichten zusätzlich Experten einsetzt. Das Ergebnis der konkret implementierten Konfiguration ist aufschlussreich: ein Modell, das „fits in a single 80GB GPU", bei „high throughput and small memory footprint compared to vanilla Transformers" und starken Resultaten „for up to 256K tokens context length". Die Autoren betonen, dass die Mischungsverhältnisse nicht beliebig sind: „some of them are crucial in large scale modeling".

Nemotron-H (NVIDIA; arXiv:2504.03624, 2025) hat das in eine Produktfamilie überführt – 8B und 56B/47B Parameter – und formuliert das Entwurfsziel wirtschaftlich: „As inference-time scaling becomes critical for enhanced reasoning capabilities, it is increasingly becoming important to build models that are efficient to infer." Der Eingriff ist genau der erwartete: „we replace the majority of self-attention layers in the common Transformer model architecture with Mamba layers that perform constant computation and require constant memory per generated token". Das Ergebnis laut Abstract: bessere oder vergleichbare Genauigkeit gegenüber Qwen-2.5-7B/72B und Llama-3.1-8B/70B bei bis zu 3× schnellerer Inferenz. Die zusätzlich per Pruning und Distillation komprimierte Variante Nemotron-H-47B-Base erreicht ähnliche Genauigkeit wie das 56B-Modell und ist dabei 20 % schneller.

Die Struktur dahinter ist in beiden Fällen dieselbe: Die Mehrheit der Schichten sind Mamba-Schichten, die billig und mit konstantem Speicher die Sequenz entlangrechnen. Eine Minderheit von Attention-Schichten bleibt als „Rückgriffsorgan" erhalten, für genau die Fälle, die Jelassi et al. beweisbar isoliert haben. Der KV-Cache schrumpft dadurch um den Faktor, um den man Attention-Schichten entfernt hat – das ist die ganze Ökonomie des Entwurfs.

Teil 7: Mamba-3 (2026) – was in der dritten Runde dazukam

Die jüngste Station ist Mamba-3: Improved Sequence Modeling using State Space Principles (Aakash Lahoti, Kevin Y. Li, Berlin Chen, Caitlin Wang, Aviv Bick, J. Zico Kolter, Tri Dao, Albert Gu; arXiv:2603.15569, eingereicht am 16. März 2026). Das Abstract ist bemerkenswert selbstkritisch gegenüber der eigenen Modellfamilie: „many recent linear models trade off model quality and capability for algorithmic efficiency, failing on tasks such as state tracking. Moreover, their theoretically linear inference remains hardware-inefficient in practice."

Die drei Änderungen adressieren genau die Befunde aus Teil 5:

1. Eine ausdrucksstärkere Rekurrenz aus der Diskretisierung. Mamba-1 und Mamba-2 entsprechen, so das Paper, einer exponentiellen Euler-Diskretisierung. Mamba-3 verwendet eine Trapez-Variante, deren Zustandsupdate drei statt zwei Terme hat – es bezieht neben dem aktuellen auch den vorherigen Eingang ein: h_t = α_t h_{t-1} + β_t B_{t-1} x_{t-1} + γ_t B_t x_t. Das lässt sich, so die Autoren, zu einer impliziten Faltung über den SSM-Eingang ausrollen und kann die bisherige kurze kausale Konvolution ersetzen. Numerische Integration als Architekturentscheidung – das ist der Kern des „state space principles" im Titel.
2. Ein komplexwertiges Zustandsupdate. Es ist nach dem Paper „equivalent to a data-dependent rotary embedding" und ermöglicht Zustandsverfolgung, die reellwertige Varianten nicht leisten. Der berichtete Effekt ist der direkte Gegenbefund zu Merrill et al.: Auf synthetischen arithmetischen Zustandsverfolgungsaufgaben löst die rotationsartige Mamba-3-Variante die Aufgaben nahezu perfekt, während Mamba-3 ohne diese Komponente und Mamba-2 nicht besser als Zufallsraten abschneiden.
3. Eine MIMO-Formulierung (multi-input, multi-output). Das Zustandsupdate wechselt von einer Außenprodukt- zu einer Matrixmultiplikationsform. Der Zweck ist hardwareökonomisch: Beim Dekodieren ist eine GPU speicherbandbreitengebunden, nicht rechengebunden – also kann man die FLOPs pro Schritt erhöhen (laut Paper bis zum Vierfachen gegenüber Mamba-2 bei gleicher Zustandsgröße), ohne dass die Latenz pro Token merklich steigt. Mehr Modellqualität zum Nullpreis in Wartezeit.

Die berichteten Zahlen bei 1,5 Mrd. Parametern: Mamba-3 verbessert die durchschnittliche Downstream-Genauigkeit um 0,6 Prozentpunkte gegenüber dem nächstbesten Modell (Gated DeltaNet), die MIMO-Variante um weitere 1,2 Punkte, zusammen 1,8 Punkte. Und das Ergebnis, das die Richtung am besten zusammenfasst: Mamba-3 erreicht eine vergleichbare Perplexität wie Mamba-2 mit der Hälfte der Zustandsgröße.

Eine ehrliche Einordnung gehört dazu: Das sind Resultate bei 1,5 Mrd. Parametern, nicht bei 70 Mrd., und sie stammen von den Autoren der Architektur. Ich bin der Meinung, dass man Architekturvergleiche dieser Art erst dann als belastbar behandeln sollte, wenn unabhängige Gruppen sie bei produktionsrelevanten Größen reproduziert haben – die Geschichte von S4 auf Audio versus S4 auf Sprache ist genau die Warnung davor, aus guten Zahlen auf einem Zuschnitt auf Allgemeingültigkeit zu schließen.

Teil 8: Die Landkarte

Zwei Dinge fallen auf. Erstens: Die Zeile „Zustandsverfolgung" ist in allen drei Spalten gleich begrenzt – das ist Merrills Resultat, und es ist der Grund, warum Chain-of-Thought und externe Werkzeuge keine Verlegenheitslösung sind, sondern ein Architekturpflaster für eine strukturelle Lücke. Zweitens: Die Hybridspalte ist nicht ein Kompromiss, der von beidem etwas weniger kann, sondern in jeder praktisch wichtigen Zeile konkurrenzfähig. Das ist selten und der Grund, warum die Produktionsmodelle dort gelandet sind.

Die zentrale Erkenntnis zum Mitnehmen

1. Der Engpass ist nicht die Rechenleistung, sondern der Speicher. Quadratische Attention ist das bekannte Problem; der linear wachsende KV-Cache ist das teurere. Mambas Versprechen ist weniger „schneller rechnen" als „konstanter Speicher pro Token" – und genau deshalb ist es ein Inferenz-Argument, kein Trainings-Argument.
2. Kompression gegen Rückgriff ist der eigentliche Tauschhandel. Ein Zustand fester Größe ist eine Zusammenfassung, ein KV-Cache ein Archiv. Jelassi et al. haben bewiesen, dass keine Trainingsmenge diesen Unterschied aufhebt. Wer eine Architektur wählt, wählt damit, ob exakter Rückgriff eine Anforderung ist.
3. Parallelisierbarkeit und Ausdrucksmächtigkeit hängen zusammen – gegenläufig. Die Linearität, die paralleles Training ermöglicht, ist dieselbe Eigenschaft, die SSMs in TC⁰ einsperrt. Das ist ein Erhaltungssatz, kein Implementierungsmangel, und er betrifft Transformer genauso.
4. Wenn zwei Entwurfsfamilien unvereinbar aussehen, suche das gemeinsame Objekt. Die State-Space-Dualität hat gezeigt, dass Attention und SSMs zwei Berechnungsreihenfolgen derselben Matrixoperation sind. Daraus folgten sowohl bessere Theorie als auch ein 2–8× schnellerer Kernel.
5. Die Praxis entscheidet sich fast nie für die reine Lösung. Jamba und Nemotron-H ersetzen die Mehrheit der Attention-Schichten, nicht alle. Die interessante Entwurfsgröße ist nicht „A oder B", sondern das Mischungsverhältnis – und das ist empirisch zu bestimmen, nicht herzuleiten.

Konkreter Handlungsanstoß für diese Woche: Nimm eine Komponente deiner Architektur, die einen Zustand über Zeit mitführt – einen Cache, eine Session, einen Event-Projektions-Snapshot, ein Monitoring-Aggregat – und stelle genau eine Frage: Ist das ein Archiv oder eine Zusammenfassung?

Wächst es mit der Menge der verarbeiteten Ereignisse, ist es ein Archiv, und seine Kosten sind unbeschränkt; dann gehört eine Beschränkung dokumentiert, auch wenn sie heute nicht greift. Ist es von fester Größe, ist es eine Zusammenfassung, und dann gibt es Fragen, die es prinzipiell nicht beantworten kann – nämlich jede, die den exakten Rückgriff auf ein einzelnes früheres Ereignis braucht. Schreib diese Grenze einmal explizit auf. Nach meiner Erfahrung ist der häufigste Produktionsfehler in solchen Komponenten nicht der falsche Typ, sondern eine Zusammenfassung, von der irgendwann jemand Archiv-Antworten erwartet hat.

Reflexionsfrage: Mamba hat die alte rekurrente Idee nicht durch mehr Rechenleistung wiederbelebt, sondern durch eine Herleitung aus einem ganz anderen Fachgebiet – und die Grenze, an die sie dann stieß, war keine technische, sondern eine informationstheoretische. Welche Annahme in deiner eigenen Architektur hältst du für eine technische Einschränkung, die bei genauem Hinsehen vielleicht ein Erhaltungssatz ist – und welche hältst du für ein Naturgesetz, obwohl sie nur eine Entwurfsentscheidung von jemandem war, der das Problem anders gestellt hat als du?

Querverweise im Vault

• Aufmerksamkeit ist alles: Der Transformer, Self-Attention und die Architektur moderner KI – die Architektur, deren quadratische Kosten dieser Artikel von der anderen Seite betrachtet; die State-Space-Dualität zeigt beide als dasselbe Objekt.
• Wie groß ist groß genug? Skalierungsgesetze, Chinchilla und die Vermessung der KI – der ökonomische Rahmen: Skalierungsgesetze sagen, wie viel Rechenleistung man braucht, Architekturen wie Mamba, wie teuer sie pro Token wird.
• Der Rat der Spezialisten: Mixture of Experts und wie KI-Modelle wachsen, ohne teurer zu werden – die zweite Effizienzachse; Jamba kombiniert beide, Mamba-Schichten und MoE, im selben Modell.
• Die Nadel im Milliarden-Heuhaufen: Approximate Nearest Neighbor Search, HNSW und die Architektur der Vektordatenbanken – die externe Antwort auf genau die Rückgriffsschwäche, die Jelassi et al. beweisen: Retrieval auslagern, statt den Zustand zu vergrößern.
• Antworten ohne Gedächtnis: Bloom-Filter, HyperLogLog und die Kunst des kalkulierten Irrtums – dieselbe Denkfigur ohne neuronale Netze: fester Speicher gegen beschränkten Informationsverlust.
• Der Fehler, der rückwärts lernt: Backpropagation, die Kettenregel und der Algorithmus hinter dem Deep Learning – warum verschwindende Gradienten über lange Sequenzen das ursprüngliche RNN-Problem waren, das HiPPOs beschränkte Gradienten adressieren.
• Der Geist in der Maschine: Wie man ein neuronales Netz von innen liest – die offene Anschlussfrage: Interpretierbarkeitsmethoden sind überwiegend für Attention-Schaltkreise entwickelt worden, nicht für komprimierte Zustände.

Quellen und zum Weiterlesen

• Albert Gu, Tri Dao, Stefano Ermon, Atri Rudra, Christopher Ré – HiPPO: Recurrent Memory with Optimal Polynomial Projections, arXiv:2008.07669 (NeurIPS 2020): https://arxiv.org/abs/2008.07669
• Albert Gu, Karan Goel, Christopher Ré – Efficiently Modeling Long Sequences with Structured State Spaces (S4), arXiv:2111.00396 (ICLR 2022): https://arxiv.org/abs/2111.00396
• Yi Tay, Mostafa Dehghani, Samira Abnar, Yikang Shen, Dara Bahri, Philip Pham, Jinfeng Rao, Liu Yang, Sebastian Ruder, Donald Metzler – Long Range Arena: A Benchmark for Efficient Transformers, arXiv:2011.04006 (ICLR 2021): https://arxiv.org/abs/2011.04006
• Albert Gu, Tri Dao – Mamba: Linear-Time Sequence Modeling with Selective State Spaces, arXiv:2312.00752, 1. Dezember 2023 (v2: 31. Mai 2024): https://arxiv.org/abs/2312.00752
• Tri Dao, Albert Gu – Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality, arXiv:2405.21060, ICML 2024: https://arxiv.org/abs/2405.21060
• Samy Jelassi, David Brandfonbrener, Sham M. Kakade, Eran Malach – Repeat After Me: Transformers are Better than State Space Models at Copying, arXiv:2402.01032, 2024: https://arxiv.org/abs/2402.01032
• William Merrill, Jackson Petty, Ashish Sabharwal – The Illusion of State in State-Space Models, arXiv:2404.08819, ICML 2024: https://arxiv.org/abs/2404.08819
• Opher Lieber, Barak Lenz, Hofit Bata u. a. (AI21 Labs) – Jamba: A Hybrid Transformer-Mamba Language Model, arXiv:2403.19887, 2024: https://arxiv.org/abs/2403.19887
• NVIDIA – Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models, arXiv:2504.03624, 2025: https://arxiv.org/abs/2504.03624
• Aakash Lahoti, Kevin Y. Li, Berlin Chen, Caitlin Wang, Aviv Bick, J. Zico Kolter, Tri Dao, Albert Gu – Mamba-3: Improved Sequence Modeling using State Space Principles, arXiv:2603.15569, 16. März 2026: https://arxiv.org/abs/2603.15569
• Referenzimplementierung und Kernels: https://github.com/state-spaces/mamba

Erstellt im Rahmen des täglichen Lern-Workflows. Interessensgebiet: KI. Geschätzte Lesedauer: ~30 Minuten.

← All articles