Die Kopie der Kopie: Modellkollaps und was wirklich passiert, wenn KI von KI lernt

Der Aufhänger: Neun Generationen bis zu den Hasen

Der Text, mit dem das Experiment beginnt, ist von bemerkenswerter Langweiligkeit. Er stammt aus einem Wikipedia-Artikel über englische Kirchtürme und beginnt: „some started before 1360 — was typically accomplished by a master mason and a small team of itinerant masons, supplemented by local parish labourers, according to Poyntz Wright. […]"

Ein Sprachmodell soll weiterschreiben. In der nullten Generation, noch auf echtem Menschentext feinjustiert, tut es das brav: „Revival architecture such as St. John's Cathedral in London." Faktisch nicht ganz richtig – aber erkennbar ein Satz über Architektur.

Dann beginnt die Rekursion. Das Modell erzeugt Text, dieser Text wird zum Trainingsmaterial der nächsten Generation, diese erzeugt wieder Text, und so weiter. In der ersten Generation verschiebt sich der Fokus nach Rom und Buenos Aires: „architecture such as St. Peter's Basilica in Rome or St. Peter's Basilica in Buenos Aires." In der fünften ist das Thema verloren; der Text beginnt mitten im Wort und redet über Übersetzungen: „ism, which had been translated into more than 100 languages including English". Und in der neunten Generation liest man dies:

„architecture. In addition to being home to some of the world's largest populations of black @-@ tailed jackrabbits, white @-@ tailed jackrabbits, blue @-@ tailed jackrabbits, red @-@ tailed jackrabbits, yellow @-"

Aus der Frage nach gotischen Kirchtürmen sind Hasen geworden. Nicht einmal echte Hasen – eine Aufzählung von Farbvarianten, die sich ins Nichts fortsetzt, bis der Text mitten im Token abbricht. Die merkwürdigen Zeichenfolgen „@-@" sind übrigens kein Fehler des Modells, sondern die Art, wie der Korpus wikitext2 Bindestriche kodiert; das Modell hat sie mitgelernt und reproduziert das Artefakt. Der Aufsatz selbst erklärt sie nicht.

Dieses Beispiel stammt aus einer Arbeit, die im Juli 2024 in Nature erschien: Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Nicolas Papernot, Ross Anderson und Yarin Gal, „AI models collapse when trained on recursively generated data" (Nature 631, Heft 8022, S. 755–759, online am 24. Juli 2024). Die öffentliche Rezeption machte daraus eine Prophezeiung: Das Internet füllt sich mit KI-Text, künftige Modelle trainieren auf diesem Text, und also erstickt die KI an ihrem eigenen Output. Dass dieser Ton nicht nur in der Boulevardpresse herrschte, halten Kritiker später ausdrücklich fest: „Industry leaders, premier research journals and popular science publications alike have prophesied catastrophic societal consequences stemming from model collapse."

Dieser Artikel nimmt die Sache auseinander, und das Ergebnis ist unbequemer als beide Lager es hätten. Das Phänomen ist echt und sauber gemessen. Die katastrophische Prognose hängt an einer Annahme, die unrealistisch ist. Aber – und das ist der Teil, den die Entwarnung übersieht – daraus folgt keine Entwarnung. Denn die Annahme fallen zu lassen macht die Gegenthese nicht wahr, der am besten belegte Teil des Phänomens überlebt die Entwarnung, und die eine Arbeit, die das realitätsnächste Regime untersucht, findet Kollaps schon bei einem Prozent synthetischem Anteil.

Teil 1: Was „Modellkollaps" eigentlich bezeichnet

Die Definition im Aufsatz (Definition 2.1) ist vorsichtiger formuliert, als die Rezeption vermuten lässt. Modellkollaps ist dort „a degenerative process affecting generations of learned generative models", bei dem die erzeugten Daten „end up polluting the training set of the next generation" – ein entartender Prozess über Generationen gelernter generativer Modelle, bei dem erzeugte Daten den Trainingssatz der nächsten Generation verunreinigen.

Wichtiger als die Definition ist die Unterscheidung, die direkt folgt:

„In early model collapse, the model begins losing information about the tails of the distribution; in late model collapse, the model converges to a distribution that carries little resemblance to the original one, often with substantially reduced variance."

Früher Kollaps heißt: Die Ränder der Verteilung verschwinden. Das Seltene, das Ungewöhnliche, der Dialekt, der Spezialfall, die Minderheitsmeinung – alles, was im Trainingsmaterial wenig Masse hat, wird beim Nachsampeln mit höherer Wahrscheinlichkeit gar nicht gezogen und existiert für die nächste Generation nicht mehr. Später Kollaps heißt: Das Modell landet bei einer Verteilung mit stark reduzierter Varianz, die mit dem Original kaum noch etwas zu tun hat. Die Hasen-Aufzählung ist ein Bild für diesen Zustand.

Diese Trennung ist kein Detail, und man sollte sie sich merken – sie wird am Ende dieses Artikels die entscheidende sein. Denn die beiden Stadien sind nicht gleich gut belegt und nicht gleich gut vermeidbar.

Warum die Ränder zuerst sterben

Der Mechanismus ist weniger mysteriös als der Name. Der Aufsatz nennt drei Fehlerquellen, die sich über Generationen aufschaukeln.

Erstens statistischer Approximationsfehler: Man zieht endlich viele Stichproben aus einer Verteilung. Ein Ereignis mit Wahrscheinlichkeit 1 zu 10.000 fehlt in 10.000 Ziehungen mit Zurücklegen mit einer Wahrscheinlichkeit von etwa 37 Prozent vollständig – das ist der Grenzwert 1/e, nachgerechnet 36,79 Prozent. Was fehlt, kann die nächste Generation nicht lernen, und was sie nicht lernt, kann sie nicht erzeugen. Der Verlust ist einseitig: Ränder können verschwinden, aber nicht aus dem Nichts zurückkehren.

Zweitens funktionaler Ausdrucksfehler: Kein endliches Netz repräsentiert eine beliebige Verteilung exakt. Drittens funktionaler Approximationsfehler: Lernverfahren und Optimierer sind selbst verzerrt.

Bemerkenswert ist, dass der Aufsatz den Kollaps auch dann zeigt, wenn man die letzten beiden Quellen wegidealisiert – „even for cases with almost ideal conditions for long-term learning, that is, no function estimation error". Allein das endliche Stichprobenziehen genügt. Es braucht keinen Fehler im Modell; es genügt, dass Zufall eine Richtung hat.

Mathematisch ist das ein Random Walk ohne Rückstellkraft – solange die einzige Informationsquelle die vorige Generation ist. An diesem Nebensatz hängt die ganze Debatte.

Teil 2: Das Experiment genau gelesen

Das Setup: Feinjustiert wird OPT-125m, ein kausales Sprachmodell von Meta, bezogen über Hugging Face. Korpus ist wikitext2. Erzeugt wird mit einer Strahlsuche der Breite fünf, jedes Experiment läuft fünfmal mit verschiedenen Zufallsstartwerten. Als Referenz: Das auf echten Daten feinjustierte Ausgangsmodell erreicht eine mittlere Perplexität von 34, gegenüber 115 im Nullschuss-Betrieb.

Entscheidend ist, dass der Aufsatz zwei Regime vergleicht. Wörtlich:

„Five epochs, no original training data. Here the model is trained for five epochs starting on the original dataset but with no original data retained for subsequent runs."

„Ten epochs, 10% of original training data preserved. Here the model is trained for ten epochs on the original dataset and with every new generation of training, a random 10% of the original data points is sampled."

Zum ersten Regime – ohne erhaltene Originaldaten – schreibt der Aufsatz, das Modell verliere „some performance, from 20 to 28 perplexity points". Zum zweiten – mit zehn Prozent nachgezogener Originaldaten – heißt es, die Erhaltung der Originaldaten erlaube besseres Feinjustieren und führe „to only minor degradation of performance". Zahlen nennt der Text an dieser Stelle nicht.

Hier ist Vorsicht geboten gegen die naheliegende Lesart, zehn Prozent echte Daten genügten, um den Verfall abzuwenden. Dieser Schluss ist nicht gedeckt, aus drei Gründen.

Erstens unterscheiden sich die beiden Regime in zwei Variablen, nicht in einer: zehn statt fünf Epochen und zehn Prozent nachgezogene Originaldaten statt keiner. Aus zwei gleichzeitig veränderten Größen lässt sich der Effekt keiner einzelnen ablesen. Zweitens nennt der Aufsatz für das zweite Regime keine Zahl, und eine unquantifizierte Beobachtung kann keinen Hauptbefund tragen. Drittens, und das ist der Satz, der in der Rezeption fehlt, fasst er beide Regime gemeinsam zusammen: „Both training regimes lead to degraded performance in our models." Zehn Prozent machen den Verfall kleiner, nicht zu einem Nicht-Verfall.

Der Kontrast bleibt ein Hinweis darauf, dass es auf den Anteil echter Daten ankommt – mehr als ein Hinweis ist er hier nicht.

Eine Zweideutigkeit im Papier selbst

Es gibt eine Stelle, an der der Aufsatz nicht eindeutig ist, und sie betrifft genau den später entscheidenden Punkt. Die Bildunterschrift zu Abbildung 1a beschreibt ein Schema, in dem Daten angesammelt werden: „at step n, data are added to the overall data from step n − 1 and this combination is used to train model n."

Der theoretische Abschnitt dagegen führt eine Mischungsformel ein, p_i+1 = α_i p_θ(i+1) + β_i p_i + γ_i p₀, in der die drei Terme neue Modellausgabe, vorige Generation und Originalverteilung gewichten – und setzt dann zwei der Gewichte auf Null: „we consider β_i = γ_i = 0, that is, data only from a single step are used."

Das Schema beschreibt also Ansammeln, die Theorie rechnet mit Ersetzen. Ich bin der Meinung, dass diese Spannung im Text ein wesentlicher Grund dafür ist, warum der Aufsatz so breit als Aussage über das reale Internet gelesen wurde, obwohl seine mathematische Kernaussage an der engeren Annahme hängt.

Als Fußnote zur Wissenschaftsgeschichte: Genau dieser Satz war im Original fehlerhaft gesetzt. Eine Autorenkorrektur vom 21. März 2025 (Nature 640, Heft 8058, S. E6) hält fest, dass dort „α_i = γ_i = 0" stand, wo „β_i = γ_i = 0" stehen musste. Ein einziges Symbol – aber eines, das darüber entscheidet, welcher Term wegfällt. Es handelt sich um eine Autorenkorrektur, nicht um eine Rücknahme; zu den Schlussfolgerungen äußert sie sich nicht.

Was die Autoren selbst einschränken

Der Aufsatz ist in seinen Vorbehalten deutlich expliziter als seine Rezeption:

„in all experiments, generational learning is only performed on a finite (usually small) number of generations, whereas claims of the section ‚Theoretical intuition' are mostly presented in the limit of generations going to infinity."

„complete collapse may or may not occur, even after a small number of steps."

Und zur Skalierung räumen die Autoren ein, größere Modelle außerhalb des Feinjustier-Settings nicht getestet zu haben – mit einer bemerkenswerten Begründung: Weil das Training eines einzigen mittelgroßen Modells doppelt so viel CO₂ erzeuge wie ein amerikanisches Leben, „we opted to not run such an experiment".

Die Schlussfolgerung des Aufsatzes ist entsprechend eine über Datenzugang, nicht über Untergang. Die Autoren sprechen von einem „first mover advantage" und formulieren: „To sustain learning over a long period of time, we need to make sure that access to the original data source is preserved and that further data not generated by LLMs remain available over time." Zugleich halten sie fest: „it is unclear how content generated by LLMs can be tracked at scale."

Teil 3: Der Hebel – Ersetzen oder Ansammeln

Im April 2024 erschien die Arbeit, die den entscheidenden Unterschied isolierte: „Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data" von Matthias Gerstgrasser, Rylan Schaeffer, Apratim Dey und elf weiteren Autoren (arXiv:2404.01413, erste Fassung 1. April 2024).

Die Autoren stellen zwei Protokolle gegenüber. Beim Ersetzen wird in jeder Generation der Trainingssatz durch die Ausgabe der letzten Generation ausgetauscht. Beim Ansammeln kommen die neuen synthetischen Daten zu allem Bisherigen hinzu, einschließlich der ursprünglichen echten Daten.

Für die lineare Regression mit isotropen Merkmalen beweisen sie das Resultat exakt (Theorem 2, für T ≥ d+2 Stichproben je Iteration). Beim Ersetzen wächst der erwartete Testfehler linear in der Zahl der Generationen n:

E = σ²d/(T−d−1) · n

Beim Ansammeln dagegen:

E = σ²d/(T−d−1) · Σ_i=1..n 1/i² ≤ σ²d/(T−d−1) · π²/6

Die Pointe liegt in einer Reihe, die jeder Erstsemester kennt. Die Summe der reziproken Quadrate konvergiert – gegen π²/6, also etwa 1,645. Der Fehler ist damit nach oben beschränkt, unabhängig von der Zahl der Generationen. Statt eines Random Walk ohne Rückstellkraft hat man eine konvergente Reihe. Der Grund ist einfach: Der Anteil der synthetischen Daten am Gesamtbestand sinkt mit jeder Generation, weil der Bestand wächst.

Zwei Präzisierungen, die man in der Rezeption dieses Resultats selten liest. Erstens wächst der Fehler weiterhin monoton, nur eben gegen eine Schranke; die Reihe erreicht bei zehn Generationen 1,5498 und bei hundert 1,6350. Von der zehnten zur hundertsten Generation kommen also nur noch rund 5,5 Prozent hinzu. Zweitens, und das ist die wichtigere Zahl: E ist bei dieser Definition der Schätzfehler über dem Rauschniveau, und bei einer Generation ist die Summe gleich 1. Die Schranke π²/6 bedeutet also bis zu 64,5 Prozent mehr Schätzfehler als bei einem Modell, das nur echte Daten gesehen hat. „Beschränkt" heißt hier: kein Absturz. Es heißt nicht: gratis. Die Autoren selbst interpretieren nüchtern: „The summability of 1/i² prevents the test error from growing indefinitely."

Empirisch getestet wurde über drei Modellfamilien: kausale Transformer auf TinyStories (ein GPT-2 mit 9 Millionen Parametern sowie Llama-2-Varianten mit 12, 42 und 125 Millionen Parametern), ein GeoDiff-Diffusionsmodell auf GEOM-Drugs und Variational Autoencoder auf CelebA mit 200.000 Bildern.

Und hier beginnen die Einschränkungen, die das Resultat nicht entwerten, aber seine Reichweite begrenzen:

• Nicht in jeder Architektur ein vollständiger Schutz. Bei den VAEs steigt der Testfehler auch beim Ansammeln noch an – „albeit much more slowly than with replacing data". Die Dichotomie „unbegrenztes Wachstum oder Konstante" ist also unvollständig; es gibt mindestens eine dritte, in derselben Arbeit dokumentierte Möglichkeit.
• Gegenläufige Evidenz. Die Autoren verweisen auf Martínez et al., die bei einer anderen Architektur auf einem viel kleineren Datensatz „slightly contradictory evidence" fanden: schnellen Leistungsverfall auch beim Ansammeln.
• Ansammeln heißt unbegrenzt wachsender Datensatz. Das ist eine Bedingung, nicht eine Nebenbemerkung: Spätere Iterationen trainieren auf größeren Datenmengen als beim Ersetzen. Bei festem Rechenbudget – dem Produktionsfall – gilt die Garantie so nicht.
• Die Skala. Das größte Sprachmodell ist ein 125-Millionen-Parameter-Modell auf TinyStories, einem Korpus aus maschinell erzeugtem Kindergarten-Englisch. Von dort auf Spitzenmodelle zu schließen wäre genau die Extrapolation, die man der Presse vorwirft.

Die dritte Einschränkung haben Joshua Kazdan, Rylan Schaeffer und Mitautoren nachgemessen („Collapse or Thrive? Perils and Promises of Synthetic Data in a Self-Generating World", arXiv:2410.16713, NeurIPS-2024-Workshops). Sie führen ein drittes Protokoll ein, Accumulate-Subsample, bei dem Daten ansammeln, aber jedes Modell auf einer festen Datenmenge trainiert. Befund: Der Testfehler „deteriorates more quickly than Accumulate's loss but more slowly than Replace's loss, and frequently converges, albeit to a higher plateau than Accumulate." Also: langsam und allmählich statt explosiv, aber eben auch nicht beschränkt wie beim reinen Ansammeln. Dieselbe Arbeit findet noch etwas, das jede pauschale Empfehlung erschwert: „when real data are scarce, an appropriate amount of synthetic data reduces the test loss on real data, whereas when real data are ample, synthetic data increases the test loss on real data." Der Wert synthetischer Daten hängt davon ab, wie viele echte man schon hat – und kann negativ sein.

Teil 4: Die Bilderseite – wenn Modelle MAD werden

Parallel und unabhängig entstand die Arbeit mit dem besten Namen des Feldes: „Self-Consuming Generative Models Go MAD" von Sina Alemohammad, Josue Casco-Rodriguez, Lorenzo Luzi und fünf weiteren Autoren um Richard G. Baraniuk (arXiv:2307.01850, 4. Juli 2023; erschienen auf der ICLR 2024). MAD steht für Model Autophagy Disorder, und die Analogie ist ausdrücklich der Rinderwahnsinn: eine Krankheit, die entsteht, wenn ein Organismus seine eigene Art verzehrt.

Die formale Definition ist sparsam: Ein MAD-Prozess ist eine Folge von Verteilungen, die einem Random Walk folgt, sodass der erwartete Abstand zur echten Verteilung mit der Zeit zunimmt.

Der eigentliche Beitrag ist die Unterscheidung dreier Schleifen:

Gemessen wird in zwei Größen, die man als Qualität und Vielfalt lesen kann: Precision und Recall. Ohne Stichprobenverzerrung sinken beide – „autophagy can lead to a rapid decline of both quality and diversity". Mit Stichprobenverzerrung, also wenn man die Erzeugung auf wahrscheinliche Ausgaben hin trimmt, gilt: „with sampling bias, quality can be maintained but diversity degrades even more rapidly."

Das ist ein unbequemer Befund für jede Praxis, die synthetische Daten nach Qualität filtert: Man kauft Präzision mit Vielfalt. Das Abstract formuliert es entsprechend als Entweder-oder – ohne genügend frische echte Daten sinke „quality (precision) or diversity (recall)".

Zur mittleren Tabellenzeile ist die Abschnittsüberschrift der Arbeit selbst die knappste Zusammenfassung: Ein fester Satz echter Daten „may delay but not prevent MADness".

Zwei Einschränkungen gehören dazu. Erstens ist dies eine Bilderarbeit: getestet wurden DDPM, StyleGAN-2, WGAN und Normalizing Flows auf Datensätzen einschließlich MNIST und FFHQ. Die Autoren schreiben, die Konzepte ließen sich auf Text und Sprachmodelle übertragen, führen dafür aber keine eigenen Experimente an. Zweitens ordnen sie die rein synthetische Schleife selbst als unrealistisch ein: Sie „does not accurately reflect the reality of generative modeling practice" und sei „in a sense the worst case".

Teil 5: Die Gegenströmung – und sie betrifft genau den Realfall

Wer die Geschichte hier als „Kollaps widerlegt" beenden würde, hätte die wichtigste Arbeit übersprungen. Denn alle bisher genannten Befunde vergleichen rekursive Protokolle. Das reale Training ist keines davon: Nach Kenntnisstand der Fachliteratur trainiert kein Spitzenlabor iterativ auf den Ausgaben seines Vorgängers. Der Realfall ist ein anderer – ein Trainingslauf auf einem Korpus mit unbekanntem, wachsendem Anteil synthetischen Materials. Also: Mischen.

Und für das Mischen ist der Befundstand nicht beruhigend.

Elvis Dohmatob, Yunzhen Feng, Arjun Subramonian und Julia Kempe, „Strong Model Collapse" (arXiv:2410.04840, erste Fassung 7. Oktober 2024), untersuchen genau dieses Regime im Rahmen des Skalierungsparadigmas. Ihr erstes Resultat ist ausdrücklich ein negatives: „we establish a robust negative result which shows that model collapse generally persists even when mixing real and synthetic data, as long as the fraction of training data which is synthetic does not vanish."

Und die Größenordnung dieses Anteils ist der eigentliche Schock. Aus dem Abstract: „even the smallest fraction of synthetic data (e.g., as little as 1% of the total training dataset) can still lead to model collapse: larger and larger training sets do not enhance performance."

Ein Prozent. Nicht die Hälfte, nicht ein Drittel. Und der Schaden ist nicht ein Absturz, sondern das Ende der Skalierung: Größere Trainingsmengen bringen nichts mehr.

Zur Frage, ob größere Modelle helfen, gibt dieselbe Arbeit eine Antwort mit Struktur statt Richtung. Einerseits: „larger models can amplify model collapse." Andererseits sagt die Theorie eine Umkehr jenseits der Interpolationsschwelle voraus – „larger models may mitigate the collapse, although they do not entirely prevent it" –, sodass die Autoren insgesamt „the existence of a double-descent curve regarding the model collapse phenomenon" vorhersagen. Wer auf „größere Modelle wachsen aus dem Problem heraus" hofft, findet hier also keine einfache Zusage, sondern eine Kurve mit zwei Ästen. Einzuschränken ist der Geltungsbereich: Die Theorie ist für hochdimensionale lineare Regression und Zufallsprojektionen auf Gaußdaten entwickelt, und für vollständig trainierte Netze gilt sie nach eigener Aussage „not directly".

In dieselbe Richtung, mit anderem Werkzeug, gehen Mohamed El Amine Seddik, Suei-Wen Chen, Soufiane Hayou, Pierre Youssef und Merouane Debbah („How Bad is Training on Synthetic Data? A Statistical Analysis of Language Model Collapse", arXiv:2404.05090, 7. April 2024). Im Abstract: „we demonstrate that model collapse cannot be avoided when training solely on synthetic data." Für das Mischen geben sie eine Obergrenze an, deren Gestalt ernüchternd ist: „the amount of synthetic data should be exponentially smaller compared to real data in order to ensure that p^(m) remains close to p⁽¹⁾."

Diesen Satz muss man an seinem Untersuchungsgegenstand messen. Die Experimente laufen auf tiny Shakespeare mit einem Zeichen-Tokenizer und einer Vokabulargröße von 65, und die Autoren halten fest, dass ihre Ergebnisse „only the statistical approximation error" beschreiben und das rein synthetische Szenario „unlikely to happen in real-world applications but serves as the worst-case scenario" sei. Die Richtung des Befunds ist belastbar; die Zahl „exponentiell" auf heutige Trainingsläufe zu übertragen, wäre es nicht.

Schließlich eine Arbeit, die den Schaden anders fasst – und für Praktiker vielleicht die folgenreichste ist. Elvis Dohmatob, Yunzhen Feng, Pu Yang, Francois Charton und Julia Kempe, „A Tale of Tails: Model Collapse as a Change of Scaling Laws" (arXiv:2402.07043, erste Fassung 10. Februar 2024; ICML 2024, PMLR 235), beschreiben Kollaps nicht als Katastrophe, sondern als Änderung der Skalierungsgesetze. Ihr Theorem 2.1 gibt für einen Verteilungsschwanz mit Exponent β die Gestalt

E_test ≍ T^{−(β−1)/β} + k^−(β−1)

Der zweite Term hängt nicht von der Datenmenge T ab, sondern nur von k, dem Abschneidepunkt des Schwanzes im synthetischen Material. Sobald T etwa k^β erreicht, „the AI-generated sample size T ceases to be a ‚scalable' resource" – der Fehler läuft in ein Plateau.

Das ist eine andere und womöglich unangenehmere Aussage als „das Modell verfällt". Es verfällt nicht. Es hört auf, besser zu werden. Zum Mischen beweisen sie ein Resultat mit Grokking-Charakter (Theorem 3.2): Die Länge des Plateaus skaliert etwa mit k^β/π, wobei π der Anteil echter Daten ist. Bei π = 0 hält das Plateau ewig, bei jedem π > 0 endet es irgendwann. Entscheidend für die Interpretation: Die Autoren sprechen von Abmilderung („significantly mitigates"), nicht von Vermeidung. Und ihr Grokking-Resultat gilt nicht in reiner Form für probabilistische Modelle, sondern tritt dort als S-förmige Kurve auf.

Teil 6: Acht Definitionen und ein Missverständnis

Im März 2025 erschien die Arbeit, die das Durcheinander benennt: Rylan Schaeffer, Joshua Kazdan, Alvan Caleb Arulandu und Sanmi Koyejo stellten als Preprint „Position: Model Collapse Does Not Mean What You Think" (arXiv:2503.03150) vor; inzwischen ist die Arbeit unter dem geänderten Titel „Position: Multiple Definitions & Unrealistic Assumptions of Model Collapse Distract from Real World Threats" als ICML-2026-Beitrag erschienen (PMLR 306, S. 171990–172003). Es handelt sich um ein Positionspapier; es trainiert keine eigenen Modelle, enthält aber eigene numerische Simulationen.

Die zentrale Beobachtung: Die Literatur verwendet „at least eight different definitions" von Modellkollaps. Die Autoren listen sie auf – katastrophaler Anstieg des Populationsrisikos; irgendein Anstieg des Populationsrisikos; asymptotisch divergierendes Populationsrisiko; kollabierende Varianz; Änderung des Skalierungsgesetzes; Verschwinden oder Verschränkung echter Verteilungsmoden; Verschwinden echter Randdaten; Auftreten halluzinierter Daten.

Das ist keine Pedanterie, sondern hat eine handfeste Konsequenz, die die Autoren an einem Beispiel zeigen: Alemohammad et al. erklären Kollaps nach Definition 2 (irgendein Anstieg), Gerstgrasser et al. arbeiten mit Definition 3 (asymptotische Divergenz). Also gilt: „under the same results, model collapse can simultaneously ‚occur' and ‚not occur' in different researchers' opinions." Zwei Gruppen können dieselbe Kurve betrachten und sich wahrheitsgemäß widersprechen.

Zur Realitätsnähe der Ersetzen-Annahme werden die Autoren deutlich. Sie sei „highly unrealistic", und die Begründung ist von entwaffnender Einfachheit: „After a model finishes training, the entire internet is not deleted, nor is the next model necessarily trained solely on its predecessor's outputs."

Weiter halten sie fest, dass iteratives Nachtrainieren ihrem Kenntnisstand nach bei keinem Spitzenmodell zum Einsatz kam, und nennen dabei die GPT-Reihe, Claude 1 bis 3, PaLM 1 und 2, Gemini und DeepSeek V3. Diese Aussage ist allerdings genau zu lesen: Sie steht unter „to the best of our knowledge", betrifft geschlossene Trainingsverfahren und handelt von iterativem Nachtrainieren, nicht von synthetischen Daten überhaupt. Dass Spitzenlabore synthetische Daten verwenden, ist unstrittig – nur eben nicht im rekursiven Generationenschema. Eine Nichtwissens-Aussage über proprietäre Pipelines widerlegt das Ersetzen-Idealbild; sie belegt kein Ansammeln.

Und das Papier zieht seine Grenzen selbst. Für das Ansammeln mit Teilstichproben – den Produktionsfall – gilt: „no analytic theory has been proven in this case to date." Zur Datenökonomie: „The jury is still out on whether the proportion of real data relative to available data will approach zero." Vor allem aber halten die Autoren, die hier als Hauptzeugen der Entwarnung auftreten, ausdrücklich fest, was auch beim Ansammeln bleibt: „Subtle degradations in data distributions might still insidiously occur, such as loss of real tail data."

Damit sind wir wieder bei der Unterscheidung aus Teil 1 – und sie ist die Pointe des ganzen Artikels.

Teil 7: Was übrig bleibt, und eine Verwechslung, die man vermeiden sollte

Drei Sätze halten dem Befundstand stand.

Erstens: Der Zugang zu nicht-synthetischen Daten ist das einzige, worauf sich alle Arbeiten zum Thema zusammenziehen lassen. Shumailov et al. formulieren es als „first mover advantage", Alemohammad et al. als Bedarf an frischen echten Daten, Seddik et al. und Dohmatob et al. als Anteil, der nicht gegen Null gehen darf. Wer Modelle trainiert oder feinjustiert, sollte den Anteil echter, nachweisbar vor-synthetischer Daten als Kennzahl führen – und von Null fernhalten. Die offene Flanke dabei ist die Nachweisbarkeit selbst: Shumailov et al. nennen ausdrücklich als ungelöst, wie KI-Inhalte im großen Maßstab nachverfolgbar wären.

Zweitens: Hinzufügen ist besser als ersetzen – was keine Unbedenklichkeitserklärung ist. Für die lineare Regression ist der Unterschied bewiesen, empirisch ist er bis 125 Millionen Parameter auf einem Spielzeugkorpus gezeigt, bei VAEs nur abgeschwächt, bei festem Rechenbudget nicht in dieser Form, und bei reichlich vorhandenen echten Daten kann synthetisches Material den Testfehler nach Kazdan et al. sogar erhöhen. Die Empfehlung lautet also: Ansammeln ist der bessere Modus, falls man synthetische Daten überhaupt braucht. Die vorgelagerte Frage bleibt, ob man sie braucht.

Was ich hier ausdrücklich nicht als Befund ausgebe, obwohl es naheliegt: Versionierte Datenbestände und der Verzicht auf In-place-Überschreibung sind gute Datenhygiene, folgen aber aus keiner dieser Arbeiten. Theorem 2 ist eine Aussage über die Zusammensetzung der Trainingsmenge pro Iteration, nicht über Speicherdisziplin – man kann vollständig versionieren und trotzdem jede Generation nur auf dem neuesten Stand trainieren, was exakt das Ersetzen-Protokoll ist. Ich bin der Meinung, dass Versionierung hier trotzdem sinnvoll ist, aber das ist meine Empfehlung, kein Ergebnis.

Drittens: Qualitätsfilter sind kein Gratismittel. Der MAD-Befund zur Stichprobenverzerrung sagt, dass das Trimmen auf wahrscheinliche Ausgaben die Qualität halten kann, während die Vielfalt schneller einbricht. Wer synthetische Daten nach Qualität filtert, verschiebt das Problem von einer Achse auf die andere. Wenn Vielfalt Teil der Anforderung ist – und bei Minderheitsfällen, seltenen Fehlerbildern, Dialekten ist sie es –, muss sie eigenständig gemessen werden.

Die häufigste Verwechslung

Wiederholung echter Daten ist nicht rekursives Training auf synthetischen Daten. Beide werden unter „Datenknappheit" verhandelt und deshalb regelmäßig in einen Topf geworfen.

Niklas Muennighoff, Alexander M. Rush, Boaz Barak und Mitautoren haben in „Scaling Data-Constrained Language Models" (arXiv:2305.16264, NeurIPS 2023) über 400 Modelle von 10 Millionen bis 9 Milliarden Parametern trainiert – das größte hat 8,7 Milliarden – mit bis zu 900 Milliarden Trainings-Tokens. Ihr Befund zur Wiederholung echter Daten: Bis zu vier Epochen bringen „negligible changes to loss compared to having unique data". Ihr Beispiel: Ein Modell mit 8,7 Milliarden Parametern, vier Epochen auf 44 Milliarden einzigartigen Tokens, endet mit nur 0,5 Prozent höherem Validierungsverlust als das Einzelepochen-Modell auf 178 Milliarden einzigartigen Tokens. Sinnvolle Gewinne reichen bis etwa 16 Epochen, „beyond which returns diminish extremely fast".

Das ist eine Aussage über die Mehrfachnutzung von Menschentext – nicht über das Lernen aus Maschinentext. Wer die beiden gleichsetzt, zieht aus dem einen Befund falschen Trost für das andere Problem, oder umgekehrt falschen Alarm. Dieselbe Arbeit enthält weitere Befunde zur Datenknappheit (Code-Beimischung verdoppelt die effektiv nutzbaren Tokens; Perplexitäts-Filterung wirkt, Deduplizierung nicht), und auch diese gehören in die Knappheits-Debatte, nicht in die Kollaps-Debatte. Insbesondere widerspricht die dort wirksame Perplexitäts-Filterung echter Daten nicht dem Preis, den Punkt drei oben für das Filtern synthetischer Daten in einer rekursiven Schleife ausweist: Es sind verschiedene Regime.

Faktenprüfung

Geprüft wurden 146 Aussagen des Entwurfs gegen die Primärquellen – arXiv-Abstract- und Volltextseiten, PubMed Central für die Nature-Fassung (CC BY 4.0), Crossref für die bibliografischen Angaben, PMLR und die ICLR-Proceedings für die Publikationsorte. Die Prüfung erfolgte in zwei getrennten Durchgängen durch Gutachter, die den Text nicht geschrieben hatten: einer für harte Fakten, Zitate und Quellenzuschreibungen (66 + 46 + 15 Aussagen), einer mit dem Auftrag, die Synthese-Aussagen anzugreifen und aktiv nach Gegenevidenz zu suchen (19 Aussagen).

Ergebnis: 8 FALSCH, 20 ABZUSCHWÄCHEN, 3 NICHT PRÜFBAR – insgesamt 31 Korrekturen, dazu 6 aufgelöste innere Widersprüche.

Die drei wichtigsten Korrekturen:

1. Der Aufhänger war falsch zusammengesetzt. Der Entwurf zitierte eine „siebte Generation" („architecture in England") als Teil des Nature-Aufsatzes. Dort existiert keine Generation 7: Die Nature-Fassung zeigt die Generationen 0, 1, 5 und 9, die arXiv-Vorabfassung 0, 1, 7 und 9. Der Entwurf hatte beide Fassungen vermischt und dem Nature-Aufsatz zugeschrieben. Ersetzt durch die Generation 5 der Nature-Fassung.
2. Die zentrale Behauptung des Entwurfs war ein Fehlschluss aus einem unkontrollierten Vergleich. Der Entwurf folgerte, zehn Prozent erhaltene Originaldaten hätten „aus Verfall geringfügige Verschlechterung" gemacht. Die beiden Regime unterscheiden sich aber in zwei Variablen (zehn statt fünf Epochen und der Datenanteil), der Aufsatz nennt für das zweite keine Zahl und fasst beide zusammen mit dem Satz „Both training regimes lead to degraded performance in our models." Der Schluss wurde zur Hypothese zurückgebaut und der fehlende Satz ergänzt.
3. Eine Korrektur des ersten Prüfdurchgangs war selbst falsch. Dieser hatte den Publikationsort „ICLR 2024" bei Alemohammad et al. gestrichen, weil die arXiv-Seite im Kommentarfeld „pre-print" nennt – ein Fehlschluss von „arXiv nennt keine Konferenz" auf „es gibt keine". Die Arbeit ist als ICLR-2024-Beitrag publiziert; die Angabe wurde wiederhergestellt.

Darüber hinaus wurde eine fehlende Quelle ergänzt, die den Befundstand verschiebt: „Strong Model Collapse" (arXiv:2410.04840) untersucht das Mischungsregime, das dem realen Training am nächsten kommt, und findet Kollaps schon bei einem synthetischen Anteil von einem Prozent. Ein Entwurf, der die selektive Lesart der Presse rügt und diese Arbeit auslässt, wäre selbst angreifbar gewesen. Die daraus entstandene Umarbeitung hat die Kernaussage des Artikels verändert; Einleitung, Teil 5 und Schluss wurden entsprechend neu gefasst.

Nicht prüfbar und daher entfernt oder gekennzeichnet: die Einordnung des Nature-Aufsatzes als „eine der erfolgreichsten Wissenschaftsgeschichten des Jahres" (keine Metrik angegeben) sowie der Publikationsort von „Strong Model Collapse", der auf den zugänglichen Seiten nicht ausgewiesen ist und deshalb hier nicht behauptet wird.

Hinweis: Automatisierte KI-Prüfung gegen Primärquellen; keine menschliche Fachprüfung.

Erkenntnis zum Mitnehmen

Der Modellkollaps ist ein echtes, reproduzierbares Phänomen – und gleichzeitig ein Lehrstück darüber, wie aus einem korrekten Befund zwei falsche Prognosen werden, eine in jede Richtung.

Die erste falsche Prognose ist die bekannte: Die KI erstickt am eigenen Output. Sie hängt an der Annahme, dass der alte Datenbestand verschwindet – und diese Annahme ist unrealistisch, weil nach einem Trainingslauf nicht das Internet gelöscht wird. Daraus folgt aber nur, dass die pessimistische Prognose unbelegt ist, nicht dass sie falsch wäre, und schon gar nicht, dass die optimistische bewiesen sei. Die Nicht-Erfüllung einer hinreichenden Bedingung für Kollaps ist kein Beweis für Nicht-Kollaps. Das ist formal derselbe Fehler, nur mit umgekehrtem Vorzeichen.

Die zweite falsche Prognose ist die Entwarnung. Sie übersieht drei Dinge. Die Beschränkung beim Ansammeln ist für die lineare Regression bewiesen und erlaubt dort immer noch bis zu 64,5 Prozent mehr Schätzfehler; sie setzt einen unbegrenzt wachsenden Datensatz voraus, den das Produktionsbudget nicht hergibt; und sie betrifft das Protokoll, das niemand fährt. Für das Regime, das dem realen Training am nächsten kommt – ein Lauf auf einem Korpus mit gemischter Herkunft –, findet die einzige Arbeit, die es gezielt untersucht, Kollaps bereits bei einem Prozent synthetischem Anteil, und der Schaden ist dort nicht ein Absturz, sondern das Ende der Skalierung. Für die Skala heutiger Spitzenmodelle existiert in dieser Literatur keine Evidenz – in keiner Richtung.

Was also bleibt, ist unspektakulärer und präziser als beide Schlagzeilen: Der am besten belegte Teil des Phänomens ist der am wenigsten dramatische – und er überlebt die Entwarnung. Der frühe Kollaps, der Verlust der Verteilungsränder, tritt schnell ein und ist mehrfach reproduziert. Und ausgerechnet die Arbeit, die den Kollaps-Alarm am härtesten kritisiert, hält ihn ausdrücklich aufrecht: „Subtle degradations in data distributions might still insidiously occur, such as loss of real tail data." Was verschwindet, ist nicht die Fähigkeit des Modells, sondern das Seltene darin – der Dialekt, der Spezialfall, das untypische Fehlerbild. Das ist kein Zusammenbruch. Es ist eine stille Verengung, und sie zeigt sich nicht in der Durchschnitts-Perplexität, sondern nur dort, wo man eigens hinsieht.

Der praktische Handlungsanstoß folgt daraus unmittelbar: Messen Sie in Ihren Modellen nicht nur Güte, sondern Vielfalt – getrennt, auf den Rändern, und über die Zeit. Eine Kennzahl, die den Mittelwert beschreibt, kann eine Verengung der Ränder nicht anzeigen. Wer nur Qualität misst, wird genau den Teil des Phänomens nicht sehen, der am besten belegt ist.

Und das methodische Mitnehmen reicht über die KI hinaus. Bei Schaeffer et al. können zwei Forschungsgruppen dieselbe Kurve betrachten und sich wahrheitsgemäß widersprechen, weil sie dasselbe Wort unterschiedlich definieren – acht Definitionen für einen Begriff sind keine Pedanterie, sondern eine Fehlerquelle. Wer eine starke Behauptung über ein Phänomen liest, sollte deshalb zwei Fragen stellen, bevor er sie glaubt oder verwirft: Unter welcher Definition? Und unter welcher Annahme darüber, was mit den alten Daten passiert?

Reflexionsfrage

Die Debatte um den Modellkollaps hat ihre Schärfe daraus bezogen, dass eine Annahme – der alte Datenbestand wird ersetzt – unausgesprochen von der Mathematik in die Prognose über die Welt mitwanderte. Und ihre Entwarnung bezog die Schärfe daraus, dass man dieselbe Annahme fallen ließ und das Ergebnis für bewiesen hielt.

Welche Annahme dieser Art steckt in einem System, für das Sie Verantwortung tragen? Also: Wo haben Sie eine Kennzahl, eine Modellgüte oder eine Prognose, die erkennbar stimmt – unter einer Bedingung, die Sie nie explizit aufgeschrieben haben und deshalb auch nicht überwachen? Und würde Ihre Messung es überhaupt anzeigen, wenn nicht der Durchschnitt, sondern nur der Rand sich verschlechtert?

Querverweise im Vault

• Wie groß ist groß genug? Skalierungsgesetze, Chinchilla und die Vermessung der KI – was die Gesetze behaupten, deren Änderung Dohmatob et al. als Kollaps beschreiben.
• Mehr Parameter, weniger Fehler: Double Descent, Grokking und das Rätsel der Generalisierung – Grundlage für das Grokking-Resultat und die vorhergesagte Double-Descent-Kurve des Kollaps.
• Vom Rauschen zum Bild: Diffusionsmodelle und die Physik der generativen KI – die Modelle, auf denen MAD und die Diffusionstests laufen.
• Aufmerksamkeit ist alles: Der Transformer, Self-Attention und die Architektur moderner KI – die kausalen Transformer der Ansammel-Experimente.
• Lob und Tadel für die Maschine: RLHF und die Kunst, der KI beizubringen, was wir wollen – ein produktiver Einsatz von Modellausgaben im Training, der gerade nicht zum Kollaps führt.
• Der Geist in der Maschine: Wie man ein neuronales Netz von innen liest – was im Modell verschwindet, wenn die Verteilungsränder sterben.

Quellen und zum Weiterlesen

1. Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R., Gal, Y.: AI models collapse when trained on recursively generated data. Nature 631 (8022), S. 755–759, online 24. Juli 2024. DOI 10.1038/s41586-024-07566-y. Volltext (CC BY 4.0): https://pmc.ncbi.nlm.nih.gov/articles/PMC11269175/
2. Autorenkorrektur dazu: Author Correction: AI models collapse when trained on recursively generated data. Nature 640 (8058), S. E6, 21. März 2025. DOI 10.1038/s41586-025-08905-3
3. Vorabfassung: Shumailov, I. et al.: The Curse of Recursion: Training on Generated Data Makes Models Forget. arXiv:2305.17493 (v1 27. Mai 2023, v3 14. April 2024). https://arxiv.org/abs/2305.17493
4. Gerstgrasser, M., Schaeffer, R., Dey, A., Rafailov, R., Sleight, H., Hughes, J., Korbak, T., Agrawal, R., Pai, D., Gromov, A., Roberts, D. A., Yang, D., Donoho, D. L., Koyejo, S.: Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413 (1. April 2024). https://arxiv.org/abs/2404.01413
5. Dohmatob, E., Feng, Y., Subramonian, A., Kempe, J.: Strong Model Collapse. arXiv:2410.04840 (7. Oktober 2024). https://arxiv.org/abs/2410.04840
6. Kazdan, J., Schaeffer, R., Dey, A., Gerstgrasser, M., Rafailov, R., Donoho, D. L., Koyejo, S.: Collapse or Thrive? Perils and Promises of Synthetic Data in a Self-Generating World. NeurIPS 2024 Workshops (M3L, ATTRIB). arXiv:2410.16713. https://arxiv.org/abs/2410.16713
7. Alemohammad, S., Casco-Rodriguez, J., Luzi, L., Humayun, A. I., Babaei, H., LeJeune, D., Siahkoohi, A., Baraniuk, R. G.: Self-Consuming Generative Models Go MAD. ICLR 2024. arXiv:2307.01850 (4. Juli 2023). https://arxiv.org/abs/2307.01850
8. Dohmatob, E., Feng, Y., Yang, P., Charton, F., Kempe, J.: A Tale of Tails: Model Collapse as a Change of Scaling Laws. ICML 2024, PMLR 235. arXiv:2402.07043. https://arxiv.org/abs/2402.07043
9. Seddik, M. E. A., Chen, S.-W., Hayou, S., Youssef, P., Debbah, M.: How Bad is Training on Synthetic Data? A Statistical Analysis of Language Model Collapse. arXiv:2404.05090 (7. April 2024). https://arxiv.org/abs/2404.05090
10. Schaeffer, R., Kazdan, J., Arulandu, A. C., Koyejo, S.: Position: Multiple Definitions & Unrealistic Assumptions of Model Collapse Distract from Real World Threats. ICML 2026, PMLR 306, S. 171990–172003. Preprint-Fassung als Position: Model Collapse Does Not Mean What You Think, arXiv:2503.03150 (5. März 2025). https://arxiv.org/abs/2503.03150
11. Muennighoff, N., Rush, A. M., Barak, B., Le Scao, T., Piktus, A., Tazi, N., Pyysalo, S., Wolf, T., Raffel, C.: Scaling Data-Constrained Language Models. NeurIPS 2023. arXiv:2305.16264. https://arxiv.org/abs/2305.16264

← All articles