Wie groß ist groß genug? Skalierungsgesetze, Chinchilla und die Vermessung der KI

Der Aufhänger: Ein Diagramm, das eine Industrie steuerte

Im Januar 2020 veröffentlichte eine Gruppe von Forschern bei OpenAI ein Papier mit dem unscheinbaren Titel Scaling Laws for Neural Language Models. Es enthielt eine Reihe von Diagrammen, die auf den ersten Blick fast langweilig wirkten: gerade Linien auf doppelt-logarithmischem Papier. Doch diese geraden Linien sollten zu den folgenreichsten Grafiken der jüngeren Technikgeschichte werden. Sie beschrieben, wie gut ein Sprachmodell wird, wenn man es größer macht, mit mehr Daten füttert oder mehr Rechenleistung hineinsteckt – und zwar nicht vage, sondern als präzise mathematische Beziehung.

Vor diesen Diagrammen war „mach es größer" ein Bauchgefühl. Man vermutete, dass größere Modelle besser würden, aber niemand konnte sagen, um wie viel. Nach diesen Diagrammen war „mach es größer" ein quantitatives Rezept mit einer messbaren Steigung. Man konnte, bevor auch nur ein einziger Grafikprozessor angeworfen wurde, vorhersagen: Ein Modell mit diesem Rechenbudget wird ungefähr diesen Vorhersagefehler erreichen. Finanzierte Trainingsläufe im Wert von Hunderten Millionen Dollar wurden nicht mehr auf Hoffnung gebaut, sondern auf extrapolierte Kurven.

Und dann, zwei Jahre später, zeigte ein anderes Labor – DeepMind – dass fast die gesamte Branche das Rezept falsch angewandt hatte. Die größten Modelle der Welt, für deren Training man astronomische Summen ausgegeben hatte, waren systematisch untertrainiert. Man hatte sie zu groß und mit zu wenig Daten gebaut. Ein Modell mit weniger als einem Viertel der Parameter, aber mit deutlich mehr Trainingsdaten, konnte die Riesen schlagen – bei gleichem Rechenaufwand.

Dieser Artikel erzählt die Geschichte der neuronalen Skalierungsgesetze: Was sie genau behaupten, warum sie überhaupt funktionieren, wie DeepMinds „Chinchilla" die Landkarte neu zeichnete, warum selbst dieses berühmte Ergebnis später auf dem Prüfstand stand – und was das alles mit der hitzigen Debatte zu tun hat, ob große Modelle plötzlich neue Fähigkeiten „emergieren" lassen oder ob das nur eine Täuschung unserer Messinstrumente ist. Es ist eine Geschichte darüber, wie aus einer empirischen Beobachtung ein Ingenieurgesetz wurde – und darüber, wie vorsichtig man mit Gesetzen sein muss, die man aus Kurven abliest.

Teil 1: Was ein Skalierungsgesetz überhaupt behauptet

Die drei Stellschrauben und die eine Zielgröße

Um zu verstehen, was Kaplan und Kollegen 2020 gemessen haben, brauchen wir vier Begriffe. Drei davon sind die Stellschrauben, an denen man beim Training drehen kann, die vierte ist die Zielgröße, die man optimieren will.

Die erste Stellschraube ist N, die Anzahl der Parameter eines Modells – grob gesagt die Zahl der einstellbaren Gewichte im neuronalen Netz, ein Maß für seine „Größe" oder Kapazität. Die zweite ist D, die Menge der Trainingsdaten, gemessen in Tokens (Wortteilen). Die dritte ist C, die eingesetzte Rechenleistung, gemessen in FLOP (Gleitkommaoperationen). Diese drei sind nicht unabhängig: Als Faustregel gilt, dass das Training eines Transformer-Modells ungefähr C ≈ 6 · N · D FLOP kostet. Jeder Parameter muss für jedes Token etwa sechsmal berührt werden (grob: zweimal im Vorwärtsdurchlauf, viermal im Rückwärtsdurchlauf). Rechenleistung ist also im Wesentlichen das Produkt aus Modellgröße und Datenmenge.

Die Zielgröße ist L, der Loss oder Vorhersagefehler – konkret die sogenannte Cross-Entropy, ein Maß dafür, wie überrascht das Modell vom jeweils nächsten echten Token ist. Ein niedriger Loss bedeutet: Das Modell sagt den Text gut voraus. Der Loss lässt sich in „Nats pro Token" oder in „Bits pro Token" ausdrücken und ist eng verwandt mit der Perplexität. Wichtig ist: Loss ist eine kontinuierliche, glatte Größe, kein „richtig/falsch". Genau das wird später eine zentrale Rolle spielen.

Potenzgesetze: gerade Linien im Log-Log-Diagramm

Kaplan und seine Mitautoren trainierten über 200 Transformer-Modelle, die sich über sieben Größenordnungen an Rechenleistung, vier Größenordnungen an Parameterzahl und drei Größenordnungen an Datenmenge erstreckten. Und sie fanden etwas Bemerkenswertes: Der Loss folgt einem Potenzgesetz in Bezug auf jede der drei Stellschrauben. In Formeln:

$$L(N) \propto N^{-\alpha}, \quad L(D) \propto D^{-\beta}, \quad L(C) \propto C^{-\gamma}$$

Ein Potenzgesetz ist genau das, was eine gerade Linie im doppelt-logarithmischen Diagramm erzeugt. Verdoppelt man die Modellgröße, sinkt der Loss um einen festen Prozentsatz – egal, ob man von einer Million auf zwei Millionen Parameter geht oder von einer Milliarde auf zwei Milliarden. Diese Skaleninvarianz ist das Faszinierende: Über viele Größenordnungen hinweg gibt es keinen „Knick", keinen Punkt, an dem das Wachstum plötzlich abbricht oder explodiert. Die Verbesserung ist glatt, stetig und – das ist der springende Punkt – vorhersagbar.

Die Exponenten α, β und γ sind dabei erstaunlich klein. In Kaplans Messung lag der Exponent für die Parameterzahl bei etwa 0,076 (in einer bestimmten Konvention). Das bedeutet: Um den Loss zu halbieren, muss man das Modell nicht doppelt, sondern viele Größenordnungen größer machen. Skalierung liefert also verlässliche, aber teuer erkaufte Fortschritte. Es gibt keinen kostenlosen Sprung – jeder weitere Zuwachs an Qualität kostet exponentiell mehr Ressourcen.

Drei Regime und die entscheidende Frage

Kaplan unterschied drei Regime: Manchmal ist das Modell der Flaschenhals (zu wenige Parameter für die verfügbaren Daten), manchmal die Datenmenge (zu wenig Text für ein riesiges Modell), manchmal die Rechenleistung. In jedem dieser Regime beobachtete er den charakteristischen Potenzgesetz-Abfall.

Die praktisch wichtigste Frage aber lautete: Wenn ich ein festes Rechenbudget C habe – wie teile ich es optimal zwischen Modellgröße N und Datenmenge D auf? Denn wegen C ≈ 6ND ist das ein Zielkonflikt: Ein größeres Modell bedeutet bei gleichem Budget weniger Trainingsdaten und umgekehrt. Hier gab Kaplans Papier eine Antwort, die die Branche für die nächsten zwei Jahre prägte – und die, wie sich zeigen sollte, in einem entscheidenden Punkt falsch war.

Kaplans Analyse legte nahe, dass man bei mehr Budget vor allem das Modell vergrößern sollte und die Datenmenge nur unterproportional mitwachsen lassen müsse. Die Empfehlung lautete sinngemäß: Steckt das Geld in Parameter, nicht in Daten. Das Ergebnis war ein regelrechtes Wettrüsten um immer gigantischere Modelle – GPT-3 mit 175 Milliarden Parametern, Gopher mit 280 Milliarden, Megatron-Turing NLG mit 530 Milliarden. Alle trainiert auf, gemessen an ihrer Größe, vergleichsweise bescheidenen Datenmengen von einigen Hundert Milliarden Tokens.

Teil 2: Chinchilla – die Korrektur, die alles verschob

DeepMinds Gegenexperiment

Im März 2022 veröffentlichte ein Team um Jordan Hoffmann bei DeepMind das Papier Training Compute-Optimal Large Language Models. Es sollte zur berühmtesten Korrektur der KI-Skalierungsforschung werden. Die Forscher trainierten über 400 Modelle, von 70 Millionen bis über 16 Milliarden Parametern, auf Datenmengen zwischen 5 und 500 Milliarden Tokens. Anders als Kaplan variierten sie dabei systematisch beide Achsen und schauten genau hin, welche Kombination aus N und D bei gegebenem Budget den niedrigsten Loss ergab.

Ihr Ergebnis widersprach Kaplan in einem zentralen Punkt. Sie fanden über drei unabhängige Schätzmethoden hinweg: Modellgröße und Datenmenge sollten im Gleichschritt wachsen. Für jede Verdopplung der Parameterzahl sollte man auch die Zahl der Trainingstokens verdoppeln. Der optimale Anteil ist ungefähr N_opt ∝ C^0,46 und D_opt ∝ C^0,54 – also beide nahe bei 0,5, während Kaplan für N einen deutlich höheren Exponenten (um 0,73) angenommen hatte.

Warum der Unterschied? Ein wesentlicher Grund war methodisch: Kaplan hatte die Lernraten-Steuerung (den sogenannten Learning-Rate-Schedule) nicht sauber an die jeweilige Datenmenge angepasst, was die Rolle der Daten unterschätzte. DeepMind korrigierte das. Das klingt technisch, hatte aber gewaltige Konsequenzen.

Die parametrische Formel

Der eleganteste Teil des Chinchilla-Papiers ist eine einzige Gleichung, die den Loss als Funktion von Modellgröße und Datenmenge beschreibt:

$$L(N, D) = E + \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}}$$

Diese Formel hat eine schöne Interpretation. Der erste Term E ist der irreduzible Loss – die Entropie der natürlichen Sprache selbst, ein Sockel, unter den man selbst mit unendlich viel Rechenleistung nicht kommt, weil Sprache eine inhärente Unvorhersagbarkeit hat. Der zweite Term bestraft ein zu kleines Modell (endliche Kapazität), der dritte eine zu kleine Datenmenge (endliches Training). Die von DeepMind geschätzten Konstanten lauten ungefähr: E ≈ 1,69, A ≈ 406, B ≈ 411, α ≈ 0,34, β ≈ 0,28. Dass A und B fast gleich groß und α und β fast gleich sind, ist genau der mathematische Grund, warum N und D im Gleichschritt skalieren sollten.

Chinchilla schlägt Gopher

Um ihre Theorie zu beweisen, taten die DeepMind-Forscher etwas Mutiges. Sie nahmen dasselbe Rechenbudget, mit dem zuvor das 280-Milliarden-Parameter-Modell Gopher trainiert worden war (auf rund 300 Milliarden Tokens), und investierten es in ein viel kleineres Modell mit nur 70 Milliarden Parametern – das sie aber auf 1,4 Billionen Tokens trainierten, also fast das Fünffache an Daten. Dieses Modell nannten sie Chinchilla.

Das Ergebnis war eindeutig: Chinchilla schlug Gopher auf nahezu der gesamten Bandbreite von Benchmarks – trotz eines Viertels der Parameter. Es war kleiner, schneller und billiger im Betrieb, und trotzdem besser. Die Botschaft war unmissverständlich: Die gesamte Generation der Riesenmodelle war untertrainiert. Man hatte, verführt durch Kaplans Empfehlung, zu viel Geld in Parameter und zu wenig in Daten gesteckt.

Die berühmte Faustregel, die aus diesem Papier hervorging, lautet: Ein compute-optimales Modell sollte mit ungefähr 20 Tokens pro Parameter trainiert werden. Ein 70-Milliarden-Modell braucht also rund 1,4 Billionen Tokens. Diese Zahl – „Chinchilla-optimal" – wurde für Jahre zur Referenz.

Teil 3: Wenn das Gesetz selbst überprüft wird

Die Replikationsdebatte von 2024

Skalierungsgesetze sind empirische Behauptungen, und gute Wissenschaft prüft empirische Behauptungen nach. Im April 2024 taten Tamay Besiroglu, Ege Erdil, Matthew Barnett und Josh You von der Forschungsorganisation Epoch AI genau das. In ihrem Papier Chinchilla Scaling: A replication attempt versuchten sie, DeepMinds dritte Schätzmethode – die Anpassung der parametrischen Formel L(N,D) – anhand der aus den Diagrammen rekonstruierten Daten nachzuvollziehen.

Sie stießen auf Ungereimtheiten. Die von DeepMind berichteten Schätzwerte für die dritte Methode passten nicht recht zu den ersten beiden Methoden desselben Papiers. Vor allem aber waren die angegebenen Konfidenzintervalle absurd eng – so eng, dass man dafür über 600.000 Experimente hätte durchführen müssen, während DeepMind vermutlich weniger als 500 Modelle trainiert hatte. Etwas stimmte mit der statistischen Auswertung nicht.

Die Auflösung: ein Optimierer-Detail

Die Geschichte hat ein aufschlussreiches Ende. Nach Erscheinen der ersten Version des Epoch-Papiers klärte einer der DeepMind-Hauptautoren die Ursache auf: Bei der Anpassung ihrer Formel hatten sie die sogenannten Huber-Loss-Werte über die Beispiele gemittelt statt sie zu summieren. Das führte zu einem sehr hohen Loss-Maßstab im verwendeten Optimierer (L-BFGS-B), was diesen zu früh abbrechen ließ – sowohl bei der ursprünglichen Anpassung als auch beim Bootstrapping, dem Verfahren zur Schätzung der Unsicherheit. Daher die unmöglich engen Intervalle.

Bemerkenswert ist das Fazit: Als Besiroglu und Kollegen die parametrische Formel selbst neu anpassten, kamen sie zu Werten, die kompatibel mit den ersten beiden Schätzmethoden von Hoffmann et al. waren. Die zentrale Kernaussage – N und D sollten ungefähr im Gleichschritt skalieren – blieb also bestehen. Was wackelte, waren nicht das Gesetz, sondern die überzogen präzisen Fehlerbalken um einige seiner Parameter. Ich bin der Meinung, dass genau dies die Episode so lehrreich macht: Sie zeigt, dass Skalierungsgesetze robuste Regelmäßigkeiten beschreiben, dass aber die exakten Konstanten mit Vorsicht zu genießen sind – sie hängen von Datenrekonstruktion, Optimierer-Einstellungen und Fitting-Details ab.

Die zweite Korrektur: Inferenz kostet auch

Chinchilla optimierte für eine einzige Größe: den Rechenaufwand des Trainings. Aber ein Modell wird trainiert einmal und dann milliardenfach benutzt. Jede Nutzung (Inferenz) kostet ebenfalls Rechenleistung – und die ist bei einem kleineren Modell dauerhaft niedriger.

Ende 2023 zogen Nikhil Sardana und Kollegen in Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws die Konsequenz. Wenn man erwartet, ein Modell sehr oft zu benutzen, lohnt es sich, es kleiner und länger zu trainieren, als Chinchilla es vorschreibt – man zahlt beim Training drauf, spart aber bei jeder der Milliarden Anfragen. Ihre Rechnung: Ein Entwickler, der ein Modell in Chinchilla-30B-Qualität erwartet und mit sehr hoher Nachfrage rechnet (etwa 10⁹ Anfragen), kann die Gesamt-FLOP um rund 28 % senken, indem er stattdessen ein 13,6-Milliarden-Modell auf die 2,84-fache Datenmenge trainiert.

Genau diese Logik erklärt die Modellstrategie von Meta. Die Llama-Modelle wurden bewusst weit jenseits des Chinchilla-Optimums trainiert: Llama 1 mit bis zu 142 Tokens pro Parameter, Llama 2 mit bis zu 284, und Llama 3 trieb das auf extreme 1.875 Tokens pro Parameter (das 8-Milliarden-Modell auf 15 Billionen Tokens). Das ist rund das Hundertfache der 20-Token-Regel. Der Grund ist nicht Ignoranz der Chinchilla-Erkenntnis, sondern ihre Weiterentwicklung: Für ein Modell, das millionenfach auf Endgeräten und in Rechenzentren laufen soll, ist ein kleines, „überzogen" trainiertes Modell die ökonomisch richtige Wahl.

Teil 4: Emergenz – echt oder Fata Morgana?

Die aufregende Behauptung

Wenn Skalierung so glatt und vorhersagbar ist, wie die Kurven suggerieren – woher kommt dann das Gefühl, dass große Modelle plötzlich qualitativ Neues können? 2022 gaben Jason Wei und Kollegen diesem Gefühl einen Namen: emergente Fähigkeiten. Sie definierten eine Fähigkeit als emergent, wenn sie in kleineren Modellen nicht vorhanden ist, in größeren aber schon – und zwar so, dass die Leistung bis zu einer bestimmten Modellgröße auf Zufallsniveau bleibt und dann sprunghaft ansteigt. Als Beispiele nannten sie mehrstellige Arithmetik, das Entwirren von Buchstabensalat und Frage-Antwort-Aufgaben in verschiedenen Sprachen.

Das war eine aufregende, fast beunruhigende Behauptung. Sie legte nahe, dass Skalierung nicht nur graduelle Verbesserung bringt, sondern unvorhersehbare Phasenübergänge – dass irgendwo jenseits einer Schwelle neue Fähigkeiten aus dem Nichts auftauchen. Für die einen war das ein Beleg für erstaunliches Potenzial, für die anderen ein Sicherheitsalbtraum: Wie soll man ein System kontrollieren, dessen Fähigkeiten man nicht vorhersagen kann?

Der Einwand: Es liegt an der Messlatte

2023 setzten Rylan Schaeffer, Brando Miranda und Sanmi Koyejo von der Stanford University ein großes Fragezeichen dahinter. Ihr Papier Are Emergent Abilities of Large Language Models a Mirage? – ausgezeichnet als eine der besten Arbeiten der NeurIPS-2023-Konferenz – lieferte eine ebenso einfache wie entlarvende These: Emergenz liegt nicht im Modell, sondern in der Wahl der Messgröße.

Der Kern des Arguments: Viele Emergenz-Beispiele werden mit diskontinuierlichen Metriken gemessen. Nehmen wir „Exact Match" – eine mehrstellige Addition zählt nur dann als richtig, wenn jede Ziffer stimmt. Oder „Multiple Choice Grade" – entweder die exakt richtige Option wird gewählt oder nicht. Solche Alles-oder-nichts-Metriken bestrafen jede kleine Verbesserung mit null Punkten, bis das Modell die gesamte Aufgabe fehlerfrei löst. Die zugrunde liegende Fähigkeit – etwa die Wahrscheinlichkeit, die einzelne Ziffer richtig vorherzusagen – verbessert sich in Wahrheit glatt und stetig. Aber die harte Metrik übersetzt diese sanfte Kurve in einen scheinbaren Sprung.

Schaeffer und Kollegen zeigten: Über 92 % der von Wei handannotierten emergenten Fähigkeiten auf dem BIG-Bench-Benchmark traten unter genau einer von zwei Metriken auf – Multiple Choice Grade oder Exact String Match. Ersetzt man diese durch eine kontinuierliche Metrik (etwa die Wahrscheinlichkeit, die das Modell der richtigen Antwort zuweist), verschwindet der Sprung und man sieht wieder die vertraute glatte Skalierung. Sie konnten den Effekt sogar umgekehrt erzeugen: Indem sie eine hinreichend nichtlineare Metrik auf ein Bilderkennungsnetz anwandten, ließen sie dort künstlich „Emergenz" erscheinen, wo keine war.

Was bleibt von der Emergenz?

Die Debatte ist damit nicht endgültig entschieden, aber sie hat die Begriffe geschärft. Es ist ein Unterschied zwischen zwei Aussagen: „Die Fähigkeit des Modells ändert sich sprunghaft" und „Unsere Messung der Fähigkeit ändert sich sprunghaft". Schaeffers Arbeit legt nahe, dass viele berühmte Emergenz-Beispiele in die zweite Kategorie fallen – sie sind Artefakte der Messlatte, nicht des Modells.

Das entwertet die praktische Beobachtung nicht vollständig: Wenn ein Nutzer eine korrekte, vollständige Rechnung will, ist die Alles-oder-nichts-Metrik durchaus die relevante. Aus Anwendersicht fühlt sich der Übergang wie ein Sprung an. Aber für die wissenschaftliche Frage, ob im Inneren des Modells etwas Diskontinuierliches passiert, ist die Antwort ernüchternder: Vieles, was wie ein Phasenübergang aussah, ist eine glatte Kurve, betrachtet durch eine grobe Brille. Ich bin der Meinung, dass die richtige Lehre lautet: Bevor man einem System übernatürliche Sprünge zuschreibt, sollte man zuerst das eigene Messgerät prüfen.

Teil 5: Warum funktionieren Skalierungsgesetze überhaupt?

Eine unbefriedigende Seite der Skalierungsgesetze ist lange geblieben: Sie sind empirisch. Man hat die geraden Linien gemessen, aber warum die Natur sich an ein Potenzgesetz hält, war zunächst offen. Inzwischen gibt es ernstzunehmende theoretische Erklärungsansätze.

Eine einflussreiche Familie von Erklärungen führt die Potenzgesetze auf die Geometrie der Daten zurück. Die Idee, unter anderem von Yasaman Bahri, Ethan Dyer, Jared Kaplan, Jaehoon Lee und Utkarsh Sharma entwickelt (veröffentlicht in den Proceedings of the National Academy of Sciences), unterscheidet ein „varianzbegrenztes" und ein „auflösungsbegrenztes" Regime. Im auflösungsbegrenzten Fall lässt sich der Exponent des Skalierungsgesetzes direkt mit der intrinsischen Dimension der Datenmannigfaltigkeit in Verbindung bringen: Ein Modell, das eine Funktion auf einer d-dimensionalen Datenmannigfaltigkeit interpoliert, verbessert sich mit einer Rate, die von d abhängt. Vereinfacht: Daten in der realen Welt liegen auf einer gekrümmten Fläche in einem hochdimensionalen Raum, und je feiner ein Modell diese Fläche „auflöst", desto besser wird es – nach einem Gesetz, das genau die beobachtete Potenzform hat.

Andere Ansätze führen die Potenzgesetze auf die statistische Struktur der Sprache selbst zurück – etwa auf die bekannte Zipf-Verteilung, nach der wenige Wörter sehr häufig und sehr viele Wörter sehr selten sind. Die Verteilung der „Konzepte", die ein Modell lernen muss, hat einen langen Schwanz seltener Fälle, und die Rate, mit der ein Modell diesen Schwanz erschließt, erzeugt das Potenzgesetz. Diese Erklärungen sind noch nicht vollständig, aber sie verwandeln die geraden Linien von einem glücklichen Zufall in etwas, das man aus tieferen Prinzipien verstehen kann.

Es lohnt sich, hier eine ehrliche Grenze zu ziehen: Die theoretische Fundierung ist ein aktives Forschungsfeld, und keine einzelne Erklärung ist unumstritten. Was empirisch robust ist – die Existenz der Potenzgesetze über viele Größenordnungen – ist besser abgesichert als jede spezifische Theorie darüber, warum sie gelten.

Teil 6: Die praktische Bedeutung – ein Kompass, kein Fahrplan

Was bedeutet all das für jemanden, der KI-Systeme baut oder einsetzt? Zunächst: Skalierungsgesetze sind ein Planungswerkzeug. Bevor man ein teures Training startet, kann man kleine Modelle trainieren, die Kurve anpassen und den Loss des großen Modells extrapolieren. Man weiß im Voraus ungefähr, was man für sein Geld bekommt. Das hat die Ökonomie der KI-Entwicklung grundlegend verändert.

Zweitens verschieben die Chinchilla- und die Inferenz-Korrektur den Schwerpunkt von „möglichst viele Parameter" zu „das richtige Verhältnis". Die interessante Frage ist nicht mehr nur, wie groß ein Modell ist, sondern wie viele Tokens pro Parameter es gesehen hat – und für welchen Anwendungsfall (einmalige Forschung versus milliardenfacher Betrieb) man optimiert.

Drittens – und das ist die vielleicht wichtigste aktuelle Sorge – stoßen wir an eine Datenmauer. Chinchilla verlangt, dass die Datenmenge mit der Modellgröße mitwächst. Aber das öffentlich verfügbare, hochwertige Textmaterial im Internet ist endlich. Verschiedene Schätzungen legen nahe, dass der Bestand an qualitativ hochwertigem menschlichem Text noch in diesem Jahrzehnt für die größten Trainingsläufe knapp werden könnte. Das treibt die Forschung zu synthetischen Daten, zu Mehrfach-Durchläufen über dieselben Daten und zu Architekturen, die pro Token mehr lernen. Es ist gut möglich, dass die reine „mehr Daten, mehr Parameter"-Ära an eine natürliche Grenze stößt und die nächsten Fortschritte aus anderen Quellen kommen müssen – etwa aus mehr Rechenaufwand zur Inferenzzeit (dem „Nachdenken" eines Modells), einem Trend, der die reine Trainings-Skalierung bereits ergänzt.

Die Skalierungsgesetze bleiben ein Kompass: Sie zeigen zuverlässig die Richtung an, in die es besser wird, und wie steil der Weg dorthin ist. Aber sie sind kein Fahrplan, der garantiert, dass die Straße unendlich weit geradeaus führt. Jede Extrapolation über den vermessenen Bereich hinaus ist eine Wette – eine gut informierte, aber eben eine Wette.

Eine Vergleichstabelle: Die Entwicklung der Skalierungsleitlinien

Die Erkenntnis zum Mitnehmen

Die tiefste Lektion der Skalierungsgesetze ist nicht „größer ist besser". Sie ist subtiler: Fortschritt in der KI ist über weite Strecken erstaunlich regelmäßig – und diese Regelmäßigkeit lässt sich messen, bevor man sie erlebt. Aus dieser Vorhersagbarkeit erwächst ein doppeltes Verhältnis von Demut und Vorsicht. Demut, weil die glatten Kurven zeigen, dass viele scheinbare „Durchbrüche" in Wahrheit erwartbare Punkte auf einer bekannten Linie sind. Vorsicht, weil dieselben Kurven verführen, sie blind zu extrapolieren – und weil, wie Chinchilla und die Replikationsdebatte zeigen, selbst sorgfältig gemessene Gesetze in ihren Details korrigiert werden.

Für die eigene Arbeit heißt das ganz praktisch: Wer eine Behauptung über „plötzlich neue Fähigkeiten" hört, sollte zuerst fragen, mit welcher Messlatte gemessen wurde. Und wer ein System dimensioniert, sollte nicht nur nach der Modellgröße schielen, sondern nach dem Verhältnis von Daten zu Parametern und nach dem gesamten Lebenszyklus aus Training und Inferenz. Skalierungsgesetze belohnen nicht den, der am meisten Rechenleistung verbrennt, sondern den, der ihr Zusammenspiel am klarsten versteht.

Eine Frage zum Nachdenken

Skalierungsgesetze sagen uns verlässlich, wie der Vorhersagefehler eines Modells sinkt – aber der Loss ist nicht dasselbe wie „Verständnis", „Nützlichkeit" oder „Wahrheit". Wenn eine Größe glatt und vorhersagbar fällt, wir aber nicht sicher sind, ob sie das misst, was uns eigentlich wichtig ist: Verlassen wir uns dann auf ein Gesetz – oder auf die Bequemlichkeit, endlich etwas Messbares zu haben? Und wie würdest du entscheiden, welche der Fähigkeiten, die dir an einem KI-System wichtig sind, sich überhaupt sinnvoll auf einer glatten Kurve abbilden lassen?

Querverweise im Vault

• Der Geist in der Maschine: Wie man ein neuronales Netz von innen liest – während Skalierungsgesetze das äußere Verhalten großer Modelle beschreiben, öffnet die mechanistische Interpretierbarkeit die Blackbox von innen.
• Die Pyramide des Risikos: Wie der EU AI Act künstliche Intelligenz bändigt – und warum das die ganze Welt betrifft – die 10²⁵-FLOP-Schwelle des AI Act für „systemisches Risiko" ist letztlich eine regulatorische Anwendung eben jener Rechenleistung, die Skalierungsgesetze in den Mittelpunkt stellen.
• Das vorhersagende Gehirn: Predictive Processing und die Illusion der Wahrnehmung – auch das Gehirn wird als Vorhersagemaschine modelliert, die ihren „Vorhersagefehler" minimiert; ein reizvoller Vergleich zum Loss eines Sprachmodells.

Quellen

• Kaplan, J. et al. (2020): Scaling Laws for Neural Language Models. arXiv:2001.08361. https://arxiv.org/abs/2001.08361
• Hoffmann, J. et al. (2022): Training Compute-Optimal Large Language Models (Chinchilla). arXiv:2203.15556 / NeurIPS 2022. https://arxiv.org/abs/2203.15556
• Besiroglu, T., Erdil, E., Barnett, M., You, J. (2024): Chinchilla Scaling: A replication attempt. arXiv:2404.10102 / Epoch AI. https://epoch.ai/publications/chinchilla-scaling-a-replication-attempt
• Wei, J. et al. (2022): Emergent Abilities of Large Language Models. arXiv:2206.07682. https://arxiv.org/abs/2206.07682
• Schaeffer, R., Miranda, B., Koyejo, S. (2023): Are Emergent Abilities of Large Language Models a Mirage? NeurIPS 2023 / arXiv:2304.15004. https://arxiv.org/abs/2304.15004
• Sardana, N. et al. (2023/2024): Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws. arXiv:2401.00448. https://arxiv.org/abs/2401.00448
• Bahri, Y., Dyer, E., Kaplan, J., Lee, J., Sharma, U. (2024): Explaining Neural Scaling Laws. PNAS. https://www.pnas.org/doi/10.1073/pnas.2311878121

← All articles