Sven Erik Matzen

Software Architect | Cloud & Security Expert | AI-enabled Solutions

Warum die Sonne morgen aufgeht: Humes Induktionsproblem, grue und die Grenzen des Lernens

🎧 Listen to this article

Philosophie · 2026-08-27

EU-Kennzeichnung: vollständig KI-generierter Inhalt Vollständig KI-generierter Artikel (ohne Vorabprüfung).

Der Aufhänger: Ein Truthahn, der zu gut gelernt hatte

Ein Truthahn kommt an seinem ersten Morgen auf der Farm zur Welt und wird gefüttert. Ein aufmerksames Tier, ein guter Beobachter. Es notiert die Beobachtung, aber es zieht keine voreiligen Schlüsse – ein einzelner Datenpunkt ist wertlos. Also sammelt es weiter. Es wird an warmen Tagen gefüttert und an kalten, mittwochs und donnerstags, bei Regen und bei Sonne. Jeden Morgen fügt es seinem Datensatz eine neue Beobachtung hinzu: „Am Morgen werde ich gefüttert." Woche um Woche wächst die Evidenz. Die Stichprobe wird groß, vielfältig, statistisch erdrückend. Schließlich, an einem Morgen im Spätherbst, zieht der Truthahn mit der Sicherheit eines gut kalibrierten Modells seinen induktiven Schluss: „Ich werde immer am Morgen gefüttert." Es ist der Morgen des vierten Donnerstags im November. Es ist Thanksgiving.

Diese Parabel – meist Bertrand Russell zugeschrieben, der eine ähnliche Geschichte über ein Huhn erzählte – ist kein Kinderscherz. Sie ist die vielleicht knappste Einführung in eines der tiefsten und unbehaglichsten Probleme der gesamten Philosophie: Mit welchem Recht schließen wir eigentlich vom Beobachteten auf das Unbeobachtete, von der Vergangenheit auf die Zukunft, von der Stichprobe auf die Grundgesamtheit? Der Truthahn tat genau das, was jeder gute Wissenschaftler, jeder Statistiker und jedes lernende System tut: Er verallgemeinerte aus verlässlichen, zahlreichen, variierten Daten. Und er lag katastrophal falsch – nicht wegen eines Rechenfehlers, sondern weil das Verfahren selbst, so unentbehrlich es ist, keine eingebaute Garantie besitzt.

Für jemanden wie Sven, der beruflich Systeme baut, die aus Daten lernen, Muster verallgemeinern und Vorhersagen treffen, hat diese Frage eine besondere Schärfe. Jedes Modell, das aus Trainingsdaten auf ungesehene Fälle schließt, ist im Grunde dieser Truthahn. Und wie wir sehen werden, ist das keine bloße Analogie: Das Induktionsproblem, das David Hume 1748 formulierte, ist im Herzen des modernen maschinellen Lernens als mathematisches Theorem wieder aufgetaucht. Dieser Artikel nimmt dich mit auf die ganze Strecke – von Humes ernüchterndem Argument über Nelson Goodmans hinterhältiges Rätsel mit einem erfundenen Wort bis zu der überraschenden Erkenntnis, dass es kein voraussetzungsfreies Lernen geben kann, weder beim Menschen noch bei der Maschine.

Teil 1: Humes Guillotine

Zwei Arten von Wissen

David Hume, der schottische Philosoph der Aufklärung, teilte in seiner Untersuchung über den menschlichen Verstand (1748) alle Gegenstände menschlicher Vernunft in zwei Klassen. Auf der einen Seite stehen die Beziehungen zwischen Ideen (relations of ideas): die Wahrheiten der Mathematik und Logik. Dass die Winkelsumme im Dreieck 180 Grad beträgt oder dass drei mal fünf gleich der Hälfte von dreißig ist, wissen wir mit Gewissheit, allein durch Denken, ohne in die Welt hinauszugehen. Ihre Verneinung führt in den Widerspruch. Sie sind notwendig wahr, aber sie sagen nichts über die tatsächliche Beschaffenheit der Welt.

Auf der anderen Seite stehen die Tatsachen (matters of fact): dass die Sonne morgen aufgeht, dass Brot nährt, dass Feuer wärmt. Ihre Verneinung ist kein Widerspruch. Dass die Sonne morgen nicht aufgeht, ist logisch vollkommen denkbar; wir können uns diesen Fall ohne Denkfehler vorstellen. Genau deshalb aber können wir Tatsachen nicht durch reines Nachdenken erkennen. Woher wissen wir dann etwas über Tatsachen, die über unsere unmittelbare Wahrnehmung und Erinnerung hinausgehen?

Humes Antwort: durch Kausalität, und alle Erkenntnis von Ursache und Wirkung stammt aus Erfahrung. Wir sehen nie die Kausalkraft selbst – wir sehen nur, dass auf ein Ereignis regelmäßig ein anderes folgt. Der Billardball A trifft Ball B, und B rollt los. Was wir beobachten, ist nichts als eine Abfolge: erst Berührung, dann Bewegung. Die „notwendige Verknüpfung" zwischen beiden sehen wir nicht; wir ergänzen sie im Geist, nachdem wir die Abfolge oft genug erlebt haben. Kausalwissen ist also durch und durch induktives Wissen: Verallgemeinerung aus wiederholter Erfahrung.

Die entscheidende Frage

Und nun stellt Hume die Frage, die alles ins Wanken bringt. Jeder induktive Schluss – von „Brot hat mich bisher immer genährt" zu „Brot wird mich auch morgen nähren" – setzt stillschweigend eine Brücke voraus. Die Brücke lautet: Die Zukunft wird der Vergangenheit gleichen, oder allgemeiner, die Fälle, von denen wir keine Erfahrung haben, gleichen denen, von denen wir Erfahrung haben. Die Stanford Encyclopedia of Philosophy nennt dieses Bindeglied das Uniformitätsprinzip (Uniformity Principle) oder das Prinzip der Gleichförmigkeit der Natur. Ohne es hat kein induktiver Schluss irgendeine Kraft. Mit ihm scheint alles zu funktionieren.

Die eigentliche Frage lautet also: Womit rechtfertigen wir das Uniformitätsprinzip selbst?

Hume zeigt mit erbarmungsloser Klarheit, dass es nur zwei mögliche Wege der Rechtfertigung gibt – und dass beide versperrt sind.

Der erste Weg wäre eine demonstrative, also deduktiv-logische Begründung. Aber die scheitert sofort. Denn wie wir sahen, ist die Verneinung des Prinzips kein Widerspruch. Eine Welt, in der die Naturgesetze morgen kippen, in der Brot plötzlich vergiftet und Feuer plötzlich kühlt, ist logisch widerspruchsfrei vorstellbar. Aus reiner Logik lässt sich die Gleichförmigkeit der Natur also nicht ableiten. Deduktion ist machtlos.

Der zweite Weg wäre eine empirische, also erfahrungsgestützte Begründung. Man könnte sagen: „Das Uniformitätsprinzip hat sich doch bewährt! In der Vergangenheit glich die Zukunft stets der Vergangenheit; die Natur war bisher gleichförmig, also wird sie es weiter sein." Doch hier schnappt die Falle zu. Dieses Argument setzt genau das voraus, was es beweisen soll. Es schließt von der bisherigen Gleichförmigkeit auf die künftige Gleichförmigkeit – und dieser Schluss ist selbst ein induktiver Schluss, der wiederum das Uniformitätsprinzip benötigt. Wir begründen die Induktion mit einer Induktion. Das ist ein Zirkelschluss, ein Sichim-Kreis-Drehen (petitio principii).

Damit ist Humes Argument komplett, und es ist in seiner Struktur von bestechender, fast brutaler Einfachheit. Induktive Schlüsse lassen sich weder deduktiv rechtfertigen (das würde eine logische Notwendigkeit verlangen, die nicht existiert) noch induktiv (das wäre zirkulär). Ein dritter Weg ist nicht in Sicht. Also, so folgert Hume, gibt es keine rationale Rechtfertigung der Induktion überhaupt. Diese Gabelung – deduktiv unmöglich, induktiv zirkulär – wird oft Humes Gabel oder, drastischer, Humes Guillotine genannt.

Was Hume nicht behauptet

Es ist wichtig, Humes Position nicht misszuverstehen, denn sie wird oft karikiert. Hume ruft nicht dazu auf, die Induktion aufzugeben. Er war kein Weltuntergangs-Skeptiker, der morgens nicht mehr aus dem Bett stieg, weil der Boden vielleicht verschwunden sein könnte. Im Gegenteil: Hume war überzeugt, dass wir gar nicht anders können, als induktiv zu schließen. Nur ist der Grund dafür kein rationaler, sondern ein psychologischer. Es ist die Gewohnheit (custom, habit). Nachdem wir Feuer und Wärme oft genug zusammen erlebt haben, stellt sich beim Anblick des Feuers automatisch die Erwartung der Wärme ein – nicht weil die Vernunft es gebietet, sondern weil unsere Natur so gestrickt ist. Die Gewohnheit, sagt Hume, ist „die große Führerin des menschlichen Lebens".

Das ist die eigentliche Provokation. Hume sägt nicht die Induktion ab, sondern ihr rationales Fundament. Er zeigt, dass die verlässlichste Erkenntnispraxis, die wir haben – die Grundlage aller Naturwissenschaft –, auf keinem logischen Felsen ruht, sondern auf einer tiefen, unhintergehbaren Angewohnheit unseres Geistes. Wir sind, könnte man sagen, kognitiv verurteilt, dem Truthahn zu gleichen. Die Frage ist nur, ob wir klüger sind als er.

Teil 2: Zweihundert Jahre später wird es schlimmer – Goodmans neues Rätsel

Ein Wort, das die Welt spaltet

Man könnte meinen, das Induktionsproblem sei mit Hume abschließend formuliert und der Rest sei Kommentar. Doch 1954 legte der amerikanische Philosoph Nelson Goodman in seinem schmalen, folgenreichen Buch Fact, Fiction, and Forecast eine zweite Bombe – ein Problem, das er das neue Rätsel der Induktion (New Riddle of Induction) nannte und das in gewisser Weise noch beunruhigender ist als Humes altes. Denn Humes Rätsel fragt, ob Induktion überhaupt gerechtfertigt ist. Goodmans Rätsel fragt etwas Feineres und Praktischeres: Welche Induktionen sind gute, und welche sind schlecht? Und es zeigt, dass wir diese Frage nicht so leicht beantworten können, wie wir dachten.

Goodmans Werkzeug ist ein einziges erfundenes Wort: grue (ein Kofferwort aus green und blue, im Deutschen manchmal als „grot" oder „grün-blau" wiedergegeben; wir bleiben beim Original). Die Definition ist eine kleine, harmlos wirkende Konstruktion mit einem Zeitindex. Ein Gegenstand ist grue, wenn er entweder vor einem bestimmten künftigen Zeitpunkt t untersucht wurde und dabei grün war, oder nach t untersucht wird und blau ist. Setzen wir für t meinetwegen den 1. Januar 2050.

Nun betrachten wir alle Smaragde, die je untersucht wurden. Jeder einzelne war grün. Diese Beobachtung stützt, ganz selbstverständlich, die Hypothese: „Alle Smaragde sind grün." Guter, gesunder induktiver Schluss.

Aber jetzt kommt Goodmans Streich. Jeder dieser untersuchten Smaragde war auch grue. Denn jeder wurde vor 2050 untersucht und war dabei grün – und genau das erfüllt die erste Hälfte der grue-Definition. Die exakt gleiche Evidenz, dieselben Smaragde, dieselben Beobachtungen, stützen also mit genau derselben logischen Berechtigung die Hypothese: „Alle Smaragde sind grue."

Und diese beiden Hypothesen sagen für die Zukunft Unvereinbares voraus. „Alle Smaragde sind grün" sagt: Ein Smaragd, den wir 2051 zum ersten Mal ausgraben, wird grün sein. „Alle Smaragde sind grue" sagt: Derselbe Smaragd, weil er nach 2050 untersucht wird, wird blau sein. Dieselben Daten, dieselbe induktive Logik – und zwei gegensätzliche Prognosen.

Warum das so verstörend ist

Man ist zunächst versucht, den Trick mit einer Handbewegung wegzuwischen: „grue ist doch offensichtlich ein künstliches, verdrehtes Prädikat mit einem eingebauten Zeitpunkt – grün ist natürlich, grue ist geschummelt." Dieser Instinkt ist richtig, aber ihn zu begründen ist verblüffend schwer. Genau darin liegt die Schärfe des Rätsels.

Goodman antwortet auf den Einwand mit einer Symmetriefalle. Wir halten grue für „zeitabhängig" und grün für „zeitlos". Aber das gilt nur, weil wir grün und blau als unsere Grundbegriffe nehmen. Führen wir ein zweites Kunstwort ein – bleen (ein Gegenstand ist bleen, wenn er vor t untersucht und blau ist oder nach t untersucht und grün ist) –, dann können wir die ganze Sprache umdrehen. In einer Sprache, deren Grundfarben grue und bleen sind, ist plötzlich grün das zeitabhängige, verdächtige Prädikat: „Grün" hieße dann „grue, wenn vor t untersucht, sonst bleen". Aus Sicht der grue-Sprecher sind wir die Sonderlinge mit den verdrehten, zeitindizierten Begriffen. Es gibt kein rein logisches, sprachneutrales Kriterium, das grün auszeichnet und grue verdammt. Die scheinbare Selbstverständlichkeit, mit der wir „grün" projizieren und „grue" verwerfen, hat kein formales Fundament.

Damit hat Goodman das Problem von Humes Ebene auf eine neue verschoben. Humes Problem war die Rechtfertigung der Induktion. Goodmans Problem ist die Abgrenzung guter Induktion von schlechter – das Problem der projizierbaren Prädikate. Manche Prädikate (grün, fest, elektrisch leitfähig) dürfen wir guten Gewissens in die Zukunft projizieren; andere (grue, bleen und unendlich viele weitere erfindbare) dürfen wir es nicht, obwohl sie durch die bisherige Evidenz genauso gut bestätigt sind. Die Logik allein sagt uns nicht, welche welche sind. Jede Datenmenge, die eine Verallgemeinerung zu bestätigen scheint, bestätigt mit gleicher formaler Berechtigung unendlich viele damit unverträgliche Verallgemeinerungen.

Goodmans eigene Antwort: Entrenchment

Goodman selbst blieb nicht bei der Diagnose stehen, sondern schlug eine Therapie vor – eine, die vielen zunächst wie ein Eingeständnis der Niederlage vorkommt, die aber tief ist. Sein Schlüsselbegriff heißt Entrenchment, Einwurzelung oder Verankerung. Was macht „grün" projizierbar und „grue" nicht? Nicht seine Logik, nicht seine Naturnähe, sondern seine Geschichte. „Grün" ist ein Prädikat, das in unzähligen erfolgreichen Vorhersagen der Vergangenheit verwendet wurde; es ist in unsere sprachliche und wissenschaftliche Praxis tief eingewurzelt. „Grue" hat keine solche Erfolgsbilanz; niemand hat je mit ihm erfolgreich prognostiziert. Projizierbar sind die Prädikate, die sich beim Projizieren bewährt haben.

Man sieht sofort die Verwandtschaft zu Humes Lösung: So wie Hume die Induktion auf Gewohnheit zurückführte statt auf Logik, führt Goodman die Wahl der guten Prädikate auf eingeübte Praxis zurück statt auf ein formales Kriterium. Beide sagen im Kern: Die Rechtfertigung liegt nicht in der reinen Vernunft, sondern in der Geschichte unseres erfolgreichen Umgangs mit der Welt. Das ist keine mathematische Garantie. Aber es ist vielleicht das Ehrlichste, was sich sagen lässt. Wir merken uns diesen Gedanken – die Einwurzelung erfolgreicher Begriffe –, denn er wird uns bei den lernenden Maschinen in unerwarteter Gestalt wiederbegegnen.

Teil 3: Die Rettungsversuche

Ein Problem von dieser Wucht hat, wie zu erwarten, ganze Bibliotheken an Antworten hervorgebracht. Keine gilt als endgültig durchschlagend, aber die wichtigsten lohnen den Blick, weil jede eine andere Auffassung davon verkörpert, was „Rechtfertigung" überhaupt heißen soll.

Popper: Wir induzieren gar nicht

Der radikalste Ausweg stammt von Karl Popper, und er ist eine Art Judo-Griff: Popper akzeptiert Humes Argument vollständig und behauptet, es sei gar kein Problem – weil die Wissenschaft in Wahrheit nie induziert. Was wie Induktion aussieht, ist laut Popper in Wahrheit ein anderes Verfahren, das er Falsifikationismus oder hypothetisch-deduktive Methode nennt.

Nach diesem Bild bestätigen Wissenschaftler ihre Theorien nicht durch die Anhäufung positiver Fälle. Kein noch so großer Berg weißer Schwäne beweist den Satz „Alle Schwäne sind weiß" – Hume hat recht, das ginge nicht. Aber ein einziger schwarzer Schwan widerlegt ihn, und diese Widerlegung ist rein deduktiv, völlig wasserdicht. Wissenschaft schreitet demnach nicht durch Verifikation voran, sondern durch Vermutung und Widerlegung (conjectures and refutations): Man stellt kühne, gehaltvolle, riskante Hypothesen auf und versucht dann mit aller Kraft, sie zu zerstören. Was den Angriffen standhält, gilt vorläufig als bewährt (Popper sagt: „corroborated"), aber nie als bewiesen. Der logische Trick besteht darin, dass die Widerlegung eines Allsatzes durch einen einzigen Gegenfall die Form des gültigen Schlusses modus tollens hat – reine Deduktion, gegen die Hume nichts einzuwenden hatte.

So elegant das ist, es hat einen Preis, den viele für zu hoch halten. Denn wenn Bewährung wirklich nur bedeutet „bisher nicht widerlegt", dann liefert sie keinerlei Grund, einer Theorie für die Zukunft zu vertrauen. Warum sollte ich mit einem gut geprüften, aber logisch nie bestätigten Flugzeug fliegen? Popper kann strenggenommen keinen Grund nennen, künftig auf die bewährteste Theorie zu setzen, ohne heimlich doch wieder induktiv zu argumentieren („sie hat sich bewährt, also wird sie sich weiter bewähren"). Kritiker halten Poppers Lösung deshalb für eine sprachliche Umgehung statt für eine echte Auflösung: Das praktische Handlungsproblem – worauf soll ich morgen setzen? – bleibt genau da, wo Hume es hinterließ.

Reichenbach: Die pragmatische Wette

Ein ganz anderer, sympathisch nüchterner Ansatz stammt von Hans Reichenbach. Er räumt ein: Hume hat recht, wir können nicht beweisen, dass Induktion funktioniert. Aber, so Reichenbach, wir können beweisen, dass sie unsere bestmögliche Wette ist – eine pragmatische Vindikation. Das Argument geht so: Angenommen, die Welt hat irgendeine stabile statistische Struktur, irgendwelche verlässlichen Grenzwerte von Häufigkeiten. Dann ist die induktive Methode garantiert das Verfahren, das diese Struktur auf lange Sicht aufdeckt; sie konvergiert gegen die wahren Häufigkeiten, falls es solche gibt. Und angenommen, die Welt hat keine solche Struktur – dann funktioniert überhaupt keine Methode, und wir haben durch die Induktion nichts verloren.

Reichenbachs berühmtes Bild ist das des Fischers. Ich weiß nicht, ob überhaupt Fische im See sind. Aber ich weiß: Wenn welche drin sind, fange ich sie nur, wenn ich mein Netz auswerfe; werfe ich es nicht aus, fange ich sicher nichts. Also werfe ich aus – nicht weil ich weiß, dass es klappt, sondern weil es die einzige Handlung ist, die im günstigen Fall zum Erfolg führt und im ungünstigen Fall nichts verschlechtert. Bertrand Russell brachte den Einsatz auf die Spitze: Gäbe es keine Antwort auf Humes Problem, so schrieb er, „dann gibt es keinen intellektuellen Unterschied zwischen geistiger Gesundheit und Wahnsinn". Reichenbachs Wette rettet die Vernunft nicht durch Beweis, sondern durch die Einsicht, dass sie unter Unsicherheit die dominante Strategie ist.

Der Haken: Reichenbach zeigt nur, dass irgendein Konvergenzverfahren rational ist, nicht dass gerade unsere konkrete Induktion die richtige ist. Und hier grüßt Goodman aus dem Hintergrund: Auch die grue-Induktion konvergiert – nur eben gegen eine andere „wahre" Häufigkeit. Die pragmatische Wette sagt uns, dass wir das Netz auswerfen sollen, aber nicht, welches Netz.

Der Bayesianismus: Grade des Glaubens

Der heute in Wissenschaft und KI einflussreichste Ansatz gibt die Suche nach Gewissheit ganz auf und ersetzt sie durch die Buchhaltung der Wahrscheinlichkeit. Der Bayesianismus behandelt Überzeugungen nicht als wahr-oder-falsch, sondern als Grade des Für-wahr-Haltens zwischen 0 und 1. Man startet mit einer A-priori-Wahrscheinlichkeit (dem Vorwissen vor den Daten) und aktualisiert sie mit jedem neuen Datum nach dem Satz von Bayes zu einer A-posteriori-Wahrscheinlichkeit. Jeder weiße Schwan hebt die Wahrscheinlichkeit der Hypothese „alle Schwäne weiß" ein Stück; er beweist sie nicht, aber er verschiebt den Glauben in ihre Richtung.

Das ist mathematisch sauber und praktisch enorm mächtig – es ist das Rückgrat der modernen Statistik und großer Teile des maschinellen Lernens. Aber Hume ist damit nicht widerlegt, sondern nur elegant verlagert. Denn zwei Fragen bleiben. Erstens: Woher kommt die A-priori-Verteilung? Sie ist selbst eine Annahme, die man nicht aus den Daten gewinnen kann – und genau hier schlägt Goodmans grue erneut zu, denn der grue-Fan startet einfach mit einer anderen A-priori-Verteilung, die grue-Hypothesen bevorzugt, und seine Bayes-Rechnung ist genauso konsistent wie unsere. Zweitens setzt die ganze Maschinerie voraus, dass die Regel „aktualisiere per Bayes und projiziere die gestiegene Wahrscheinlichkeit in die Zukunft" verlässlich ist – und das ist wieder eine induktive Annahme. Der Bayesianismus rechtfertigt die Induktion nicht von außen; er gibt ihr nur eine präzise, quantitative Sprache. Was aussieht wie eine Lösung, ist in Wahrheit eine hochauflösende Beschreibung des Problems.

Teil 4: Die überraschende Wiederkehr – Induktion in der Maschine

Jedes Modell ist ein Truthahn

Hier wird die Geschichte für Sven konkret. Denn das, was Hume und Goodman mit Smaragden und Sonnenaufgängen umkreisten, ist die exakte Tätigkeit jedes überwachten Lernverfahrens (supervised learning). Ein Modell bekommt Trainingsbeispiele – Paare aus Eingabe und richtiger Ausgabe – und soll daraus eine Funktion lernen, die auch für ungesehene Eingaben die richtige Ausgabe liefert. Die Fähigkeit, von den Trainingsdaten auf neue Fälle zu schließen, heißt in der Praxis Generalisierung. Und Generalisierung ist nichts anderes als Induktion, in Mathematik gegossen: der Sprung vom Beobachteten (Trainingsmenge) zum Unbeobachteten (Testmenge, Produktivbetrieb).

Damit erbt das maschinelle Lernen Humes Problem in voller Härte. Warum sollte eine Funktion, die auf den Trainingsdaten gut passt, auch auf künftigen Daten gut passen? Nur, wenn die Zukunft der Vergangenheit gleicht – wenn die Testdaten aus derselben Verteilung stammen wie die Trainingsdaten. Genau diese Annahme (in der Fachsprache: i.i.d., unabhängig und identisch verteilt) ist das Uniformitätsprinzip in statistischem Gewand. Sie ist unbeweisbar und wird ständig verletzt, wenn sich die Welt ändert – ein Phänomen, das Praktiker als distribution shift kennen und fürchten. Der Truthahn hatte einen klassischen distribution shift: Bis zum vierten Donnerstag im November galt eine Verteilung, danach eine andere. Sein Modell war nicht falsch trainiert; die Welt hielt sich nicht an die i.i.d.-Annahme.

Das No-Free-Lunch-Theorem

Nun kommt der Moment, in dem die zweitausendjährige philosophische Debatte in ein hartes mathematisches Ergebnis kippt. 1996 bewies David Wolpert für das überwachte Lernen (und 1997 gemeinsam mit William Macready für die Optimierung) das, was heute No-Free-Lunch-Theorem heißt. In einer für dieses Feld ungewöhnlich philosophischen Formulierung besagt es: Gemittelt über alle logisch möglichen Probleme sind alle Lernalgorithmen exakt gleich gut. Kein Verfahren ist von sich aus besser als irgendein anderes; jeder Vorteil, den ein Algorithmus auf einer Klasse von Problemen hat, wird durch einen genau gleich großen Nachteil auf einer anderen Klasse exakt aufgewogen. Über die Gesamtheit aller denkbaren Welten schneidet der ausgefeilteste Deep-Learning-Ansatz im Durchschnitt genauso ab wie reines Raten.

Man sollte einen Augenblick innehalten, um zu sehen, was das ist: Es ist Humes Guillotine, nur diesmal als Theorem bewiesen, nicht bloß philosophisch argumentiert. Wenn man wirklich keinerlei Annahme über die Struktur der Welt macht – wenn man alle möglichen Zuordnungen von Eingaben zu Ausgaben für gleich wahrscheinlich hält –, dann kann kein Lernen stattfinden, weil die Trainingsdaten dann logisch nichts über die ungesehenen Fälle aussagen. Genau das war Humes Punkt: Ohne die Voraussetzung der Gleichförmigkeit trägt die Erfahrung nicht in die Zukunft. Das No-Free-Lunch-Theorem ist die formale, maschinenlesbare Fassung dieser Einsicht. Und Goodman steckt gleich mit drin: Die „grue-artigen" Zuordnungen, in denen sich das Muster nach einem bestimmten Zeitpunkt umkehrt, sind unter allen logisch möglichen Funktionen genauso zahlreich wie die braven, stabilen „grünen" – gemittelt über alle heben sie sich weg.

Induktiver Bias: die unverzichtbare Voraussetzung

Wie kann maschinelles Lernen dann überhaupt funktionieren – und es funktioniert ja spektakulär? Die Antwort ist die Kehrseite des Theorems und zugleich die Auflösung des scheinbaren Paradoxons. Lernen funktioniert nur, weil kein reales Verfahren „über alle möglichen Probleme" mittelt. Jeder brauchbare Algorithmus bringt eine Reihe von Vorannahmen mit, die bestimmte Hypothesen von vornherein bevorzugen und andere ausschließen. Diese eingebauten Vorlieben heißen induktiver Bias (inductive bias). Wie eine viel zitierte Analyse von 2023 (Kolmogorov-Komplexität und die Rolle induktiver Verzerrungen, arXiv:2304.05366) festhält und wie schon Tom Mitchell 1980 argumentierte: Voraussetzungsfreies Lernen ist unmöglich. Jedes lernende System muss einen induktiven Bias besitzen, sonst lernt es nichts.

Und das ist keine peinliche Schwäche, die man wegoptimieren sollte – es ist die Bedingung der Möglichkeit von Lernen überhaupt. Der induktive Bias ist die Annahme, die das No-Free-Lunch-Verdikt bricht, indem sie die Menge der ernstgenommenen Hypothesen einschränkt. Konkret steckt dieser Bias überall: Ein Faltungsnetz (CNN) nimmt an, dass in Bildern lokale Nachbarschaft und Verschiebungsinvarianz zählen – ein Objekt bleibt dasselbe, egal wo im Bild es auftaucht. Ein Transformer nimmt an, dass Beziehungen zwischen Elementen einer Sequenz sich über Aufmerksamkeit erfassen lassen. Fast alle Verfahren tragen einen tiefen Hang zur Einfachheit in sich (eine praktische Verkörperung von Ockhams Rasiermesser): Unter den Funktionen, die zu den Daten passen, bevorzugen sie die glatteren, kürzeren, simpler beschreibbaren – exakt die Prädikate, die Goodman „grün" und nicht „grue" nennen würde. Ein Modell, das Einfachheit bevorzugt, projiziert stillschweigend die stabile Hypothese „immer grün" statt der zeitverdrehten „grue".

Damit schließt sich der Kreis auf verblüffende Weise. Goodmans Lösung war Entrenchment – projizierbar sind die Prädikate, die sich in erfolgreicher Praxis eingewurzelt haben. Der induktive Bias eines KI-Modells ist genau das: eine ins System eingebaute Verankerung bestimmter Hypothesenklassen, die den unendlichen Raum der logisch gleichberechtigten grue-Alternativen von vornherein ausblendet. Wo Hume die Gewohnheit setzte und Goodman die eingeübte Praxis, setzen die Ingenieure die Architektur und den Regularisierer. Es ist dieselbe Lösung in drei Sprachen: Da die Logik allein die guten von den schlechten Verallgemeinerungen nicht trennen kann, muss eine außerlogische Voraussetzung die Wahl treffen – bei uns die Natur, beim Modell das Design.

Eine Landkarte der Antworten

Zur Orientierung eine Übersicht, wer das Problem wie behandelt und was jeweils als „Rechtfertigung" durchgeht.

Ansatz Kernidee Was rettet die Induktion? Offene Flanke
Hume (Diagnose) weder deduktiv noch induktiv begründbar nichts – nur Gewohnheit liefert keine Rechtfertigung, nur Erklärung
Goodman welche Prädikate projizieren? Entrenchment (bewährte Praxis) keine formale Garantie, sprachrelativ
Popper Wissenschaft induziert nie deduktive Falsifikation erklärt nicht, warum man Bewährtem trauen soll
Reichenbach pragmatische Wette Konvergenz, falls Struktur existiert sagt nicht, welche Induktion (grue-Problem)
Bayesianismus Grade des Glaubens, Bayes-Update quantitative Konsistenz A-priori-Wahl bleibt Annahme (grue)
No Free Lunch / ML kein Lernen ohne Bias induktiver Bias (Architektur, Einfachheit) Bias ist Wahl, keine Garantie – nur eine ehrliche Voraussetzung

Die Tabelle macht das gemeinsame Muster sichtbar. Von Humes Gewohnheit bis zum induktiven Bias moderner Netze lautet die Antwort auf das Induktionsproblem immer im Kern gleich: Die Lücke, die die reine Logik offenlässt, wird durch eine Voraussetzung geschlossen, die selbst nicht bewiesen, sondern gewählt (oder ererbt, oder eingebaut) ist. Es gibt kein Mittagessen umsonst – weder für den Truthahn noch für den Menschen noch für die Maschine.

Die Erkenntnis zum Mitnehmen

Das Induktionsproblem ist kein Kuriosum für Seminarräume, sondern die vielleicht praktischste philosophische Einsicht, die es für jemanden gibt, der mit Daten und lernenden Systemen arbeitet. Seine Botschaft ist doppelt, und beide Hälften sind nützlich.

Die ernüchternde Hälfte: Es gibt keine Rechtfertigung des Lernens aus reiner Logik. Kein Modell, kein Mensch, keine Wissenschaft kann die Zukunft aus der Vergangenheit ableiten, ohne eine unbeweisbare Annahme über die Gleichförmigkeit der Welt hineinzustecken. Wer verspricht, ein Verfahren funktioniere „ganz ohne Annahmen", „rein datengetrieben", „voraussetzungsfrei", hat das No-Free-Lunch-Theorem gegen sich – und irrt. Jede Generalisierung ist eine Wette, gedeckt nicht durch Beweis, sondern durch eine Voraussetzung, die man besser explizit macht, als sie zu verstecken.

Die befreiende Hälfte: Genau diese unvermeidliche Voraussetzung – der induktive Bias – ist kein Makel, sondern das Werkzeug, mit dem man arbeiten kann und soll. Da man Annahmen ohnehin machen muss, wird die entscheidende ingenieurliche Frage nicht „Wie lerne ich ohne Annahmen?", sondern „Welche Annahmen passen zu diesem Problem?". Die Kunst des maschinellen Lernens ist zu einem großen Teil die Kunst, den induktiven Bias – Architektur, Regularisierung, Vorwissen, Datenrepräsentation – so zu wählen, dass er zur tatsächlichen Struktur der Domäne passt. Ein CNN gewinnt bei Bildern nicht, weil es „besser" ist, sondern weil seine eingebauten Annahmen über lokale Struktur zufällig zu Bildern passen. Auf einer anderen Klasse von Problemen verlöre es exakt so viel, wie es hier gewinnt.

Der konkrete Handlungsanstoß lautet deshalb: Mache deine Annahmen sichtbar. Wenn ein Modell im Produktivbetrieb scheitert, ist das fast nie ein Fehler der Mathematik – es ist ein grue-Moment, ein distribution shift, ein Fall, in dem die stillschweigend projizierte Uniformität der Welt nicht mehr galt. Wer die eigenen induktiven Voraussetzungen benennen kann („ich nehme an, dass die Nutzer sich nächstes Jahr verhalten wie letztes; ich nehme an, dass die relevanten Muster lokal und einfach sind"), kann gezielt prüfen, wann sie brechen, und Wächter dagegen bauen. Der Truthahn hatte keine solche Liste. Wir können eine haben. Das ist der ganze Unterschied zwischen naivem und aufgeklärtem Induzieren – nicht, dass wir die Wette vermeiden, sondern dass wir wissen, worauf wir setzen.

Eine Reflexionsfrage zum Schluss

Wenn jedes Lernen einen induktiven Bias braucht und es keinen „neutralen", annahmefreien Standpunkt gibt, von dem aus man den richtigen Bias objektiv bestimmen könnte – woher stammt dann eigentlich der außerordentlich erfolgreiche Bias, den du selbst mitbringst? Ist dein tiefes Gefühl, dass „grün" natürlich und „grue" absurd ist, dass die Welt einfach und gleichförmig ist, eine Entdeckung über die Wirklichkeit – oder eine von Evolution und Kultur in dich eingebaute Voraussetzung, die sich schlicht bewährt hat, weil du in einer Welt lebst, in der sie zufällig passt? Und falls Letzteres: Wärst du bereit, sie zu revidieren, wenn deine Daten dir eines Tages hartnäckig etwas Grue-artiges erzählten – oder würdest du, wie es sich für einen guten Bayesianer gehört, deine A-priori-Überzeugung so stark gewichten, dass keine Evidenz sie je umstößt?

Querverweise im Vault

Dieses Rätsel zieht Fäden zu mehreren anderen Untersuchungen im Vault:

Quellen

Hinweis: Das Induktionsproblem ist eine offene philosophische Frage; keiner der vorgestellten Lösungsversuche gilt als abschließend durchschlagend. Die Darstellung folgt dem wissenschaftlich gesicherten Stand der Debatte, wo dieser besteht, und kennzeichnet strittige Deutungen als solche.

← All articles