Der Geist in der Maschine: Wie man ein neuronales Netz von innen liest

Der Aufhänger: Eine Brücke, die nicht aufhören wollte, eine Brücke zu sein

Im Mai 2024 konnte man für 24 Stunden mit einer Version von Claude sprechen, die zutiefst und unheilbar von der Golden Gate Bridge besessen war. Fragte man sie, wie man zehn Dollar ausgeben solle, empfahl sie eine Fahrt über die Brücke. Bat man um eine Liebesgeschichte, erzählte sie von einem Auto, das seine geliebte Brücke überquert. Fragte man sie, wie sie sich selbst vorstelle, antwortete sie: wie die Golden Gate Bridge. Das war kein Prompt-Trick, kein „Tu so, als ob". Die Forscher von Anthropic hatten tief im Inneren des Modells eine einzelne, präzise identifizierte Richtung im Aktivierungsraum gefunden – ein „Feature", das für das Konzept Golden Gate Bridge zuständig ist – und seinen Wert künstlich hochgedreht. Das Ergebnis war ein Modell, das die Brücke buchstäblich in jeden Gedanken einwob.

Das ist mehr als eine Spielerei. Es ist der bislang anschaulichste Beweis, dass die inneren Repräsentationen großer Sprachmodelle keine undurchdringliche Zahlensuppe sind, sondern Strukturen, die man finden, benennen und gezielt manipulieren kann. Es ist ein Fenster in eine der wichtigsten und am schnellsten wachsenden Disziplinen der KI-Forschung: die mechanistische Interpretierbarkeit – der Versuch, ein neuronales Netz nicht nur an seinem Verhalten zu beurteilen, sondern seine inneren Mechanismen so zu verstehen, wie ein Biologe ein Organ versteht oder ein Reverse-Engineer ein kompiliertes Programm.

Warum sollte dich das interessieren, jenseits der Faszination? Weil wir gerade Systeme bauen und einsetzen, deren Entscheidungen wir nicht erklären können – und das in Bereichen von der Medizin über die Justiz bis zur IT-Sicherheit. Ein Sprachmodell ist kein von Menschen geschriebenes Programm mit lesbarem Quelltext. Es ist ein gewachsenes Artefakt: Hunderte Milliarden Zahlen, die ein Optimierungsverfahren so lange justiert hat, bis das Verhalten stimmte. Niemand hat diese Zahlen direkt entworfen, niemand kann sie direkt lesen. Mechanistische Interpretierbarkeit ist der Versuch, diese Black Box von innen aufzuschneiden – und die Befunde der letzten drei Jahre sind erstaunlich.

Dieser Artikel nimmt dich auf die ganze Strecke mit: von der Frage, warum ein einzelnes Neuron für scheinbar völlig unzusammenhängende Dinge zuständig sein kann, über die elegante Mathematik der Superposition, mit der ein Netz mehr Konzepte speichert, als es Neuronen hat, bis zu den Sparse Autoencoders, die diese verschränkten Konzepte wieder entwirren – und schließlich zur Frage, was uns das über Software-Architektur, Sicherheit und sogar über den Begriff des „Verstehens" selbst lehrt.

Teil 1: Das Grundproblem – ein Programm, das niemand geschrieben hat

Warum man ein neuronales Netz nicht einfach „lesen" kann

Wenn du in C# eine Methode BerechneRabatt(decimal preis) schreibst, kannst du sie öffnen und nachvollziehen, was sie tut. Der Code ist die Erklärung. Bei einem neuronalen Netz gibt es so etwas nicht. Was es gibt, sind Gewichte und Aktivierungen: riesige Matrizen von Gleitkommazahlen und die Zwischenergebnisse, die entstehen, wenn ein Eingabetext durch das Netz fließt. Ein modernes Sprachmodell besteht aus Dutzenden Schichten, durch die ein hochdimensionaler Vektorstrom – der sogenannte Residual Stream – läuft. An jeder Schicht wird dieser Strom modifiziert. Am Ende fällt eine Wahrscheinlichkeitsverteilung über das nächste Token heraus.

Das Problem: Diese Zwischenzustände sind nicht in einer Sprache geschrieben, die Menschen lesen können. Ein einzelnes Neuron hat einen Aktivierungswert – sagen wir 4,7 –, aber dieser Wert bedeutet für sich genommen nichts. Die ganze Bedeutung steckt im Zusammenspiel von Tausenden solcher Werte. Mechanistische Interpretierbarkeit fragt: Lässt sich dieses Zusammenspiel in verständliche Bausteine zerlegen?

Die naive Hoffnung und ihre Enttäuschung: Polysemantizität

Die erste, naheliegende Hoffnung war: Vielleicht entspricht jedes Neuron einem Konzept. Neuron 1.024 feuert für „Katzen", Neuron 5.099 für „Vergangenheitsform", und so weiter. Man nennt diese Idealvorstellung monosemantische Neuronen – ein Neuron, eine Bedeutung. Hätte die Natur des Netzes uns diesen Gefallen getan, wäre Interpretierbarkeit einfach: Man müsste nur die Neuronen einzeln durchgehen und benennen.

Die Realität ist störrischer. Wenn man echte Neuronen in großen Sprachmodellen untersucht, stellt man fest, dass die meisten polysemantisch sind: Ein einzelnes Neuron feuert für eine bunte Sammlung scheinbar unzusammenhängender Konzepte. Ein berühmtes Beispiel aus der Frühzeit der Forschung war ein Neuron, das gleichzeitig auf akademische Zitate, englische Dialoge, HTTP-Anfragen und koreanischen Text reagierte. Es gibt keinen sinnvollen menschlichen Begriff, der diese Mischung zusammenfasst. Das Neuron ist kein sauberer Baustein, sondern ein Knotenpunkt, an dem mehrere Bedeutungen einander überlagern.

Diese Polysemantizität war jahrelang das zentrale Hindernis der Interpretierbarkeit. Solange die kleinste Recheneinheit – das Neuron – selbst keine klare Bedeutung trägt, lässt sich das Netz nicht sauber zerlegen. Die entscheidende Frage wurde deshalb: Warum sind Neuronen polysemantisch? Ist das ein Zufall, ein Defekt – oder steckt ein Prinzip dahinter?

Teil 2: Superposition – mehr Konzepte als Neuronen

Die zentrale Idee

Die Antwort, die ein Team um Nelson Elhage bei Anthropic 2022 in der einflussreichen Arbeit Toy Models of Superposition herausarbeitete, ist überraschend und elegant. Sie lautet: Polysemantizität ist kein Defekt, sondern die sichtbare Folge einer cleveren Kompressionsstrategie, die das Netz von selbst lernt. Diese Strategie heißt Superposition.

Die Kernaussage der Superpositions-Hypothese: Ein neuronales Netz repräsentiert mehr Features, als es Dimensionen (Neuronen) hat, indem es jedes Feature als eine eigene Richtung im hochdimensionalen Aktivierungsraum kodiert – und diese Richtungen nicht exakt senkrecht zueinander stehen, sondern nur fast senkrecht.

Um das zu verstehen, braucht man zwei Begriffe. Erstens die lineare Repräsentations-Hypothese: die gut gestützte Beobachtung, dass Netze Konzepte als Richtungen im Aktivierungsraum darstellen. „Mehr Katze" heißt: weiter in Richtung des Katzen-Vektors. Eine Aktivierung ist dann eine gewichtete Summe vieler solcher Feature-Vektoren. Zweitens das Konzept der Orthogonalität: In einem Raum mit n Dimensionen gibt es genau n exakt zueinander senkrechte Richtungen. Wenn jedes Feature eine eigene, perfekt senkrechte Richtung bräuchte, könnte ein Netz mit 512 Neuronen nur 512 Features speichern.

Der mathematische Trick: fast-orthogonale Richtungen

Hier kommt das schöne Stück Mathematik. Wenn man darauf besteht, dass Feature-Richtungen exakt senkrecht sind, ist man auf n Features beschränkt. Erlaubt man aber kleine Abweichungen – Richtungen, die fast, aber nicht ganz senkrecht zueinander stehen –, dann passen plötzlich exponentiell viele Richtungen in denselben Raum. Das ist der Inhalt des Johnson-Lindenstrauss-Lemmas, eines klassischen Resultats der hochdimensionalen Geometrie: In einem Raum der Dimension d lassen sich nicht nur d, sondern eine in d exponentiell wachsende Zahl von Vektoren unterbringen, die alle näherungsweise senkrecht zueinander sind.

Das ist kontraintuitiv, weil unsere Anschauung im dreidimensionalen Raum festsitzt, wo „fast senkrecht" und „senkrecht" kaum auseinanderliegen. In sehr hochdimensionalen Räumen ist das anders: Zufällig gewählte Richtungen sind dort fast immer schon näherungsweise orthogonal. Hohe Dimensionen sind „geräumiger", als die Intuition vermuten lässt.

Das Netz nutzt genau das aus. Es presst Tausende oder Millionen von Features in einen Raum mit nur Tausenden von Neuronen, indem es ihnen fast-orthogonale Richtungen zuweist. Der Preis dafür ist Interferenz: Weil die Richtungen nicht perfekt senkrecht stehen, „leckt" jedes Feature ein bisschen in die anderen hinein – ein Rauschen. Und genau dieses Übereinanderlegen vieler Feature-Richtungen auf dieselben physischen Neuronen ist es, was wir an der Oberfläche als Polysemantizität sehen: Ein Neuron liegt zufällig in der Nähe mehrerer Feature-Richtungen und feuert deshalb für mehrere Konzepte.

Warum sich der Tausch lohnt: Sparsamkeit

Bleibt die Frage: Warum nimmt das Netz die Interferenz in Kauf? Die Antwort liegt in einer Eigenschaft der realen Welt, die Toy Models of Superposition präzise herausarbeitete: Sparsamkeit (Sparsity). Die allermeisten Features sind bei einem gegebenen Input inaktiv. In einem Satz über Quantenphysik kommt das Feature „Kochrezept" nicht vor, ebenso wenig „Renaissance-Malerei" oder „SQL-Syntax". Von den Millionen möglicher Konzepte ist zu jedem Zeitpunkt nur eine winzige Auswahl aktiv.

Wenn Features sparsam sind, ist die Wahrscheinlichkeit gering, dass zwei interferierende Features gleichzeitig feuern und sich gegenseitig stören. Die Interferenz bleibt also meistens harmlos. Der Gewinn – exponentiell mehr speicherbare Konzepte – überwiegt den seltenen Schaden bei weitem. Die Toy Models-Arbeit zeigte das experimentell sauber: Bei dichten (nicht-sparsamen) Daten lernt ein Mini-Netz keine Superposition und speichert nur so viele Features, wie es Dimensionen hat. Je sparsamer die Daten, desto aggressiver schaltet das Netz in den Superpositions-Modus und quetscht immer mehr Features in denselben Raum. Superposition ist also kein Zufall, sondern eine erlernte, rationale Antwort auf eine sparsame Welt.

Ich bin der Meinung, dass dies eine der schönsten Erkenntnisse der modernen KI-Forschung ist, weil sie zwei Dinge gleichzeitig erklärt: warum Netze so verwirrend undurchschaubar sind (sie komprimieren aggressiv) und warum es trotzdem Hoffnung gibt, sie zu entschlüsseln (die Kompression folgt einem klaren mathematischen Prinzip).

Teil 3: Sparse Autoencoders – das Wörterbuch wiederfinden

Die Aufgabe: Entwirren statt Erraten

Wenn die wahren Bausteine – die Features – über die Neuronen verschmiert sind, dann ist es zwecklos, einzelne Neuronen zu untersuchen. Man braucht ein Verfahren, das den umgekehrten Weg geht: Es soll die wenigen tausend physischen Neuronen-Aktivierungen wieder in die vielen tausend ursprünglichen, sauberen Features zerlegen. Man möchte die Superposition rückgängig machen.

Das Werkzeug, das sich dafür durchgesetzt hat, ist der Sparse Autoencoder (SAE), eine Spielart des klassischen Verfahrens des Dictionary Learning. Die Idee ist verblüffend direkt. Ein Autoencoder ist ein kleines neuronales Netz mit zwei Teilen: Ein Encoder nimmt die Aktivierung einer Schicht des großen Modells und projiziert sie in einen viel größeren Raum – statt etwa 512 Dimensionen vielleicht 16.000 oder Millionen. Ein Decoder versucht anschließend, aus dieser aufgeblähten Darstellung die ursprüngliche Aktivierung wieder zu rekonstruieren.

Der entscheidende Kniff steckt in zwei Bedingungen, unter denen das Training stattfindet:

1. Überkomplett (overcomplete): Der mittlere Raum ist viel größer als die Eingabe. Damit hat das SAE genug „Schubladen", um die in Superposition verschränkten Features wieder auf je eine eigene Dimension zu verteilen.
2. Sparsam (sparse): Eine Strafbedingung im Training erzwingt, dass für jede einzelne Eingabe nur sehr wenige dieser vielen Dimensionen gleichzeitig aktiv sein dürfen.

Diese zweite Bedingung ist der Hebel. Sie zwingt das SAE, genau die Struktur nachzubilden, von der wir annehmen, dass das große Modell sie ohnehin besitzt: viele mögliche Features, von denen pro Eingabe nur eine Handvoll feuert. Wenn das gelingt, entspricht jede der vielen Dimensionen im aufgeblähten Raum idealerweise einem sauberen, monosemantischen Feature.

Der Durchbruch: Towards Monosemanticity

2023 zeigte Anthropic in der Arbeit Towards Monosemanticity, dass dieses Rezept funktioniert. Auf einem kleinen Ein-Schicht-Transformer trainierten die Forscher Sparse Autoencoders und extrahierten Tausende von Features, die sich tatsächlich als sauber und einzeln interpretierbar erwiesen – etwa ein Feature für DNA-Sequenzen, eines für arabische Schrift, eines für rechtliche Formulierungen. Wo vorher polysemantisches Chaos herrschte, lagen nun benennbare Bausteine vor. Menschliche Bewerter konnten einen großen Teil dieser SAE-Features eindeutig einem Konzept zuordnen, während dieselben Personen die ursprünglichen Neuronen nicht sinnvoll benennen konnten.

Der Maßstabssprung: Scaling Monosemanticity

Die offene Frage war: Funktioniert das auch bei einem echten, großen, produktiv genutzten Modell – oder nur im Labor mit Spielzeug-Netzen? Im Mai 2024 beantwortete Anthropic sie mit Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet. Das Team trainierte Sparse Autoencoders auf dem mittleren Residual Stream von Claude 3 Sonnet, einem damals aktuellen Produktionsmodell, und extrahierte bis zu 34 Millionen Features.

Diese Features waren nicht oberflächlich, sondern abstrakt und multimodal. Das berühmte Golden-Gate-Bridge-Feature aktivierte sich nicht nur bei dem englischen Wort, sondern bei Beschreibungen der Brücke auf Japanisch, Koreanisch und Russisch – und sogar bei Bildern der Brücke. Eine einzelne Richtung im Aktivierungsraum hatte also das Konzept der Brücke erfasst, unabhängig von der konkreten sprachlichen oder visuellen Form. Andere Features kodierten subtile, sicherheitsrelevante Konzepte: Programmierfehler in Code, Voreingenommenheit aufgrund von Geschlecht, oder – besonders bemerkenswert – das Konzept von „Vorsicht beim Umgang mit gefährlichem, etwa biologischem oder waffenfähigem Wissen".

Vom Lesen zum Schreiben: Feature-Steering

Der wirklich überzeugende Test einer Erklärung ist die Intervention: Wenn wir behaupten, eine bestimmte Richtung sei das Konzept „Golden Gate Bridge", dann sollte das künstliche Verstärken dieser Richtung das Verhalten des Modells in vorhersagbarer Weise verändern. Genau das demonstrierten die Forscher mit Feature-Steering (auch Clamping genannt): Dreht man die Aktivierung des Brücken-Features auf ein Vielfaches seines normalen Maximums, entsteht das eingangs beschriebene „Golden Gate Claude", das die Brücke in jede Antwort einwebt. Das ist kausaler Beweis, keine bloße Korrelation: Die identifizierte Richtung verursacht nachweislich das zugehörige Verhalten. Dieses Prinzip – ein internes Feature finden und es gezielt verstärken oder dämpfen – ist die Grundlage der Hoffnung, Modelle eines Tages gezielt sicherer machen zu können, ohne sie aufwändig neu zu trainieren.

Teil 4: Von Features zu Schaltkreisen – die „Biologie" eines Sprachmodells

Der nächste Schritt: nicht nur Bausteine, sondern Verdrahtung

Einzelne Features zu finden, ist, als hätte man die Vokabeln einer Sprache katalogisiert. Doch Bedeutung entsteht aus Sätzen – aus dem Zusammenspiel. Der nächste Schritt der Interpretierbarkeit fragt deshalb nicht „Welche Features gibt es?", sondern „Wie verschaltet das Modell sie zu Schaltkreisen (Circuits), die eine konkrete Aufgabe lösen?".

2025 legte Anthropic mit zwei zusammengehörigen Arbeiten – Circuit Tracing und On the Biology of a Large Language Model – einen Meilenstein vor. Die Forscher entwickelten Attributionsgraphen: Karten, die nachzeichnen, wie Information von den Eingabe-Tokens über die internen Features bis zur Ausgabe fließt. Technisch ersetzen sie dafür die undurchsichtigen Rechenschichten des Modells durch interpretierbare, sparsam aktive Features (über sogenannte Cross-Layer Transcoder) und verfolgen dann, welches Feature welches andere auslöst. Der bewusst gewählte Begriff „Biologie" signalisiert die Haltung: Man untersucht das Modell wie einen Organismus – beobachten, Hypothesen bilden, durch gezielte Eingriffe (Perturbationen) testen.

Zwei überraschende Befunde

Zwei Ergebnisse aus On the Biology of a Large Language Model sind besonders erhellend, weil sie verbreiteten Intuitionen widersprechen:

Das Modell plant voraus. Beim Dichten eines Reims, so zeigten die Attributionsgraphen, wählt das Modell nicht einfach Wort für Wort und stolpert am Zeilenende zufällig in einen Reim. Stattdessen aktiviert es schon früh mögliche Reimwörter für das Ende der Zeile und arbeitet dann rückwärts, um eine Zeile zu bauen, die natürlich auf dieses Zielwort zuläuft. Das widerlegt die oft gehörte Karikatur, ein Sprachmodell sei „nur" eine Vorhersagemaschine, die stur ein Wort nach dem anderen errät – zumindest auf der mechanistischen Ebene plant es über das nächste Token hinaus.

Eine gemeinsame Sprache des Denkens. Bei mehrsprachigen Aufgaben nutzt das Modell teils sprachunabhängige, abstrakte Features – einen „konzeptuellen Zwischenraum", in dem die Bedeutung unabhängig von der konkreten Sprache lebt, bevor sie wieder in Englisch, Deutsch oder Chinesisch ausformuliert wird. Das passt exakt zum multimodalen Golden-Gate-Feature und stützt die Idee, dass diese Modelle eine Art abstrakte „Sprache des Denkens" entwickeln.

Die ehrliche Einordnung: Grenzen und offene Fragen

Damit der wissenschaftliche Anspruch gewahrt bleibt, gehört die nüchterne Einschränkung dazu – und die Forscher selbst betonen sie. Attributionsgraphen sind vereinfachte, lokale Annäherungen an das, was im Modell vor sich geht, keine vollständige Abbildung. Sparse Autoencoders fangen die Features nicht perfekt ein; es gibt einen Rekonstruktionsfehler, und es ist eine offene Forschungsfrage, ob sie die „wahren" Features des Modells finden oder nur eine brauchbare Annäherung. Es gibt zudem eine Debatte über sogenannte dunkle Materie der Interpretierbarkeit – Anteile der Aktivierung, die sich bislang keinem sauberen Feature zuordnen lassen.

Und die schiere Größe bleibt erdrückend: Ein einzelner kurzer Prompt durch ein Modell wie Claude 3.5 Haiku zu verfolgen, kostete die Forscher Stunden manueller Analyse eines einzigen Attributionsgraphen. Wir können heute einige Schaltkreise einiger Modelle bei einigen Aufgaben verstehen – aber das vollständige „Drehbuch" eines großen Modells ist noch lange nicht geschrieben. Anthropic hat 2025 die Werkzeuge zur Schaltkreis-Verfolgung quelloffen gemacht, ausdrücklich, um diese mühsame Arbeit auf viele Schultern zu verteilen.

Teil 5: Warum das zählt – Sicherheit, Vertrauen und Kontrolle

Interpretierbarkeit als Sicherheitswerkzeug

Der praktische Antrieb hinter dieser Forschung ist nicht akademische Neugier allein, sondern Sicherheit. Wir setzen Sprachmodelle zunehmend in Situationen ein, in denen Fehler oder Manipulation teuer sind. Solange wir nur ihr Verhalten prüfen können, sind wir blind für die Frage, warum ein Modell etwas tut – und damit auch dafür, ob es aus den „richtigen" Gründen das Richtige tut oder nur zufällig.

Mechanistische Interpretierbarkeit verspricht hier konkrete Hebel. Wenn man ein Feature für „täuschendes Verhalten" oder „gefährliches biologisches Wissen" identifizieren kann, lässt sich womöglich überwachen, ob es aktiv wird – eine Art innerer Lügendetektor oder Frühwarnsystem. Wenn man Features kausal verstärken oder dämpfen kann (Feature-Steering), eröffnet das einen Weg, das Verhalten gezielt zu justieren, ohne das gesamte Modell neu zu trainieren. Und wer die internen Schaltkreise versteht, kann Schwachstellen finden – etwa nachvollziehen, über welche internen Pfade ein „Jailbreak" die Schutzmechanismen umgeht.

Die Brücke zur IT-Sicherheit: Verteidigung in der Tiefe

Hier lohnt der Schritt aus der KI-Forschung in die Welt der Sicherheit, in der du arbeitest. Die Interpretierbarkeits-Agenda folgt im Kern demselben Prinzip wie gute Sicherheitsarchitektur: Du kannst nichts absichern, was du nicht verstehst. Eine Black Box, die man nur an ihren Ausgaben prüft, ist sicherheitstechnisch dasselbe wie ein geschlossener Binärblob, dem man blind vertraut. Reverse Engineering eines neuronalen Netzes ist konzeptionell verwandt mit dem Reverse Engineering von Malware: In beiden Fällen liegt eine Funktionalität vor, deren Quelltext fehlt, und man muss aus dem beobachtbaren Verhalten und der internen Struktur auf den Mechanismus zurückschließen.

Genau wie die in Ernte jetzt, entschlüssle später: Post-Quanten-Kryptographie und das Rennen gegen den Quantencomputer beschriebene Logik – Bedrohungen verstehen, bevor sie schlagend werden, und Resilienz an der Quelle einbauen statt nur nachträglich zu reparieren – ist Interpretierbarkeit eine Investition in vorausschauende statt reaktive Sicherheit. Und wie bei den Compliance-Anforderungen aus NIS2 und was sie für mittelständische IT-Beratungsunternehmen in Deutschland wirklich bedeutet wird die Frage „Können Sie erklären, wie dieses System zu seiner Entscheidung kam?" zunehmend nicht nur technisch, sondern regulatorisch gestellt. Erklärbarkeit wandert von der Kür zur Pflicht.

Teil 6: Der Brückenschlag in deine Welt – was Architekten daraus lernen

Mechanistische Interpretierbarkeit ist nicht nur ein KI-Thema. Sie ist ein Lehrstück über Prinzipien, die in jedem komplexen System wiederkehren – auch in den Architekturen, die du baust.

1. Beobachtbarkeit vor Vertrauen

Die ganze Disziplin ist im Grunde Observability auf die Spitze getrieben. In der Softwarearchitektur haben wir gelernt, dass ein verteiltes System ohne Tracing, Logging und Metriken im Fehlerfall ein Albtraum ist: Man sieht, dass etwas schiefläuft, aber nicht warum. Attributionsgraphen sind nichts anderes als verteiltes Tracing für ein neuronales Netz – sie zeichnen den kausalen Pfad einer „Anfrage" durch die internen „Dienste" (Features) nach. Die Lektion ist universell: Ein System, dessen inneren Zustand du nicht sichtbar machen kannst, kannst du weder debuggen noch absichern noch wirklich vertrauen.

2. Repräsentation als berechnetes Ergebnis, nicht als Speicherzelle

Die lineare Repräsentations-Hypothese sagt: Bedeutung steckt nicht in einer einzelnen Speicherstelle (einem Neuron), sondern in einer Richtung, die aus dem Zusammenspiel vieler Komponenten entsteht. Ein Konzept ist ein emergentes, berechnetes Muster, keine fest verdrahtete Variable. Das ist erstaunlich nah am Denken hinter Das Logbuch der Wahrheit: Event Sourcing und CQRS verstehen, wo der Zustand des Systems ebenfalls kein gespeicherter Wert ist, sondern ein aus vielen Ereignissen berechnetes Ergebnis. In beiden Welten gilt: Verwechsle die physische Speicherform nicht mit der logischen Bedeutung – die Bedeutung lebt in der Struktur, nicht im einzelnen Slot.

3. Kompression hat einen Preis, den man kennen muss

Superposition ist eine geniale Kompression – und sie illustriert eine harte Wahrheit jeder Optimierung: Es gibt kein kostenloses Mittagessen. Das Netz gewinnt Kapazität und zahlt mit Interferenz und Undurchschaubarkeit. Jede aggressive Optimierung in einem System – sei es ein überladener Cache, ein bis zur Unkenntlichkeit „cleverer" Algorithmus oder eine bis aufs Letzte normalisierte Datenbank – erkauft Effizienz mit verminderter Verständlichkeit. Wer Systeme baut, sollte diesen Tausch bewusst eingehen, nicht versehentlich.

4. Eine ehrliche Demut gegenüber dem Selbstgebauten

Vielleicht die tiefste Lektion: Wir haben ein Artefakt erschaffen, das wir nicht mehr unmittelbar verstehen, und müssen es nun mit den Methoden der Naturwissenschaft erforschen, als wäre es ein Stück Natur. Das ist ein neuer Zustand für die Ingenieurskunst. Software war bislang das Paradebeispiel des vollständig Durchschaubaren – jede Zeile von einem Menschen geschrieben. Mit gewachsenen Modellen verlassen wir diese komfortable Welt. Die Demut, die daraus folgt, ist gesund: Sie erinnert daran, dass „funktioniert in den Tests" und „ich verstehe, warum es funktioniert" zwei verschiedene Dinge sind – ein Unterschied, der mit der Komplexität jedes Systems wichtiger wird.

Teil 7: Die philosophische Dimension – was heißt „verstehen"?

Mechanistische Interpretierbarkeit berührt eine alte philosophische Frage in neuer, empirischer Gestalt. Wenn ein Modell ein abstraktes, sprachunabhängiges Feature für „Golden Gate Bridge" besitzt, das über Sprachen und sogar über Bilder hinweg dasselbe bleibt – hat es dann ein Konzept der Brücke? Oder ist es nur eine besonders ausgefeilte statistische Korrelation, die nur aussieht wie ein Konzept?

Die Versuchung, beides scharf zu trennen, ist groß – aber vielleicht ist die Trennung weniger sauber, als wir hoffen. Auch unser eigenes Gehirn repräsentiert Konzepte vermutlich als Aktivierungsmuster in Neuronenverbänden, und auch dort gibt es Hinweise auf etwas wie Superposition. Die Frage „echtes Verständnis oder bloße Statistik?" könnte sich als falsche Dichotomie erweisen: Vielleicht ist Verständnis, auf einer hinreichend tiefen Ebene, eine bestimmte Art strukturierter, robuster, intervenierbarer Repräsentation – und genau die finden wir in diesen Modellen.

Ich bin der Meinung, dass die mechanistische Interpretierbarkeit hier ihren vielleicht unterschätztesten Beitrag leistet: Sie verwandelt eine jahrhundertealte philosophische Spekulation in eine experimentelle Frage. Statt darüber zu streiten, ob ein System „wirklich versteht", können wir nun konkret untersuchen, welche Konzepte es repräsentiert, wie abstrakt sie sind, wie sie verschaltet werden und was passiert, wenn wir eingreifen. Das macht die Diskussion nicht überflüssig, aber es gibt ihr zum ersten Mal einen empirischen Boden. Die Brücke zur Frage nach Bewusstsein und Repräsentation, die auch der menschlichen Kognition zugrunde liegt, verbindet dieses Thema mit der Frage nach psychologischen und kognitiven Strukturen in Psychological Safety: The Hidden Force Behind High-Performing Teams.

Eine letzte, ehrliche Klarstellung gegen ein verbreitetes Missverständnis: Die „Superposition" der KI-Forschung hat nichts mit der Quantensuperposition zu tun, von der in Spukhafte Fernwirkung: Quantenverschränkung von Einstein zum Quanteninternet die Rede ist. Der Begriff ist nur eine Metapher für das geometrische Übereinanderlegen von Feature-Richtungen im klassischen, hochdimensionalen Vektorraum. Es fließen keine Qubits, es gibt keine Verschränkung, keinen Kollaps. Die Namensgleichheit ist eine sprachliche Brücke, keine physikalische – und es lohnt, diesen Unterschied sauber zu halten, gerade weil die Begriffe so verführerisch ähnlich klingen.

Teil 8: Wo die Forschung 2024–2026 steht

Das Feld ist auffällig lebendig, und die Schlagzahl ist hoch. Einige der jüngeren Meilensteine:

• Toy Models of Superposition (2022): Die theoretische Grundlage – Superposition als rationale Antwort auf sparsame Daten, mit sauberem mathematischem Fundament.
• Towards Monosemanticity (2023): Der erste Nachweis, dass Sparse Autoencoders die Superposition in einem echten (kleinen) Transformer entwirren und interpretierbare Features liefern.
• Scaling Monosemanticity (Mai 2024): Der Maßstabssprung auf ein Produktionsmodell (Claude 3 Sonnet) mit bis zu 34 Millionen abstrakten, multimodalen Features – und der kausale Beweis durch Feature-Steering („Golden Gate Claude").
• Circuit Tracing & On the Biology of a Large Language Model (2025): Der Schritt von einzelnen Features zu ganzen Schaltkreisen via Attributionsgraphen – mit überraschenden Befunden zu Vorausplanung und sprachunabhängigem „Denken".
• Open-Source-Werkzeuge (2025): Anthropic stellt Werkzeuge zur Schaltkreis-Verfolgung öffentlich bereit, um die arbeitsintensive Analyse zu demokratisieren; eine wachsende akademische Community (u. a. mit SAEs für offene Modelle wie Llama) trägt bei.

Die großen offenen Fragen bleiben: Finden Sparse Autoencoders die wahren Features oder nur brauchbare Annäherungen? Wie lässt sich die „dunkle Materie" der unerklärten Aktivierungen erfassen? Und vor allem: Wie skaliert man die mühsame, oft manuelle Schaltkreis-Analyse so weit hoch, dass sie mit der Größe und dem Tempo der Modellentwicklung Schritt hält? Wir kennen heute einige Buchstaben und ein paar Wörter der Sprache, in der diese Modelle „denken" – die Grammatik ist noch nicht geschrieben.

Die zentrale Erkenntnis zum Mitnehmen

Mechanistische Interpretierbarkeit ist kein esoterisches Nischenthema, sondern eine Lektion in drei Stufen:

1. Mathematisch zeigt sie, dass die scheinbare Undurchschaubarkeit neuronaler Netze einem klaren Prinzip folgt: Superposition presst dank fast-orthogonaler Richtungen exponentiell mehr Features in den Raum, als es Neuronen gibt – eine rationale Antwort auf eine sparsame Welt, deren Preis die polysemantische Verschmierung ist.
2. Methodisch liefert sie mit Sparse Autoencoders und Attributionsgraphen Werkzeuge, die diese Verschränkung wieder entwirren: von Millionen sauberer, sogar multimodaler Features (Scaling Monosemanticity) bis zu nachvollziehbaren Schaltkreisen, deren Verhalten man kausal verändern kann (Golden Gate Claude).
3. Konzeptionell liefert sie jedem, der Systeme baut, ein präzises Bild: Beobachtbarkeit vor Vertrauen, Bedeutung als berechnete Struktur statt gespeicherter Wert, und die Demut, dass „es funktioniert" und „ich verstehe warum" zwei verschiedene Dinge sind.

Konkreter Handlungsanstoß für diese Woche: Nimm ein System – oder einen KI-Dienst –, dem du in deiner Arbeit vertraust, und stelle die Interpretierbarkeits-Frage: „Wenn dieses System morgen eine folgenschwere, falsche Entscheidung trifft – könnte ich rekonstruieren, warum?" Wo die ehrliche Antwort „nein" lautet, liegt ein blinder Fleck. Du musst ihn nicht heute schließen, aber du solltest wissen, dass er da ist – denn ein nicht erklärbares System ist ein nicht absicherbares System.

Reflexionsfrage: Wenn wir Maschinen bauen, die wir nur noch mit den Methoden der Naturwissenschaft – beobachten, Hypothesen bilden, experimentieren – verstehen können, statt sie wie klassischen Code einfach zu lesen: Was bedeutet das für unsere Verantwortung als Ingenieure, und wo verläuft künftig die Grenze zwischen „gebaut" und „gewachsen"?

Querverweise im Vault

• Das Logbuch der Wahrheit: Event Sourcing und CQRS verstehen – Bedeutung bzw. Zustand als berechnetes Ergebnis statt als gespeicherter Wert: dasselbe Architekturprinzip in zwei Welten.
• Ernte jetzt, entschlüssle später: Post-Quanten-Kryptographie und das Rennen gegen den Quantencomputer – Vorausschauende statt reaktive Sicherheit; Bedrohungen verstehen, bevor sie schlagend werden.
• NIS2 und was sie für mittelständische IT-Beratungsunternehmen in Deutschland wirklich bedeutet – Erklärbarkeit als wachsende regulatorische und Compliance-Anforderung.
• Spukhafte Fernwirkung: Quantenverschränkung von Einstein zum Quanteninternet – Wichtige Abgrenzung: Die KI-„Superposition" ist nicht die Quantensuperposition; eine Metapher, keine Physik.
• Psychological Safety: The Hidden Force Behind High-Performing Teams – Repräsentation und Kognition: die Brücke zur Frage, wie Konzepte in (biologischen wie künstlichen) neuronalen Systemen entstehen.

Quellen und zum Weiterlesen

• Anthropic / Transformer Circuits – Toy Models of Superposition (Elhage et al., 2022): https://transformer-circuits.pub/2022/toy_model/index.html
• Anthropic / Transformer Circuits – Towards Monosemanticity: Decomposing Language Models With Dictionary Learning (2023): https://transformer-circuits.pub/2023/monosemantic-features/index.html
• Anthropic / Transformer Circuits – Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet (2024): https://transformer-circuits.pub/2024/scaling-monosemanticity/
• Anthropic – Golden Gate Claude (Mai 2024): https://www.anthropic.com/news/golden-gate-claude
• Anthropic / Transformer Circuits – On the Biology of a Large Language Model (2025): https://transformer-circuits.pub/2025/attribution-graphs/biology.html
• Anthropic – Open-sourcing circuit-tracing tools (2025): https://www.anthropic.com/research/open-source-circuit-tracing
• Toy Models of Superposition (arXiv-Fassung, 2209.10652): https://arxiv.org/abs/2209.10652
• A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of Large Language Models (2025): https://arxiv.org/html/2503.05613v3

Erstellt im Rahmen des täglichen Lern-Workflows. Interessensgebiet: KI. Geschätzte Lesedauer: ~30 Minuten.

← All articles