Sven Erik Matzen

Software Architect | Cloud & Security Expert | AI-enabled Solutions

Vom Rauschen zum Bild: Diffusionsmodelle und die Physik der generativen KI

🎧 Listen to this article

KI · 2026-07-31

EU-Kennzeichnung: vollständig KI-generierter Inhalt Vollständig KI-generierter Artikel (ohne Vorabprüfung).

Der Aufhänger: Ordnung aus dem reinen Zufall

Stell dir vor, du gibst einem Computer nichts als ein Quadrat aus reinem Bildrauschen – jenes körnige, sinnlose Flimmern, das früher Fernseher zeigten, wenn kein Sender eingestellt war. Jeder Pixel eine Zufallszahl, ohne jede Struktur, ohne jede Bedeutung. Und dann, in einigen Dutzend Rechenschritten, verwandelt sich dieses Chaos in das gestochen scharfe Foto eines Astronauten, der auf einem Pferd durch die Marswüste reitet – ein Bild, das nie eine Kamera aufgenommen hat, weil es diese Szene nie gab.

Das ist kein Taschenspielertrick, sondern die alltägliche Funktionsweise von Diffusionsmodellen, der Technologie, die seit etwa 2021 die Bild-, Video- und Audioerzeugung erobert hat. Systeme wie DALL·E, Stable Diffusion, Midjourney, Google Imagen und OpenAIs Videomodell Sora beruhen alle auf demselben Grundprinzip. Und dieses Prinzip ist eines der eleganteste in der jüngeren Geschichte des maschinellen Lernens, weil es aus einer scheinbar völlig fachfremden Ecke stammt: aus der Nichtgleichgewichts-Thermodynamik, jenem Teil der Physik, der beschreibt, wie sich ein Tintentropfen in einem Wasserglas auflöst.

Der Grundgedanke lässt sich in einem einzigen Satz fassen, und er ist so verblüffend einfach, dass man kaum glaubt, dass er funktioniert: Wenn ich weiß, wie man ein Bild Schritt für Schritt in Rauschen zerstört, dann kann ich einem neuronalen Netz beibringen, jeden dieser Schritte umzukehren – und wenn ich alle Umkehrschritte hintereinander ausführe, verwandle ich Rauschen zurück in ein Bild. Zerstörung ist trivial und braucht kein Lernen. Nur die Umkehrung ist schwer. Genau diese Asymmetrie machen sich Diffusionsmodelle zunutze.

Dieser Artikel verfolgt den Weg dieser Idee: von ihrem physikalischen Ursprung über die drei mathematischen Blickwinkel, die sich als ein und dieselbe Sache herausstellten, bis zu der Frage, wie man einem solchen Modell überhaupt sagt, was es malen soll – und schließlich zu den offenen Problemen und den handfesten gesellschaftlichen Folgen.

Das Kernkonzept: Struktur zerstören, um sie zu lernen

Bevor Diffusionsmodelle kamen, wurde die generative KI von zwei Ansätzen beherrscht, die beide ihre eigenen Dämonen hatten. Da waren die Generative Adversarial Networks (GANs, Goodfellow et al. 2014): zwei neuronale Netze, ein Fälscher und ein Prüfer, die in einem Wettstreit gegeneinander trainiert werden. GANs erzeugten atemberaubend scharfe Bilder, aber ihr Training war notorisch instabil – die beiden Netze konnten in Schwingung geraten, kollabieren oder in einen „Mode Collapse" verfallen, bei dem der Fälscher nur noch eine Handvoll Motive variiert. Und da waren die Variational Autoencoders (VAEs) und autoregressiven Modelle, die stabiler trainierten, aber tendenziell verwaschene oder, im Fall der autoregressiven Bildmodelle, quälend langsame Ergebnisse lieferten.

Diffusionsmodelle boten einen dritten Weg, und ihr entscheidender Vorzug ist konzeptioneller Natur. Statt ein Netz gegen ein anderes antreten zu lassen oder ein Bild Pixel für Pixel vorherzusagen, zerlegen sie das unmöglich schwere Problem „Erzeuge aus dem Nichts ein realistisches Bild" in eine lange Kette winziger, jeweils leichter Teilprobleme. Jeder einzelne Schritt verlangt vom Netz nur, ein leicht verrauschtes Bild ein kleines bisschen weniger verrauscht zu machen. Das ist eine Aufgabe, die ein neuronales Netz zuverlässig und stabil lernen kann. Die Schwierigkeit steckt nicht in einem heroischen Einzelschritt, sondern verteilt sich auf viele bescheidene.

Das Verfahren besteht aus zwei Prozessen, die man sich als Hin- und Rückweg auf derselben Straße vorstellen kann.

Der Vorwärtsprozess (forward diffusion) nimmt ein echtes Bild aus den Trainingsdaten und fügt ihm in vielen kleinen Schritten – typischerweise einigen Hundert bis Tausend – jeweils eine kleine Dosis gaußschen Rauschens hinzu. Nach dem ersten Schritt ist das Bild fast unverändert, nur ein Hauch körniger. Nach der Hälfte der Schritte erkennt man die Umrisse kaum noch. Am Ende ist von der ursprünglichen Struktur nichts mehr übrig: reines, strukturloses Rauschen, nicht unterscheidbar von dem Flimmern, mit dem wir begonnen haben. Dieser Prozess braucht kein Lernen; er ist ein festgelegtes Rezept, das man mathematisch exakt hinschreiben kann. Er ist die kontrollierte Zerstörung.

Der Rückwärtsprozess (reverse diffusion) ist das eigentliche Kunststück und das Einzige, das gelernt werden muss. Ein neuronales Netz wird darauf trainiert, den Vorwärtsprozess umzukehren: Gegeben ein verrauschtes Bild und die Information, in welchem Rauschstadium es sich befindet, soll es schätzen, wie ein etwas weniger verrauschtes Bild aussähe. Führt man diese gelernte Umkehrung immer und immer wieder aus – beginnend bei reinem Rauschen –, so klettert man die Rauschtreppe wieder hinab und landet bei einem sauberen, neuen Bild, das es so vorher nicht gab.

Die tiefe Einsicht dahinter, die schon der Ursprungsarbeit zugrunde lag, ist ein Satz aus der Wahrscheinlichkeitstheorie: Wenn die einzelnen Vorwärtsschritte nur klein genug sind (also jeweils nur eine winzige Menge Rauschen hinzufügen), dann hat auch jeder Rückwärtsschritt dieselbe einfache mathematische Form – er ist wieder eine Gaußverteilung. Das Netz muss also nie eine wild komplizierte Verteilung modellieren, sondern für jeden Schritt nur den Mittelwert (und die Streuung) einer simplen Glockenkurve schätzen. Das ist der mathematische Grund, warum die Zerlegung in viele kleine Schritte überhaupt funktioniert.

Teil 1: Der physikalische Ursprung – ein Tintentropfen, rückwärts

Die Wurzel der Idee liegt in einer Arbeit aus dem Jahr 2015. Jascha Sohl-Dickstein, damals an der Stanford University, veröffentlichte gemeinsam mit Eric Weiss, Niru Maheswaranathan und Surya Ganguli auf der ICML-Konferenz das Papier mit dem sperrigen, aber programmatischen Titel „Deep Unsupervised Learning using Nonequilibrium Thermodynamics".

Die Inspiration war buchstäblich physikalisch. In der statistischen Physik beschreibt die Diffusion, wie Teilchen sich von selbst von Orten hoher Konzentration zu Orten niedriger Konzentration bewegen – ein Tintentropfen, der sich in Wasser verteilt, ein Gas, das einen Raum füllt. Dieser Prozess läuft von allein in eine Richtung: hin zur Unordnung, zum thermodynamischen Gleichgewicht, zur strukturlosen Gleichverteilung. Die zweite Hauptsatz-Intuition sagt uns, dass der Tropfen sich nie von selbst wieder zusammenzieht.

Sohl-Dickstein und Kollegen stellten die entscheidende Frage: Was, wenn wir diesen Zerfall nicht als unvermeidlichen Verlust betrachten, sondern als umkehrbaren Rechenweg? Ihre Idee: Man definiert einen Vorwärts-Diffusionsprozess, der eine beliebig komplizierte Datenverteilung (etwa „die Menge aller realistischen Gesichter") langsam und systematisch in eine einfache, bekannte Verteilung (reines gaußsches Rauschen) überführt. Und dann trainiert man ein Modell, das den zugehörigen Rückwärtsprozess lernt – der die Struktur wiederherstellt. Das Ergebnis, so ihr Versprechen, sei ein „hochflexibles und zugleich handhabbares" generatives Modell: flexibel, weil es beliebige Verteilungen darstellen kann, und handhabbar, weil sich Wahrscheinlichkeiten exakt berechnen lassen – ein Kompromiss, den frühere Verfahren nie beide zugleich boten.

Die Arbeit war mathematisch schön und ihrer Zeit voraus. Aber sie blieb zunächst weitgehend unbeachtet. Die erzeugten Bilder waren, gemessen an dem, was GANs damals schon konnten, unspektakulär, und der Rechenaufwand erschien unattraktiv. Es sollte fünf Jahre dauern, bis jemand zeigte, dass in dieser Idee ein schlafender Riese steckte.

Teil 2: Der Durchbruch – DDPM und die Kunst, das Rauschen vorherzusagen

Dieser Jemand war Jonathan Ho, gemeinsam mit Ajay Jain und Pieter Abbeel an der UC Berkeley. Ihre Arbeit „Denoising Diffusion Probabilistic Models" (DDPM) von 2020 ist der Wendepunkt, an dem aus einer eleganten Kuriosität eine ernstzunehmende Technologie wurde.

Ho und Kollegen erbten das Gerüst von Sohl-Dickstein, aber sie nahmen zwei entscheidende Vereinfachungen vor, die aus der Theorie ein praktisches Kraftpaket machten.

Die erste betrifft den Vorwärtsprozess. Man könnte meinen, um ein Bild in den Rauschzustand nach, sagen wir, 700 von 1000 Schritten zu bringen, müsse man tatsächlich 700 Mal nacheinander Rauschen hinzufügen. Doch die Mathematik der gaußschen Verteilungen erlaubt eine Abkürzung: Man kann den Rauschzustand zu jedem beliebigen Zeitpunkt \(t\) in einem einzigen Schritt direkt aus dem Originalbild berechnen. Ein verrauschtes Bild \(x_t\) ist schlicht eine gewichtete Mischung aus dem Originalbild \(x_0\) und einer Portion reinen Rauschens \(\varepsilon\): je weiter fortgeschritten der Zeitpunkt, desto kleiner der Anteil des Originals und desto größer der des Rauschens. Diese geschlossene Formel bedeutet, dass man beim Training für jedes Bild einen zufälligen Zeitschritt auswählen und dessen verrauschte Version sofort erzeugen kann – ohne die ganze Kette durchlaufen zu müssen. Das macht das Training enorm effizient.

Die zweite, konzeptionell schönere Vereinfachung betrifft das, was das Netz eigentlich vorhersagen soll. Naiv würde man das Netz das entrauschte Bild oder den Mittelwert des nächsten Rückwärtsschritts schätzen lassen. Ho und Kollegen zeigten, dass es weit besser funktioniert, das Netz stattdessen das hinzugefügte Rauschen selbst vorhersagen zu lassen. Der Trainingsablauf wird dadurch geradezu banal: Nimm ein echtes Bild, würfle einen Zeitschritt, würfle eine Portion Rauschen \(\varepsilon\), mische beides zum verrauschten Bild \(x_t\), und lass das Netz raten, welches Rauschen \(\varepsilon\) hineingemischt wurde. Die Zielfunktion ist dann nichts weiter als der mittlere quadratische Fehler zwischen dem echten und dem vorhergesagten Rauschen – eine der einfachsten Verlustfunktionen, die es im maschinellen Lernen gibt. Diese „\(\varepsilon\)-Vorhersage" (epsilon prediction) ist bis heute die Standardformulierung.

Das Ergebnis sprach für sich: DDPM erzeugte auf den Standard-Testdatensätzen CIFAR-10 und LSUN Bilder, deren Qualität mit den damals besten GANs mithalten konnte – bei einem stabilen, unproblematischen Trainingsverfahren, das nicht in die berüchtigten GAN-Instabilitäten geriet. Der schlafende Riese war erwacht.

Es lohnt sich, kurz innezuhalten und die Aufgabe des Netzes mit einer Intuition aus der Kognitionswissenschaft zu verbinden. Das Netz lernt im Grunde, aus einer verrauschten Beobachtung auf die wahrscheinliche zugrunde liegende Struktur zu schließen – es lernt, was „plausibel" ist, um das Unplausible (das Rauschen) herauszurechnen. Es entwickelt damit eine Art internes Modell davon, wie die Welt der Bilder aussieht. Diese Verwandtschaft zum Gehirn als Vorhersage- und Fehlerkorrekturmaschine ist kein Zufall; sie taucht in der KI immer wieder auf und verbindet dieses Thema mit dem Predictive Processing der Wahrnehmungspsychologie.

Teil 3: Drei Blickwinkel, ein Modell – die große Vereinheitlichung

Die vielleicht faszinierendste Wendung dieser Geschichte ist, dass DDPM nicht allein stand. Zur selben Zeit war ein zweiter Forschungsstrang unabhängig zu einer eng verwandten Idee gelangt – und ein drittes Papier zeigte schließlich, dass beide Stränge nur zwei Ansichten desselben Objekts waren.

Blickwinkel A: Denoising (DDPM)

Der bereits geschilderte DDPM-Blick ist der intuitivste: Man denkt in diskreten Schritten, das Netz sagt Rauschen vorher, und Sampling heißt, die Rauschtreppe Stufe für Stufe hinabzusteigen.

Blickwinkel B: Score-Matching und Langevin-Dynamik

Der zweite Strang stammt von Yang Song und Stefano Ermon, ebenfalls Stanford. Ihre Arbeit von 2019 („Generative Modeling by Estimating Gradients of the Data Distribution") dachte das Problem völlig anders. Statt Rauschen vorherzusagen, wollten sie den sogenannten Score der Datenverteilung lernen: den Gradienten des Logarithmus der Wahrscheinlichkeitsdichte, \(\nabla_x \log p(x)\). Anschaulich ist der Score ein Vektorfeld, das an jedem Punkt des Bildraums in die Richtung zeigt, in der die Daten „wahrscheinlicher" werden – ein Kompass, der überall dorthin weist, wo plausiblere Bilder liegen.

Kennt man diesen Kompass, kann man neue Bilder erzeugen, indem man an einem zufälligen Punkt startet und dem Score folgt, während man gleichzeitig eine kleine Portion Zufall beimischt. Dieses Verfahren heißt Langevin-Dynamik und stammt – wieder einmal – aus der Physik, wo es die Bewegung eines Teilchens in einem Kraftfeld unter thermischem Rauschen beschreibt. Songs und Ermons entscheidende praktische Erkenntnis: Der Score lässt sich nur schwer dort schätzen, wo kaum Daten liegen (in den „leeren" Regionen des Bildraums). Ihre Lösung war, die Daten mit Rauschen unterschiedlicher Stärke zu stören und den Score für jede Rauschstärke zu lernen – vom starken Rauschen, das den ganzen Raum füllt, bis zum feinen, das die Details modelliert. Man erkennt sofort die Familienähnlichkeit zu DDPM.

Blickwinkel C: Die vereinheitlichende SDE-Sicht

1921 – nein, 2021 – schloss Yang Song mit mehreren Koautoren (darunter Sohl-Dickstein und Ermon) den Kreis. Ihre Arbeit „Score-Based Generative Modeling through Stochastic Differential Equations" zeigte, dass DDPM und die score-basierten Modelle nur zwei diskrete Näherungen ein und desselben kontinuierlichen Prozesses sind, den man mit einer stochastischen Differentialgleichung (SDE) beschreiben kann.

Die Idee: Man lässt die Zahl der Rauschschritte gegen unendlich gehen. Aus der diskreten Treppe wird eine glatte Rampe. Der Vorwärtsprozess wird zu einer SDE, die eine Datenverteilung kontinuierlich in Rauschen überführt. Und hier kommt ein bemerkenswertes mathematisches Resultat ins Spiel, das der Physiker Brian Anderson bereits 1982 bewiesen hatte: Zu jeder solchen Vorwärts-SDE existiert eine umgekehrte SDE, die den Prozess exakt rückgängig macht – und diese Rückwärts-SDE hängt von nichts anderem ab als von genau jenem Score. Damit war klar: Das Rauschen vorherzusagen (DDPM) und den Score zu lernen (Song & Ermon) sind bis auf einen Skalierungsfaktor dasselbe. Beide schätzen den Kompass, der von Rauschen zurück zu den Daten weist.

Diese SDE-Sicht war nicht bloß theoretisch elegant, sondern praktisch fruchtbar. Sie brachte unter anderem den Probability Flow ODE hervor – eine deterministische Variante des Rückwärtsprozesses (eine gewöhnliche statt stochastische Differentialgleichung), die dasselbe Ergebnis ohne Zufall liefert. Aus ihr wurden schnellere Sampler wie DDIM und darauf aufbauende Verfahren abgeleitet, die die Zahl der nötigen Schritte von Tausenden auf wenige Dutzend drückten. Dass drei Forschergruppen, ausgehend von Thermodynamik, Wahrscheinlichkeitstheorie und Differentialgleichungen, an derselben Stelle ankamen, ist ein schönes Beispiel für die Konvergenz, die tiefe Ideen oft auszeichnet.

Teil 4: Die Steuerung – wie sagt man dem Modell, was es malen soll?

Bis hierher können unsere Modelle irgendein plausibles Bild erzeugen – ein zufälliges Gesicht, eine zufällige Landschaft. Das ist beeindruckend, aber nutzlos, wenn man ein bestimmtes Bild will: „ein Astronaut auf einem Pferd, Ölgemälde". Der Übergang vom unbedingten zum bedingten (conditional) Erzeugen ist der Schritt, der Diffusionsmodelle vom Laborspielzeug zum Werkzeug für Millionen machte.

Der einfachste Ansatz ist, die Bedingung (etwa einen Text) einfach als zusätzliche Eingabe in das Netz zu speisen, das das Rauschen vorhersagt. Das funktioniert, aber die Treue zur Vorgabe ist oft schwach – das Modell nimmt den Text als lose Anregung, nicht als Befehl. Zwei Techniken haben dieses Problem gelöst.

Classifier Guidance

Prafulla Dhariwal und Alex Nichol von OpenAI zeigten 2021 in der programmatisch betitelten Arbeit „Diffusion Models Beat GANs on Image Synthesis", dass man einen separaten Klassifikator (ein Netz, das erkennt, was auf einem Bild zu sehen ist) benutzen kann, um den Sampling-Prozess zu lenken. Bei jedem Rückwärtsschritt schiebt man das Bild ein Stück in die Richtung, die den Klassifikator davon überzeugt, dass er die gewünschte Klasse sieht. Ein Regler bestimmt, wie stark dieser Schubs ausfällt – und mit ihm den klassischen Kompromiss zwischen Bildqualität und Vielfalt: mehr Führung liefert sauberere, prototypischere Bilder, aber weniger Abwechslung. Diese Arbeit war zugleich der Moment, in dem Diffusionsmodelle GANs auch quantitativ überholten.

Der Nachteil: Man braucht einen zusätzlichen Klassifikator, und der muss selbst mit verrauschten Bildern umgehen können – ein aufwendiger Sonderfall.

Classifier-Free Guidance

Die elegantere Lösung lieferten Jonathan Ho und Tim Salimans 2022 mit der „Classifier-Free Guidance" (CFG), die bis heute in praktisch jedem Text-zu-Bild-System steckt. Der Trick: Man braucht gar keinen separaten Klassifikator. Stattdessen trainiert man ein Netz so, dass es beides kann – bedingt (mit Text) und unbedingt (ohne Text) Rauschen vorhersagen; letzteres erreicht man, indem man während des Trainings gelegentlich die Textbedingung weglässt. Beim Erzeugen lässt man das Netz dann zwei Vorhersagen machen, mit und ohne Text, und extrapoliert in die Richtung, die der Text hinzufügt: Man nimmt die unbedingte Vorhersage und verstärkt genau jene Differenz, die die Bedingung ausmacht. Ein Gewichtungsfaktor \(w\) (der „Guidance Scale") regelt die Stärke. Erhöht man ihn, folgt das Bild dem Text sklavischer, wird aber weniger vielfältig; senkt man ihn, wird es freier, aber ungenauer.

Classifier-Free Guidance ist der stille Held der generativen Bildrevolution. Sie steckt in DALL·E 2, in Googles Imagen und in Stable Diffusion, und sie ist der Grund, warum ein Textbefehl heute so verlässlich das Gewünschte hervorbringt. Die textliche Bedingung selbst wird dabei meist über einen Cross-Attention-Mechanismus in das Netz eingespeist – exakt jene Aufmerksamkeitsmaschinerie, die auch das Rückgrat der Sprachmodelle bildet und die im Transformer ihren Ursprung hat. Text-Encoder und Bild-Generator sprechen also über dieselbe Sprache der Aufmerksamkeit miteinander.

Teil 5: Latent Diffusion – die Demokratisierung durch Kompression

So beeindruckend die frühen Modelle waren, hatten sie ein prosaisches Problem: Sie rechneten direkt auf den Pixeln. Ein Bild mit 512×512 Pixeln und drei Farbkanälen hat fast 800 000 Zahlenwerte, und der Rückwärtsprozess muss dieses riesige Objekt Dutzende Male durch ein großes Netz schicken. Das ist so rechenintensiv, dass hochauflösende Bilderzeugung teuren Rechenzentren vorbehalten blieb. DALL·E 2 und Imagen umgingen das mit mehrstufigen Kaskaden (erst ein kleines Bild erzeugen, dann hochskalieren) – funktional, aber aufwendig.

Den entscheidenden Effizienzsprung brachte 2022 eine Gruppe um Robin Rombach und Björn Ommer an der LMU München mit den „Latent Diffusion Models" (LDM), vorgestellt auf der CVPR. Ihre Einsicht: Der Großteil der Pixel eines Bildes ist wahrnehmungsmäßig redundant – die feinen Details tragen wenig zur Bedeutung bei. Man kann ein Bild daher zunächst mit einem separat trainierten Autoencoder in einen viel kleineren, komprimierten „latenten Raum" übersetzen (etwa um den Faktor 48 in der Datenmenge), dort den gesamten Diffusionsprozess ablaufen lassen, und das Ergebnis am Ende wieder in ein volles Bild dekodieren. Die Diffusion arbeitet also nicht mehr auf Pixeln, sondern auf einer verdichteten, bedeutungstragenden Repräsentation.

Der Effekt war dramatisch: Der Rechenaufwand sank um mehr als eine Größenordnung, bei kaum sichtbarem Qualitätsverlust. Rombach und Kollegen kombinierten dies mit der erwähnten Cross-Attention-Konditionierung für flexible Steuerung durch Text, Segmentierungskarten oder andere Eingaben. Das Resultat war so effizient, dass es auf einer einzelnen handelsüblichen Grafikkarte lief.

Genau das machte diese Arbeit zu einem historischen Wendepunkt – weniger technisch als gesellschaftlich. Die Latent-Diffusion-Architektur wurde zur Grundlage von Stable Diffusion, das im August 2022 als erstes leistungsfähiges Text-zu-Bild-Open-Source-Modell veröffentlicht wurde. Zum ersten Mal konnte jeder mit einem halbwegs aktuellen Rechner hochwertige Bilder erzeugen, das Modell studieren, es feintunen und darauf aufbauen. Die Bildgenerierung war nicht länger das Privileg weniger Konzerne mit ihren geschlossenen APIs. Diese Demokratisierung entfachte eine Explosion von Werkzeugen, Erweiterungen und Anwendungen – und zugleich, wie wir noch sehen werden, eine ebenso heftige Debatte über Urheberrecht und Missbrauch.

Teil 6: Die Architektur-Evolution und der Sprung über die Bilder hinaus

Vom U-Net zum Diffusion Transformer

Das neuronale Netz, das in all diesen Modellen die eigentliche Rauschvorhersage übernahm, war lange ein U-Net – eine Architektur mit einem charakteristischen, sich zusammenziehenden und wieder ausdehnenden Aufbau, ursprünglich für die medizinische Bildsegmentierung entwickelt und mit den örtlichen Faltungsoperationen (Convolutions) gut auf Bilder zugeschnitten. Doch 2023 zeigten William Peebles und Saining Xie mit dem Diffusion Transformer (DiT), dass man das U-Net durch einen reinen Transformer ersetzen kann – dieselbe Architektur, die die Sprachmodelle antreibt. Der Vorteil: Transformer skalieren außergewöhnlich gut. Mehr Parameter und mehr Daten führten zu vorhersehbar besseren Bildern, ganz im Sinne der neuronalen Skalierungsgesetze. Der DiT wurde zur Architektur der nächsten Generation, unter anderem von OpenAIs Videomodell Sora.

Flow Matching und Rectified Flow

Parallel entstand eine mathematische Neuformulierung, die den Diffusionsgedanken verallgemeinert: Flow Matching und insbesondere Rectified Flow. Statt den gewundenen, vom Rauschprozess vorgegebenen Pfad zwischen Rauschen und Daten zu lernen, verbinden diese Verfahren beide Enden möglichst geradlinig. Der Vorteil einer geraden Bahn ist unmittelbar einsichtig: Sie lässt sich in weit weniger Schritten durchlaufen, was das Sampling beschleunigt. Stable Diffusion 3 (2024) und das Modell Flux kombinieren beides – einen Multimodal-Diffusion-Transformer mit einer Rectified-Flow-Formulierung – und markieren damit den aktuellen Stand der Bildgenerierung.

Diffusion jenseits der Bilder

Das eigentlich Bemerkenswerte an Diffusionsmodellen ist, dass ihr Prinzip nichts spezifisch mit Bildern zu tun hat. Alles, was man braucht, ist eine Datenverteilung, die man verrauschen und wieder entrauschen kann. Entsprechend haben sich Diffusionsmodelle über ihr Ursprungsgebiet hinaus ausgebreitet:

  • Video – Sora und verwandte Modelle behandeln Videosequenzen als Folgen von „Bild-Tokens" und entrauschen diese, um minutenlange, hochauflösende Clips zu erzeugen.
  • Audio und Sprache – moderne Text-zu-Sprache-Systeme und Musikgeneratoren nutzen Diffusion bzw. Flow Matching, um Wellenformen oder Spektrogramme zu synthetisieren.
  • Molekül- und Wirkstoffdesign – Diffusionsmodelle erzeugen dreidimensionale Molekülstrukturen mit gewünschten Eigenschaften.
  • Proteinstruktur – die 2024 vorgestellte Version AlphaFold 3 von Google DeepMind (Nobelpreiswürdig war bereits der Vorgänger) verwendet ein Diffusionsmodul, um die Atomkoordinaten von Proteinen und ihren Komplexen zu erzeugen – eine bemerkenswerte Brücke zur Frage, wie Proteine ihre Form finden, die im Artikel über Proteinfaltung behandelt wird.
  • Wettervorhersage – Modelle wie GenCast erzeugen probabilistische Wetterprognosen, indem sie plausible Zukunftszustände der Atmosphäre „entrauschen".

Diese Bandbreite zeigt, dass Diffusion weniger eine Bildtechnik als ein allgemeines Rezept ist, um aus Rauschen strukturierte, hochdimensionale Daten zu erzeugen – ein universeller Generator.

Teil 7: Die Grenzen, die Schatten und die offenen Fragen

So mächtig die Technik ist, sie hat ihre Preise und ihre Gefahren, und intellektuelle Redlichkeit verlangt, sie zu benennen.

Langsamkeit. Der Konstruktionsvorteil – viele kleine Schritte – ist zugleich der größte Nachteil. Ein Diffusionsmodell muss sein Netz dutzende bis hunderte Male auswerten, um ein einziges Bild zu erzeugen, während ein GAN das in einem einzigen Durchgang schafft. Die Forschung an schnelleren Samplern (DDIM, Consistency Models, Rectified Flow, Destillationsverfahren) ist genau deshalb ein zentrales Thema; die Zahl der Schritte ist von ursprünglich tausend auf teils unter zehn gefallen, aber der prinzipielle Nachteil bleibt.

Memorisierung. Diffusionsmodelle sollen die Verteilung der Trainingsdaten lernen, nicht die einzelnen Bilder auswendig. Doch Untersuchungen haben gezeigt, dass sie unter bestimmten Umständen einzelne Trainingsbilder nahezu wörtlich reproduzieren können – besonders solche, die im Datensatz mehrfach vorkommen. Das ist nicht nur ein technisches Ärgernis, sondern der Kern der schwelenden urheberrechtlichen Auseinandersetzungen: Wenn ein Modell aus Millionen ungefragt gesammelter Bilder trainiert wurde und Fragmente davon wiedergeben kann, wem gehört dann das Erzeugte?

Verzerrung (Bias). Ein Modell spiegelt die Verteilung seiner Trainingsdaten. Sind diese verzerrt – etwa in der Darstellung von Berufen, Geschlechtern oder Ethnien –, so reproduziert und verstärkt das Modell diese Verzerrungen, oft auf subtile und schwer kontrollierbare Weise.

Missbrauch und Deepfakes. Dieselbe Fähigkeit, überzeugende Bilder und Videos aus einem Textbefehl zu erzeugen, ermöglicht auch die massenhafte Produktion von Desinformation, nicht einvernehmlicher Bildinhalte und Betrug. Diese Gefahr ist einer der Gründe, warum generative KI in den Fokus der Regulierung geraten ist: Der EU AI Act verlangt unter anderem die Kennzeichnung („Wasserzeichen") synthetischer Inhalte. Ich bin der Meinung, dass die technische Kennzeichnung allein das Problem nicht lösen wird, weil Wasserzeichen sich entfernen lassen und Open-Source-Modelle sich der zentralen Kontrolle entziehen – aber sie ist ein sinnvoller erster Schritt in einem größeren gesellschaftlichen Aushandlungsprozess.

Das Verständnis-Defizit. Wie bei den großen Sprachmodellen gilt auch hier: Wir können diese Modelle bauen und ihre Ergebnisse bewundern, aber wir verstehen ihr Innenleben nur ansatzweise. Warum genau ein Modell einen bestimmten Bildbestandteil so und nicht anders erzeugt, welche „Konzepte" es intern repräsentiert – das ist Gegenstand der noch jungen Forschung, die im Artikel über mechanistische Interpretierbarkeit beschrieben wird und die sich zunehmend auch den Diffusion Transformern zuwendet.

Erkenntnis zum Mitnehmen

Die eigentliche Lehre der Diffusionsmodelle ist eine methodische, und sie reicht weit über die Bildgenerierung hinaus. Sie lautet: Ein unmöglich schweres Problem wird lösbar, wenn man es in eine lange Kette leichter Teilprobleme zerlegt und den Zusammenhang zwischen ihnen sauber definiert. Niemand weiß, wie man „aus dem Nichts ein realistisches Bild erschafft" – aber jeder kann lernen, ein Bild ein kleines bisschen weniger verrauscht zu machen. Die Kunst bestand nicht darin, den einen genialen Schritt zu finden, sondern darin, die richtige Zerlegung zu erkennen und die Umkehrbarkeit einer Zerstörung als Rechenweg zu begreifen.

Für jeden, der Systeme baut, steckt darin ein übertragbares Prinzip. Ob in der Softwarearchitektur, wo man einen komplexen Zustand aus einer Folge kleiner, nachvollziehbarer Ereignisse rekonstruiert, oder in der Datenverarbeitung, wo iterative Verfeinerung oft robuster ist als der eine große Wurf: Die Diffusionsidee ist ein Musterbeispiel dafür, dass Eleganz und Leistungsfähigkeit oft aus derselben Quelle stammen – aus der richtigen Zerlegung eines Problems. Und sie erinnert daran, dass die tiefsten Werkzeuge der KI häufig aus scheinbar fremden Disziplinen entliehen sind: Ein Modell, das heute Milliardenmärkte bewegt, verdankt seine Existenz einer Analogie zum Auflösen eines Tintentropfens.

Reflexionsfrage

Diffusionsmodelle funktionieren, weil die Zerstörung von Information trivial ist und nur ihre Umkehrung gelernt werden muss – die schwierige Richtung wird durch die leichte definiert. Wo in deiner eigenen Arbeit gibt es ein scheinbar unlösbares „Vorwärtsproblem", das leichter würde, wenn du zunächst den umgekehrten, einfachen Weg exakt beschreiben und ihn dann Schritt für Schritt umkehren würdest? Und eine Ebene tiefer: Wenn ein Modell überzeugende Wirklichkeit aus reinem Zufall erzeugen kann – welche Bedeutung behält der Begriff „echt" noch, und wer sollte über diese Fähigkeit verfügen dürfen?

Querverweise im Vault

  • Der Transformer und Self-Attention – die Cross-Attention, über die Diffusionsmodelle ihre Textbedingung erhalten, und der Diffusion Transformer selbst stammen direkt aus dieser Architektur.
  • Skalierungsgesetze – warum der Wechsel vom U-Net zum Diffusion Transformer die Bildqualität so verlässlich verbesserte.
  • Predictive Processing – die tiefe Verwandtschaft zwischen Entrauschen und dem Gehirn als Vorhersage- und Fehlerkorrekturmaschine.
  • Proteinfaltung – AlphaFold 3 nutzt ein Diffusionsmodul, um Atomkoordinaten zu erzeugen.
  • Mechanistische Interpretierbarkeit – der Versuch zu verstehen, welche Konzepte diese Modelle intern repräsentieren.
  • Der EU AI Act – die regulatorische Antwort auf Deepfakes und synthetische Inhalte.

Quellen

Hinweis: Die dargestellten Verfahren und Ergebnisse stützen sich auf begutachtete bzw. breit rezipierte Fachveröffentlichungen. Wo eigene Einschätzungen zu offenen, kontrovers diskutierten Fragen (etwa zur Wirksamkeit technischer Kennzeichnung) getroffen wurden, sind sie mit „Ich bin der Meinung, dass ..." markiert.

← All articles