Diffusions-Sprachmodell

Herkunft und Begriff

Diffusionsmodelle wurden zuerst für Bilder bekannt. Das 2020 vorgestellte Verfahren Denoising Diffusion Probabilistic Models (Ho, Jain, Abbeel) erzeugt Bilder, indem es reines Rauschen schrittweise in ein Bild zurückverwandelt. 2021 übertrugen Jacob Austin und Kollegen das Prinzip auf diskrete Daten wie Text. Statt Rauschen werden dabei Wortstücke durch ein Maskenzeichen ersetzt.

2024 zeigten Masked Diffusion Language Models (MDLM), dass das Verfahren bei Sprache nahe an herkömmliche Modelle heranreicht. 2025 folgten mit LLaDA ein offenes Modell mit acht Milliarden Parametern und mit Mercury von Inception das erste kommerzielle Angebot. Im Juni 2026 veröffentlichte Google mit DiffusionGemma ein offenes Diffusions-Sprachmodell.

Funktionsweise

1. Die Antwort beginnt als Folge von Platzhaltern, alle Stellen sind maskiert.
2. In jedem Schritt sagt das Modell für alle Stellen gleichzeitig voraus, welches Wortstück dort stehen sollte.
3. Die Vorhersagen, bei denen es am sichersten ist, werden übernommen, die übrigen bleiben maskiert.
4. Das wiederholt sich, bis alle Stellen gefüllt sind.

Neuere Modelle arbeiten blockweise. DiffusionGemma etwa verarbeitet die Eingabe wie ein herkömmliches Modell, füllt dann einen Abschnitt von 256 Wortstücken in bis zu 48 Schritten und hängt danach den nächsten Abschnitt an.

Varianten

Anwendung

Diffusions-Sprachmodelle werden vor allem dort eingesetzt, wo kurze Antwortzeiten zählen, etwa bei Code-Vervollständigung, Chat-Assistenten und Klassifizierung. Google gibt für DiffusionGemma bei wenigen gleichzeitigen Anfragen mehr als 1.100 Wortstücke pro Sekunde auf einer Nvidia H100 an.

Abgrenzung zu verwandten Begriffen

Kritik und Grenzen

• Qualität: Diffusions-Sprachmodelle liegen in vielen Tests hinter gleich großen autoregressiven Modellen. DiffusionGemma erreicht laut Modellkarte im Mathematiktest AIME 2026 69,1 Prozent, das autoregressive Gemma 4 gleicher Größe 88,3 Prozent.
• Schrittzahl: Weniger Schritte machen die Erzeugung schneller, senken aber die Qualität.
• Rechenaufwand: In jedem Schritt wird die ganze Folge oder der ganze Block verarbeitet.
• Länge: Die Länge eines Blocks oder der Antwort muss vorab festgelegt werden.

Siehe auch

• Large Language Model (LLM)
• Next-Concept Modeling (NCM)
• Mixture of Experts (MoE)
• Einordnung: LLM vs. NCM: Was Next-Concept Modeling kann und wie viel Speicher es braucht