Next-Concept Modeling (NCM)

Herkunft und Begriff

Das Verfahren stellten Hermann Kumbong, Ishan S. Khare und weitere Autoren um Simran Arora, Azalia Mirhoseini und Christopher Ré am 9. Oktober 2026 auf dem Preprint-Server arXiv vor. Die Forschungsgruppe Hazy Research der Stanford University veröffentlichte am 12. Oktober 2026 eine Zusammenfassung. Der Ansatz überträgt ein Prinzip aus der Bilderzeugung auf Text: Das 2024 vorgestellte Verfahren Visual Autoregressive Modeling (VAR) erzeugt Bilder von einer groben zu immer feineren Auflösungen.

„Concept“ bezeichnet dabei die groben Ebenen der Hierarchie, die den Inhalt eines Textes vor seiner genauen Formulierung festlegen. Der Name lehnt sich an „Next-Token Prediction“ an, die Vorhersage des nächsten Wortstücks bei herkömmlichen Sprachmodellen.

Funktionsweise

1. Tokenizer: Ein mehrstufiger, residual quantisierter Autoencoder (multiscale residual VQ-VAE) übersetzt Text in eine Hierarchie diskreter Codes. Jede Ebene hat ein eigenes Codebuch. Die oberen Ebenen bilden grobe Merkmale ab, die unteren Einzelheiten.
2. Generator: Ein Transformer sagt die Ebenen nacheinander voraus. Innerhalb einer Ebene berechnet er alle Codes in einem Durchgang gleichzeitig.
3. Decoder: Aus der vollständigen Hierarchie wird der Text rekonstruiert.

Die Zahl der Durchgänge entspricht der Zahl der Ebenen, nicht der Länge des Textes. In einem Übersetzungsbeispiel der Autoren waren es elf Ebenen.

Merkmale

Code und Modelldateien sind unter der MIT-Lizenz veröffentlicht. Die Modelldateien liegen auf Hugging Face, mitgeliefert werden Skripte zur Auswertung, kein Trainingscode.

Abgrenzung zu verwandten Begriffen

Kritik und Grenzen

• Größe: Die Ergebnisse stammen von Modellen unter einer Milliarde Parametern. Die Autoren bezeichnen ihre Skalierungsergebnisse als vorläufig.
• Vergleichsbasis: Die Geschwindigkeitsvergleiche beziehen sich auf Diffusions-Sprachmodelle, nicht auf große autoregressive Modelle.
• Parallele Anfragen: In einem unabhängigen Test von MindStudio (Oktober 2026) war NCM bei einzelnen Anfragen zwei- bis viermal schneller als ein gleich großes autoregressives Modell, bei 64 gleichzeitigen Anfragen langsamer.
• Ausgabe: Die Ausgabelänge ist fest vorgegeben, und der Text lässt sich nicht während der Erzeugung schrittweise ausgeben.
• Genauigkeit: Im selben Test gab das Modell Namen und Zahlen gelegentlich falsch wieder. Den Sudoku-Vorsprung erreichte auch ein Diffusionsmodell mit angepasster Decodierreihenfolge.

Siehe auch

• Large Language Model (LLM)
• Diffusions-Sprachmodell
• Quantisierung
• Einordnung: LLM vs. NCM: Was Next-Concept Modeling kann und wie viel Speicher es braucht