Large Language Model (LLM)

Herkunft und Begriff

Grundlage heutiger LLMs ist die Transformer-Architektur, die Forscher von Google 2017 in dem Aufsatz „Attention Is All You Need“ vorstellten. 2020 zeigte OpenAI mit GPT-3 und 175 Milliarden Parametern, dass ein ausreichend großes Sprachmodell viele Aufgaben allein anhand weniger Beispiele in der Eingabe lösen kann. Mit ChatGPT im November 2022 wurden LLMs einer breiten Öffentlichkeit bekannt.

„Large“ bezieht sich auf die Zahl der Parameter und die Menge der Trainingsdaten. Eine feste Grenze, ab der ein Sprachmodell als groß gilt, gibt es nicht. Forscher der Stanford University prägten 2021 den Oberbegriff Foundation Model für große, vielseitig einsetzbare Modelle.

Funktionsweise

• Tokens: Text wird in Wortstücke zerlegt, sogenannte Tokens. Ein deutsches Wort entspricht im Schnitt etwa ein bis zwei Tokens.
• Parameter: Das Wissen und die Fähigkeiten des Modells stecken in Milliarden von Zahlenwerten, den Gewichten.
• Training: Im Vortraining lernt das Modell an großen Textmengen, das nächste Token vorherzusagen. In der anschließenden Feinabstimmung lernt es, Anweisungen zu folgen und hilfreich zu antworten.
• Erzeugung: Bei der Anwendung sagt das Modell ein Token voraus, hängt es an den Text an und wiederholt das, bis die Antwort fertig ist. Für jedes Token wird ein großer Teil der Gewichte aus dem Speicher gelesen.
• Zwischenspeicher: Für bereits verarbeitete Tokens legt das Modell Zwischenergebnisse ab, den KV-Cache. Er wächst mit der Länge von Eingabe und Antwort.

Arten

Speicherbedarf

Der Speicherbedarf eines LLM ergibt sich vor allem aus der Zahl der Parameter und ihrer Genauigkeit. In 16 Bit belegt jeder Parameter 2 Byte, in 4 Bit etwa ein Viertel davon (Quantisierung). Ein Modell mit 27 Milliarden Parametern wie Qwen3.8-27B belegt laut Ollama-Bibliothek 56 GB in 16 Bit und 18 GB in 4 Bit. Hinzu kommt der KV-Cache.

Abgrenzung zu verwandten Begriffen

Kritik und Grenzen

• Erfundene Angaben: LLMs erzeugen plausibel klingende, aber falsche Aussagen, besonders bei Faktenfragen ohne Zugriff auf Quellen.
• Ressourcen: Training und Betrieb großer Modelle erfordern viel Rechenleistung, Speicher und Energie.
• Tempo: Weil Tokens nacheinander entstehen, begrenzt die Speichergeschwindigkeit die Ausgabegeschwindigkeit.
• Trainingsdaten: Herkunft und Rechte an den Trainingsdaten sind häufig nicht offengelegt und Gegenstand rechtlicher Auseinandersetzungen.

Rechtlicher Rahmen

Die europäische KI-Verordnung (Verordnung (EU) 2024/1689) behandelt LLMs als KI-Modelle mit allgemeinem Verwendungszweck. Ihre Anbieter müssen seit dem 2. August 2025 nach Art. 53 unter anderem eine technische Dokumentation erstellen und eine Zusammenfassung der Trainingsdaten veröffentlichen. Für Modelle mit systemischem Risiko gelten nach Art. 55 zusätzliche Pflichten.

Siehe auch

• Open-Weights-Modell
• Quantisierung
• Mixture of Experts (MoE)
• Diffusions-Sprachmodell
• Next-Concept Modeling (NCM)
• Praxis: Lokale KI: Was kleine Sprachmodelle heute können und was nicht