Quantisierung

Wie viel Qualität verloren geht

Bei 4 bis 5 Bit ist der Verlust in den meisten Tests gering. Darunter, bei 2 oder 3 Bit, leidet die Qualität deutlich, zuerst beim abgerufenen Wissen. Für den Betrieb auf eigener Hardware haben sich deshalb 4 und 5 Bit als Standard durchgesetzt.

Kürzel im Dateinamen

Modelldateien im verbreiteten Format GGUF tragen die Stufe im Namen, etwa Q4_K_M oder Q5_K_M. Die Zahl nennt die Bits je Wert, die Buchstaben das Verfahren und die Variante.

Beispiel

Ein Modell mit 27 Milliarden Parametern belegt in 16 Bit gut 54 GB, in 4 Bit rund 16 GB und passt damit auf eine Grafikkarte mit 24 GB.