Hardware für lokale KI: Wie viel Grafikspeicher Sie wirklich brauchen

Kurz gesagt

• 16 GB Grafikspeicher reichen für sparsame Modelle mit Mixture-of-Experts-Technik. Einstieg ab etwa 500 Euro für die Grafikkarte.
• 24 GB sind derzeit die sinnvollste Klasse. Hier laufen Modelle, die in Vergleichstests mit früheren Spitzenmodellen mithalten. Eine gebrauchte RTX 3090 kostet unter 1.000 Euro.
• Mehrere hundert Gigabyte brauchen die größten offenen Modelle. Der Qualitätsgewinn steht in keinem Verhältnis zum Aufwand.

Warum der Speicher entscheidet

Ein Sprachmodell besteht aus Milliarden von Zahlenwerten, den Gewichten. Für jedes erzeugte Wort liest der Rechner einen großen Teil davon. Liegen die Gewichte im Grafikspeicher, geht das sehr schnell. Liegen sie im normalen Arbeitsspeicher, dauert es ein Vielfaches.

Dazu kommt der Platz für den Gesprächsverlauf, also alles, was das Modell gerade im Blick behalten soll. Bei langen Dokumenten oder bei Agenten, die viele Zwischenschritte sammeln, wächst dieser Bedarf um mehrere Gigabyte. Planen Sie deshalb immer etwas Luft über der reinen Modellgröße ein.

Quantisierung: kleiner ohne großen Verlust

Ein Modell mit 27 Milliarden Parametern braucht in voller Genauigkeit (16 Bit je Wert) gut 54 GB. Das passt auf keine Grafikkarte für Endkunden. Deshalb werden die Gewichte gerundet gespeichert, das nennt sich Quantisierung.

Eine Untersuchung des Entwicklers Piotr Migdał zeigt für ein Qwen-Modell mit 27 Milliarden Parametern: In 2 Bit schrumpft es auf unter 10 GB, die Qualität leidet aber deutlich. Ab etwa 4 Bit ist der Verlust in den meisten Tests gering, bei reinen Wissensfragen sinkt die Leistung unterhalb von etwa 5 Bit spürbar. In der Praxis sind 4 bis 5 Bit deshalb der Standard, erkennbar an Kürzeln wie Q4_K_M oder Q5_K_M im Dateinamen.

Welche Hardware für welches Modell?

Die folgenden Angaben beziehen sich auf 4-Bit-Varianten und geben den Stand vom Herbst 2026 wieder.

Die Tabelle zeigt das Kernproblem: Der Sprung von 24 GB auf 450 GB Speicher kostet ein Vielfaches, bringt im Index aber nur wenige Punkte. Für die meisten Unternehmen ist die 24-GB-Klasse deshalb der vernünftige Kompromiss.

16 GB: Mixture of Experts macht es möglich

Grafikkarten mit 16 GB sind weit verbreitet. Für sie eignen sich Modelle mit Mixture-of-Experts-Technik (MoE). Ein solches Modell hat zwar insgesamt viele Parameter, nutzt für jedes Wort aber nur einen kleinen Teil davon. Bei Qwen 3.6-35B-A3B sind das rund 3 von 35 Milliarden, daher das Kürzel „A3B“ für „3 Milliarden aktiv“. Weil pro Schritt so wenig gerechnet wird, dürfen Teile des Modells im normalen Arbeitsspeicher liegen, ohne dass es unbenutzbar langsam wird.

Messungen von c't ergeben mit diesem Modell rund 35 Tokens pro Sekunde auf einer AMD RX 9060 XT mit 16 GB und rund 57 Tokens pro Sekunde auf einer Nvidia RTX 5060 Ti. Achten Sie beim Kauf darauf, dass Sie wirklich die 16-GB-Version erwischen. Beide Karten gibt es auch mit 8 GB.

24 GB: die vernünftige Klasse

Modelle um 27 Milliarden Parameter, die vollständig in 24 GB passen, sind derzeit der beste Kompromiss aus Kosten und Qualität. Für einen reinen KI-Rechner unter 2.000 Euro empfiehlt c't eine gebrauchte Nvidia RTX 3090. Die Karte ist zwar schon einige Jahre alt, hat aber 24 GB schnellen Speicher und ist gebraucht für unter 1.000 Euro zu haben.

Mac, Strix Halo, RTX Spark: gemeinsamer Speicher

Eine Alternative sind Rechner mit Unified Memory, bei denen Prozessor und Grafikeinheit sich einen schnellen Speicher teilen. Dazu gehören Apple-Rechner mit M-Chip, Mini-PCs mit AMD Strix Halo und Geräte mit Nvidia RTX Spark. Sie bieten viel Speicher zu einem vergleichsweise günstigen Preis.

Wichtig: Das Betriebssystem und laufende Programme belegen einen Teil dieses Speichers. Ein Rechner mit insgesamt 24 GB reicht deshalb nicht für ein Modell, das 24 GB braucht. Planen Sie mindestens 32 GB, besser mehr.

Geht es auch ohne Grafikkarte?

Ja, aber langsam. Für einen Chat, in dem Sie gelegentlich eine Frage stellen, mag das reichen. Für Agenten, die viele Schritte hintereinander ausführen, sollten es mindestens etwa 30 Tokens pro Sekunde sein. Dazu kommt: Agenten schicken dem Modell sehr lange Eingaben, etwa ganze Dateien oder Suchergebnisse. Diese Eingaben vorab zu verarbeiten, erledigen Grafikkarten um ein Vielfaches schneller als Prozessoren, besonders die von Nvidia.

Checkliste vor dem Kauf

• Welche Modelle wollen Sie nutzen, und wie groß sind sie in 4 Bit?
• Bleibt nach dem Modell noch genug Speicher für lange Eingaben?
• Bei gemeinsamem Speicher: Ist nach Abzug des Betriebssystems genug frei?
• Reicht die Geschwindigkeit für Ihre Aufgabe, also Chat oder Agent?
• Wird die Grafikkarte von der Software unterstützt, die Sie einsetzen wollen? Bei Nvidia ist die Auswahl am größten.

Grenzen

• Modellgrößen und Empfehlungen veralten schnell. Prüfen Sie vor dem Kauf aktuelle Angaben, etwa bei Artificial Analysis oder in der Community r/LocalLLaMA.
• Die genannten Geschwindigkeiten hängen stark von der eingesetzten Software ab. Dieselbe Hardware kann je nach Runtime ein Vielfaches schneller oder langsamer sein, mehr dazu in Lokales LLM einrichten.
• Strom- und Gebrauchtpreise schwanken. Rechnen Sie mit Ihren eigenen Zahlen.

Quellen

• c't 3003: Was ich über lokale KI gelernt habe, YouTube, September 2026 – https://www.youtube.com/watch?v=M1j_uRqKMKI
• Piotr Migdał, Quesma: Untersuchung zur Quantisierung von Qwen – https://quesma.com/blog/qwen-quantization-quality/
• Hugging Face: Mixture of Experts Explained – https://huggingface.co/blog/moe