Passt das KI-Modell auf Ihre Grafikkarte? So prüfen Sie es
Ob ein lokales KI-Modell auf eine Grafikkarte passt, entscheiden Modellgröße, Gesprächslänge und Grafikspeicher, wie schnell es antwortet, die Speicherbandbreite. Ein Rechner mit Schiebereglern zeigt für elf Modelle und fünfzehn Geräte, was passt, was ausweichen muss und was gar nicht läuft.
· 9 Minuten Lesezeit · von Rainer Winkler
Bevor ein Unternehmen Hardware für lokale KI kauft, steht eine einfache Frage: Läuft das Modell, das wir nutzen wollen, auf dieser Grafikkarte, und ist es schnell genug für unsere Aufgaben? Die Antwort steckt in drei Zahlen, die in jedem Datenblatt stehen. Dieser Ratgeber erklärt sie, rechnet sie mit einem interaktiven Rechner für Sie durch und zeigt, wie Sie das Ergebnis am eigenen Rechner überprüfen.
Passt das Modell auf Ihre Hardware?
Stellen Sie links Modell, Genauigkeit und Gesprächslänge ein, rechts die Hardware. Der obere Balken zeigt den Speicherbedarf, das untere Diagramm das geschätzte Tempo.
Zahlen als Tabelle
| Modell | Parameter (Mrd.) | davon aktiv (Mrd.) | Speicherbedarf in Q4_K_M bei 32.768 Tokens (GB) |
|---|---|---|---|
| Qwen3-8B | 8,2 | 8,2 | 10,8 |
| gpt-oss-20b | 21 | 3,6 | 14,6 |
| Mistral Small 3.2 24B | 24 | 24 | 21,0 |
| Gemma 3 27B | 27 | 27 | 20,9 |
| Qwen3.8-27B | 28 | 28 | 20,1 |
| Qwen3-30B-A3B | 31 | 3,3 | 22,9 |
| Qwen3-32B | 33 | 33 | 29,6 |
| Qwen3.6-35B-A3B | 35 | 3,0 | 23,1 |
| Llama 3.3 70B | 71 | 71 | 54,9 |
| gpt-oss-120b | 117 | 5,1 | 73,7 |
| Qwen3-235B-A22B | 235 | 22 | 151,0 |
| Hardware | Speicher (GB) | davon für KI nutzbar (GB) | Bandbreite (GB/s) |
|---|---|---|---|
| Radeon RX 9060 XT 16 GB | 16 | 16 | 320 |
| GeForce RTX 5060 Ti 16 GB | 16 | 16 | 448 |
| Radeon RX 9070 XT | 16 | 16 | 640 |
| GeForce RTX 5070 Ti | 16 | 16 | 896 |
| GeForce RTX 5080 | 16 | 16 | 960 |
| GeForce RTX 3090 | 24 | 24 | 936 |
| GeForce RTX 4090 | 24 | 24 | 1.008 |
| GeForce RTX 5090 | 32 | 32 | 1.792 |
| Ryzen AI Max+ 395, 128 GB | 128 | 96 | 256 |
| DGX Spark, 128 GB | 128 | 96 | 273 |
| RTX Spark, 128 GB | 128 | 96 | 300 |
| Mac mit M5 Max, 128 GB | 128 | 96 | 614 |
| RTX PRO 6000 Blackwell | 96 | 96 | 1.792 |
| Ryzen AI Max+ PRO 495, 192 GB | 192 | 160 | 273 |
| Mac Studio mit M5 Ultra, 512 GB | 512 | 384 | 1.200 |
Kurz gesagt
- Ob ein Modell passt, entscheidet der Speicher. Rechnen Sie Modellgröße plus Gesprächsverlauf plus etwa 1 GB Puffer und vergleichen Sie das mit dem Grafikspeicher. Liegt die Summe darüber, wird es langsam oder startet gar nicht.
- Wie schnell es antwortet, entscheidet die Speicherbandbreite. Für jedes erzeugte Wort liest die Grafikkarte die aktiven Teile des Modells einmal komplett. Doppelte Bandbreite heißt ungefähr doppeltes Tempo.
- Der Rechner oben nimmt Ihnen das Rechnen ab. Schieben Sie Modell, Genauigkeit und Gesprächslänge auf Ihren Bedarf und vergleichen Sie Grafikkarten, Workstations und Mini-PCs.
- Zum Schluss hilft nur der Praxistest:
ollama pszeigt, ob das Modell zu 100 % auf der Grafikkarte läuft.
Drei Zahlen entscheiden
Für die Frage „Reicht meine Grafikkarte?“ brauchen Sie keine Benchmarks, sondern drei Zahlen aus den Datenblättern.
1. Wie groß ist das Modell?
Ein Sprachmodell besteht aus Milliarden von Zahlenwerten, den Parametern. Wie viel Platz sie brauchen, hängt von der Quantisierung ab, also davon, wie stark die Werte gerundet gespeichert werden. Die Faustformel lautet: Parameter in Milliarden × Bit je Gewicht ÷ 8 = Gigabyte.
Die Bit-Werte stehen in der Dokumentation von llama.cpp, einer verbreiteten Software zum Betrieb lokaler Modelle. Die übliche Stufe Q4_K_M liegt bei rund 4,9 Bit je Gewicht, Q8_0 bei 8,5 Bit, volle Genauigkeit bei 16 Bit. Ein Modell mit 27 Milliarden Parametern braucht in Q4_K_M also rund 17 GB.
2. Wie viel Text soll es im Blick behalten?
Neben dem Modell selbst braucht der Gesprächsverlauf Platz, Fachleute sagen KV-Cache. Je länger die Eingabe, desto mehr: Ein ganzes Vertragswerk oder ein Agent, der viele Zwischenschritte sammelt, belegt schnell mehrere Gigabyte. Wie viel genau, hängt vom Aufbau des Modells ab. Qwen3-32B braucht für 32.768 Tokens rund 8,6 GB zusätzlich, das neuere Qwen 3.8-27B nur rund 2,1 GB, weil nur ein Viertel seiner Schichten den Verlauf speichert.
Laufen mehrere Anfragen gleichzeitig, etwa weil mehrere Kollegen dasselbe Modell nutzen, braucht jede ihren eigenen Verlauf. Dieser Teil vervielfacht sich also.
3. Wie schnell ist der Speicher?
Beim Schreiben der Antwort liest die Grafikkarte für jedes Token die aktiven Gewichte und den Verlauf aus dem Speicher. Databricks und Nvidia beschreiben das übereinstimmend: Die Textausgabe ist durch die Speicherbandbreite begrenzt, nicht durch die Rechenleistung. Eine RTX 3090 liest laut Nvidia 936 GB pro Sekunde, ein Mini-PC mit AMD Ryzen AI Max+ 395 laut AMD 256 GB pro Sekunde. Bei gleichem Modell ist die Grafikkarte deshalb mehr als dreimal so schnell, obwohl der Mini-PC viel mehr Speicher hat.
Eine Ausnahme sind Modelle mit Mixture-of-Experts-Technik (MoE). Sie nutzen für jedes Token nur einen kleinen Teil ihrer Parameter, Qwen 3.6-35B-A3B etwa 3 von 35 Milliarden. Sie brauchen viel Speicher, sind aber schnell.
So lesen Sie den Rechner
Der Rechner oben fasst alle drei Zahlen zusammen. Links stellen Sie ein, was Sie brauchen, rechts, welche Hardware Sie haben oder kaufen wollen. Der Balken zeigt, ob alles in den schnellen Speicher passt. Ragt er in den schraffierten Bereich, muss ein Teil des Modells in den Arbeitsspeicher des PCs ausweichen. Das funktioniert, kostet aber viel Tempo, weil normaler Arbeitsspeicher (DDR5, zwei Kanäle) nur rund 90 GB pro Sekunde schafft.
Darunter sehen Sie die geschätzte Geschwindigkeit, wahlweise für alle Modelle auf Ihrer Hardware oder für Ihr Modell auf aller Hardware. Die rote Linie markiert 30 Tokens pro Sekunde. Darunter wird die Arbeit mit Agenten, die viele Schritte hintereinander ausführen, zäh.
So prüfen Sie eine Grafikkarte in vier Schritten
- Modellgröße ablesen. In der Modellbibliothek von Ollama steht bei jeder Variante die Dateigröße, auf Hugging Face in der Dateiliste. Diese Zahl ist der größte Posten.
- Gesprächslänge festlegen. Für kurze Fragen reichen 4.000 bis 8.000 Tokens, für lange Dokumente und Agenten eher 32.000 und mehr. Achtung: Ollama stellt bei Grafikkarten mit weniger als 24 GB von sich aus nur 4.096 Tokens ein, bei 24 bis 48 GB 32.768. Wer längere Texte verarbeiten will, muss den Wert erhöhen und den Speicher dafür einplanen.
- Mit dem nutzbaren Speicher vergleichen. Ziehen Sie vom Grafikspeicher etwa 1 GB ab, das hält llama.cpp standardmäßig frei. Bei Geräten mit gemeinsamem Speicher (Unified Memory) belegen Betriebssystem und Programme zusätzlich einen Teil. AMD gibt beim Ryzen AI Max+ 395 bis zu 96 von 128 GB für die Grafik frei.
- Im Betrieb nachsehen. Laden Sie das Modell und geben Sie
ollama psein. Steht in der Spalte PROCESSOR „100% GPU“, liegt alles im Grafikspeicher. Steht dort etwa „48%/52% CPU/GPU“, wurde ein Teil ausgelagert. Bei Nvidia zeigtnvidia-smiunter „FB Memory Usage“, wie viel belegt ist, auf dem Mac die Aktivitätsanzeige im Reiter „Speicher“.
Wird es knapp, gibt es zwei Stellschrauben: eine kleinere Quantisierung, etwa Q4_K_M statt Q8_0, oder einen kompakter gespeicherten Gesprächsverlauf. In Ollama halbiert die Einstellung OLLAMA_KV_CACHE_TYPE=q8_0 laut Dokumentation den Speicher für den Verlauf.
Welche Hardware für welche Modelle?
Die Werte gelten für Q4_K_M und 32.768 Tokens Gesprächslänge, gerechnet mit dem Rechner oben. Das Tempo ist eine Schätzung.
| Klasse | Beispiele | Was gut läuft | Was knapp wird |
|---|---|---|---|
| 16 GB Grafikspeicher | RTX 5060 Ti 16 GB, RX 9070 XT, RTX 5080 | Modelle bis etwa 15 GB wie gpt-oss-20b oder Qwen3-8B. MoE-Modelle wie Qwen 3.6-35B-A3B laufen mit Auslagerung noch flott. | Dichte Modelle ab etwa 24 Milliarden Parametern |
| 24 bis 32 GB | RTX 3090, RTX 4090, RTX 5090 | Modelle um 27 Milliarden Parameter, etwa Qwen 3.8-27B (rund 20 GB). Auf der RTX 3090 rund 24, auf der RTX 5090 rund 47 Tokens pro Sekunde. | Qwen3-32B braucht mit langem Verlauf rund 30 GB, das passt nur auf die RTX 5090 |
| 96 bis 128 GB gemeinsamer Speicher | Ryzen AI Max+ 395, DGX Spark, Mac mit M5 Max | Große MoE-Modelle wie gpt-oss-120b (rund 74 GB): auf dem Ryzen-Mini-PC rund 30, auf dem M5 Max rund 70 Tokens pro Sekunde | Große dichte Modelle wie Llama 3.3 70B passen, laufen aber nur mit 2 bis 6 Tokens pro Sekunde |
| Workstation-Karte | RTX PRO 6000 Blackwell (96 GB) | Fast alles bis rund 90 GB, schnell: Llama 3.3 70B rund 17, gpt-oss-120b rund 200 Tokens pro Sekunde | Die größten offenen Modelle wie Qwen3-235B-A22B (rund 150 GB) |
| Über 150 GB | Mac Studio mit M5 Ultra (bis 512 GB), mehrere Profi-Karten | Auch Modelle mit mehreren hundert Milliarden Parametern | Preis und Aufwand stehen selten im Verhältnis zum Qualitätsgewinn |
Wie stark die Qualität mit der Modellgröße steigt und was die einzelnen Klassen kosten, beschreibt unser Ratgeber Hardware für lokale KI. Für einen reinen KI-Rechner unter 2.000 Euro empfiehlt c't eine gebrauchte RTX 3090, die es für unter 1.000 Euro gibt.
Schnelle Karte oder viel Speicher?
Grafikkarten und Rechner mit gemeinsamem Speicher sind zwei verschiedene Wege. Die Grafikkarte ist schnell, aber klein: Mehr als 32 GB hat derzeit keine GeForce-Karte. Der Mini-PC oder Mac hat viel Speicher, liest ihn aber langsamer. Eine Faustregel daraus:
- Dichte Modelle bis etwa 30 Milliarden Parameter gehören auf eine Grafikkarte mit 24 oder 32 GB.
- Große MoE-Modelle passen gut zu viel gemeinsamem Speicher, weil sie je Token nur wenig lesen.
- Große dichte Modelle brauchen beides, also eine Workstation-Karte wie die RTX PRO 6000 oder mehrere Karten.
Mehrere Grafikkarten in einem Rechner addieren ihren Speicher. Schneller wird ein einzelnes Gespräch dadurch kaum, weil die Karten das Modell bei der üblichen Aufteilung Schicht für Schicht nacheinander abarbeiten. Der Rechner geht vereinfacht genau davon aus.
Wie genau ist der Rechner?
Beim Speicher recht genau, beim Tempo ungefähr. Wir rechnen damit, dass die Software die Hälfte der möglichen Bandbreite nutzt, wie im Rechenbeispiel von Databricks. Zum Abgleich: Für Qwen 3.6-35B-A3B auf 16-GB-Karten ergibt der Rechner rund 46 (RX 9060 XT) und 53 Tokens pro Sekunde (RTX 5060 Ti). c't hat 35 und 57 gemessen. Die Größenordnung stimmt also, im Einzelfall liegt die Wirklichkeit ein Drittel darunter oder etwas darüber.
Nicht im Rechner enthalten sind die Zeit, bis die erste Antwort erscheint, und die Verarbeitung langer Eingaben. Beides erledigen Grafikkarten, besonders die von Nvidia, deutlich schneller als Mini-PCs und Macs. Für Agenten, die ganze Dateien einlesen, ist das oft wichtiger als das reine Schreibtempo.
Wann sich eigene Hardware lohnt
- Ja: Sie verarbeiten vertrauliche Daten, die das Haus nicht verlassen sollen, und ein Modell der 24- bis 32-GB-Klasse reicht für die Aufgabe, etwa Texte zusammenfassen, Dokumente durchsuchen oder Entwürfe schreiben.
- Eher nein: Sie brauchen die Qualität der besten Modelle oder wollen vor allem ausprobieren. Dann ist ein Cloud-Dienst günstiger und schneller eingerichtet.
- Mischbetrieb: Ein lokales Modell übernimmt Routine und vertrauliche Fälle, schwierige Aufgaben gehen an einen Dienst mit Vertrag zur Auftragsverarbeitung.
Wenn Sie unsicher sind, welche Klasse für Ihre Aufgaben reicht, testen wir das gern mit Ihren eigenen Beispielen. Mehr dazu unter KI-Beratung. Wie Sie ein Modell danach einrichten, steht in Lokales LLM einrichten.
Grenzen
- Das Tempo ist eine Schätzung. Je nach Runtime, Treiber und Einstellungen liegen reale Werte deutlich darüber oder darunter.
- Die Bit-Werte der Quantisierung stammen aus Messungen von llama.cpp an Llama 3.1 8B und schwanken je nach Modell leicht.
- Bei Qwen 3.6 und 3.8 speichern einige Schichten statt des Verlaufs einen Zustand fester Größe. Wie groß er ist, ist nicht dokumentiert, der Rechner zählt ihn zum Puffer.
- Wie viel gemeinsamen Speicher ein Mac, ein DGX Spark oder ein RTX Spark der Grafik überlässt, geben Apple und Nvidia nicht an. Der Rechner nimmt drei Viertel an.
- Neue Grafikkarten und Modelle erscheinen im Monatstakt. Die Zahlen haben den Stand vom 5. November 2026.
Quellen
- llama.cpp: Quantize, Tabelle der Bit je Gewicht, GitHub, abgerufen am 5. November 2026 – github.com/ggml-org/llama.cpp
- llama.cpp: Server-Dokumentation (Speicherreserve, Auslagerung), abgerufen am 5. November 2026 – github.com/ggml-org/llama.cpp
- Databricks: LLM Inference Performance Engineering: Best Practices, Oktober 2023 – databricks.com
- Nvidia Technical Blog: Mastering LLM Techniques: Inference Optimization, November 2023 – developer.nvidia.com
- Nvidia: GeForce-Grafikkarten im Vergleich (RTX 5060 Ti bis RTX 5090), abgerufen am 5. November 2026 – nvidia.com
- Nvidia: Whitepaper Ampere GA102 (RTX 3090) und Ada (RTX 4090) – GA102, Ada
- Nvidia: Datenblatt RTX PRO 6000 Blackwell Workstation Edition – nvidia.com
- Nvidia: DGX Spark, Hardware Overview, und RTX Spark Porting Guide, abgerufen am 5. November 2026 – DGX Spark, RTX Spark
- AMD: Radeon RX 9060 XT und RX 9070 XT, technische Daten – RX 9060 XT, RX 9070 XT
- AMD: Ryzen AI Max+ 395 und Ryzen AI Max+ PRO 495, FAQ zu Variable Graphics Memory – Max+ 395, Max+ PRO 495, VGM-FAQ
- Apple: Technische Daten Mac Studio und MacBook Pro (M5 Max, M5 Ultra), abgerufen am 5. November 2026 – Mac Studio, MacBook Pro
- Crucial: DDR5-5600 UDIMM (PC5-44800) – crucial.com
- Hugging Face: config.json und Modellkarten von Qwen3, Qwen 3.6, Qwen 3.8, gpt-oss, Mistral Small 3.2, Gemma 3 und Llama 3.3, abgerufen am 5. November 2026 – Beispiel Qwen 3.8-27B
- Ollama: FAQ und Context length – docs.ollama.com/faq, docs.ollama.com/context-length
- Nvidia: nvidia-smi Documentation – docs.nvidia.com
- c't 3003: Was ich über lokale KI gelernt habe, YouTube, September 2026 – youtube.com
Änderungsprotokoll
Aktuelle Version 1.0 · Stand:
- Version 1.0 Erstveröffentlichung am
Häufige Fragen
Reichen 16 GB Grafikspeicher für lokale KI im Betrieb?
Für viele Aufgaben ja. Modelle bis etwa 15 GB wie gpt-oss-20b oder Qwen3-8B laufen vollständig auf der Grafikkarte. Modelle mit Mixture-of-Experts-Technik wie Qwen 3.6-35B-A3B laufen mit teilweiser Auslagerung in den Arbeitsspeicher noch flüssig. Dichte Modelle ab etwa 24 Milliarden Parametern werden dagegen zäh.
Woran erkenne ich, ob ein Modell vollständig auf der Grafikkarte läuft?
Bei Ollama mit dem Befehl ollama ps: Steht in der Spalte PROCESSOR „100% GPU“, liegt das Modell komplett im Grafikspeicher. Eine Angabe wie „48%/52% CPU/GPU“ bedeutet, dass ein Teil im langsameren Arbeitsspeicher liegt.
Lohnt sich eine zweite Grafikkarte?
Wenn das gewünschte Modell auf eine Karte nicht passt, ja: Der Speicher addiert sich. Schneller wird ein einzelnes Gespräch dadurch aber kaum. Wer vor allem Tempo braucht, fährt mit einer Karte mit höherer Speicherbandbreite besser.
Mac, Mini-PC oder Grafikkarte: Was ist besser?
Das hängt vom Modell ab. Dichte Modelle bis etwa 30 Milliarden Parameter laufen auf einer Grafikkarte mit 24 oder 32 GB am schnellsten. Große Mixture-of-Experts-Modelle wie gpt-oss-120b brauchen viel Speicher, aber wenig Bandbreite, dafür eignen sich Mini-PCs und Macs mit 96 GB und mehr gemeinsamem Speicher.
Wie genau ist der Rechner?
Beim Speicherbedarf recht genau, beim Tempo ungefähr. Er rechnet mit der Hälfte der möglichen Speicherbandbreite. Messungen von c't liegen in derselben Größenordnung, im Einzelfall aber bis zu einem Drittel darunter oder etwas darüber.
