KI-Automatisierung
Lokale KI: Was kleine Sprachmodelle heute können und was nicht
Lokale Sprachmodelle laufen inzwischen auf einer einzigen Grafikkarte und erreichen in Tests Werte früherer Spitzenmodelle. Wo sie überzeugen, wo sie danebenliegen und warum Werkzeuge den Unterschied machen.
· 4 Minuten Lesezeit · von Rainer Winkler
Ein Sprachmodell auf dem eigenen Rechner, ohne Cloud, ohne Abo und ohne dass Daten das Haus verlassen: Das war lange eher ein Bastelprojekt. Inzwischen erreichen Modelle, die auf einer einzigen Grafikkarte laufen, in Vergleichstests Werte, die vor einem guten halben Jahr nur die großen Cloud-Modelle schafften. Dieser Beitrag ordnet ein, was lokale KI im Alltag leistet, wo sie verlässlich danebenliegt und unter welcher Bedingung sie wirklich nützlich wird.
Kurz gesagt
- Lokale Modelle sind schwächer als die Spitzenmodelle aus der Cloud. Der Abstand ist aber kleiner geworden, auf dem Papier liegen es nur noch wenige Monate.
- Ihre Stärke ist Können, nicht Wissen. Programmieren, Texte auswerten und Werkzeuge bedienen klappt gut. Faktenfragen aus dem Gedächtnis gehen oft schief.
- Den Unterschied machen Werkzeuge. Ein lokales Modell, das im Internet oder in Ihren Dokumenten nachschlagen darf, ist um ein Vielfaches brauchbarer als eines, das nur aus dem Gedächtnis antwortet.
Warum überhaupt lokal?
Drei Gründe nennen Unternehmen immer wieder:
- Datenschutz: Eingaben bleiben im eigenen Netz. Für Personaldaten, Verträge oder Kundenkorrespondenz ist das oft die Voraussetzung dafür, KI überhaupt einsetzen zu dürfen.
- Unabhängigkeit: Kein Anbieter kann Preise, Nutzungsbedingungen oder das Modell selbst über Nacht ändern. Was heute läuft, läuft auch nächstes Jahr.
- Planbare Kosten: Statt Gebühren pro Anfrage fällt einmalig Hardware an, dazu Strom. Ob sich das rechnet, hängt allerdings stark von der Nutzung ab.
Möglich wird das durch sogenannte Open-Weights-Modelle: Die Hersteller stellen die fertig trainierten Modelldateien zum Herunterladen bereit. Besonders aktiv sind derzeit chinesische Anbieter wie Alibaba (Qwen), Zhipu AI (GLM) und Moonshot AI (Kimi), deren Modelle in den einschlägigen Ranglisten inzwischen direkt hinter den US-Spitzenmodellen auftauchen.
Wie gut sind lokale Modelle wirklich?
Die bekanntesten unabhängigen Vergleiche sind Artificial Analysis und LMArena. In einem ausführlichen Test von c't 3003 (September 2026) erreicht das Modell Qwen 3.8-27B, das auf einer Grafikkarte mit 24 GB Speicher läuft, im Intelligence Index von Artificial Analysis 52 Punkte. Damit liegt es vor den Spitzenmodellen, die rund sieben Monate zuvor aktuell waren.
Im selben Test zeigt sich aber auch die Kehrseite: Bei einfachen Faktenfragen, etwa nach der Liste der Bundespräsidenten, liefert das Modell eine Antwort, die auf den ersten Blick plausibel wirkt und bei genauem Hinsehen mehrere Fehler enthält. Bei weniger bekannten Themen erfindet es Zeitschriften und Buchtitel, die es nie gab.
Der Widerspruch löst sich auf
Die meisten Tests in solchen Ranglisten prüfen kein Wissen, sondern Fähigkeiten: Code schreiben, eine Kommandozeile bedienen, Websuche einsetzen, sich Details in langen Texten merken. Im Index von Artificial Analysis fragt nur einer von neun Tests reines Wissen ab, und er fließt mit 12 Prozent in die Gesamtwertung ein.
Das ist kein Messfehler, sondern Absicht. Ein Modell mit 27 Milliarden Parametern hat schlicht nicht genug Platz, um so viel Weltwissen zu speichern wie ein Modell mit über einer Billion Parametern. Es kann aber sehr wohl lernen, wie man Informationen findet, prüft und weiterverarbeitet.
| Aufgabe | Lokales Modell ohne Werkzeuge | Lokales Modell mit Werkzeugen |
|---|---|---|
| Faktenfrage aus dem Gedächtnis | unzuverlässig, erfindet Details | gut, wenn es nachschlagen darf |
| Text zusammenfassen, umschreiben | gut | gut |
| Programmieren, Skripte schreiben | gut | sehr gut, kann testen und korrigieren |
| Dateien sortieren, Logdateien prüfen | nicht möglich | gut |
| Fragen zu eigenen Dokumenten | nicht möglich | gut, mit Dokumentensuche |
Werkzeuge machen den Unterschied
Damit ein Modell nachschlagen, Programme starten oder Dateien lesen kann, braucht es eine Software drumherum, einen sogenannten Harness. Er legt fest, welche Werkzeuge das Modell nutzen darf, und führt dessen Aufrufe aus. Bekannte Beispiele sind Coding-Werkzeuge wie OpenCode oder Chat-Oberflächen wie Open WebUI mit Websuche.
Hier liegt der eigentliche Wandel: Viele nutzen lokale Modelle noch wie ein Lexikon, sie stellen eine Frage und kopieren die Antwort heraus. Genau dafür sind kleine Modelle am schlechtesten geeignet. Wer ihnen dagegen Werkzeuge gibt, bekommt einen Assistenten, der auf dem eigenen Rechner Aufgaben erledigt, ohne dass ein Byte das Haus verlässt.
Zensur bei chinesischen Modellen
Ein häufiger Einwand: Chinesische Modelle seien zensiert. Das stimmt teilweise. Im genannten Test verweigert Qwen 3.8-27B jede Auskunft zum Tian'anmen-Massaker 1989. GLM-5.2, ebenfalls aus China, beantwortet dieselbe Frage dagegen ausführlich. Pauschal lässt sich das also nicht sagen.
Für typische Unternehmensaufgaben, also Texte, Code oder Auswertungen, spielt diese Zensur selten eine Rolle. Bei Recherchen zu politischen oder historischen Themen sollten Sie die Antworten aber gegenprüfen oder das Modell mit einer Websuche koppeln.
Wann sich lokale KI lohnt
- Ja, wenn sensible Daten verarbeitet werden, wenn eine Aufgabe sich oft wiederholt oder wenn Sie unabhängig von einem Anbieter bleiben wollen.
- Eher nein, wenn Sie Spitzenqualität bei sehr komplexen Aufgaben brauchen, nur selten KI einsetzen oder keine Zeit für Einrichtung und Pflege haben. Dann sind Cloud-Modelle oder zunächst kostenlose LLM-APIs der einfachere Weg.
- Mischbetrieb ist oft die beste Lösung: Sensibles läuft lokal, anspruchsvolle Aufgaben ohne Personenbezug gehen an ein Cloud-Modell.
Welche Hardware Sie dafür brauchen, lesen Sie in Hardware für lokale KI. Wie die Einrichtung abläuft, zeigt Lokales LLM einrichten.
Grenzen
- Ranglisten zeigen Tendenzen, keine Garantie für Ihre Aufgabe. Testen Sie mit Ihren eigenen Texten und Daten.
- Modellnamen und Platzierungen ändern sich im Monatstakt. Die hier genannten Modelle geben den Stand vom Herbst 2026 wieder.
- Lokal heißt nicht automatisch sicher. Ein falsch eingerichteter Server kann Daten genauso preisgeben wie ein Cloud-Dienst.
Quellen
- c't 3003: Was ich über lokale KI gelernt habe, YouTube, September 2026 – https://www.youtube.com/watch?v=M1j_uRqKMKI
- Artificial Analysis – Intelligence Index – https://artificialanalysis.ai/
