Artificial Analysis lesen: So nutzen Unternehmen KI-Benchmarks
Artificial Analysis vergleicht KI-Modelle nach Intelligenz, Tempo und Preis, und seine Grafiken prägen viele Kaufentscheidungen. Dieser Ratgeber erklärt Index, Kennzahlen und Streudiagramme und zeigt, wie Unternehmen daraus eine Vorauswahl machen, die sie mit eigenen Aufgaben prüfen.
· 9 Minuten Lesezeit · von Rainer Winkler
Wer ein KI-Modell für den Betrieb auswählt, landet früher oder später bei Artificial Analysis. Die Seite vergleicht hunderte Modelle und Anbieter in Ranglisten und Streudiagrammen, die auch in Fachartikeln und Präsentationen auftauchen. Ohne Erklärung sind sie aber leicht falsch zu lesen. Dieser Ratgeber zeigt, was hinter dem Intelligence Index steckt, wie Sie die Diagramme lesen und wie Sie aus der Rangliste eine Entscheidung machen, die zu Ihren Aufgaben passt.
Kurz gesagt
- Artificial Analysis misst KI-Modelle selbst, über die öffentlichen Schnittstellen der Anbieter. Die Seite ist ein guter Ausgangspunkt für eine Vorauswahl, ersetzt aber keinen Test mit Ihren eigenen Aufgaben.
- Der Intelligence Index fasst neun englischsprachige Tests zu einer Zahl zwischen 0 und 100 zusammen. Seine Zusammensetzung ändert sich alle paar Wochen, Punkte aus verschiedenen Versionen lassen sich deshalb nicht vergleichen.
- Für die Kosten zählt, was eine erledigte Aufgabe kostet. Gesprächige Modelle sind trotz niedrigem Tokenpreis oft teurer als knappe.
- Die Streudiagramme zeigen auf einen Blick, welche Modelle viel Leistung für wenig Geld bringen. Aus diesem Feld wählen Sie drei bis fünf Kandidaten für einen eigenen Test.
Wer hinter Artificial Analysis steht
Artificial Analysis ist ein Unternehmen mit Sitz in San Francisco, gegründet von Micah Hill-Smith und George Cameron. Unterstützt wird es laut eigener Angabe von Investoren wie Nat Friedman, Daniel Gross und Andrew Ng. Geld verdient es mit Abonnements für Analysen und mit Benchmarks im Auftrag. Für die Aufnahme in die Ranglisten zahlt laut Mitgründer Hill-Smith niemand.
Gemessen wird über die öffentlichen Schnittstellen der Anbieter, teils mit anonymen Konten. Anbieter dürfen Testanfragen laut den Regeln von Artificial Analysis nicht erkennen oder bevorzugt behandeln. Die Ergebnisse spiegeln also das wider, was ein zahlender Kunde bekommt, zum Zeitpunkt der Messung und am Messort in den USA.
Was der Intelligence Index misst
Die bekannteste Zahl auf der Seite ist der Artificial Analysis Intelligence Index. In der aktuellen Version 5.0.1 (November 2026) besteht er aus neun Tests in vier gleich gewichteten Bereichen: Wissensarbeit, Programmieren, Naturwissenschaft und Allgemeinwissen. Das Ergebnis ist eine Zahl zwischen 0 und 100. Wie sich der Index zusammensetzt, zeigt das Diagramm unten.
Drei Dinge sollten Sie beim Lesen im Kopf behalten. Der Index ist laut Artificial Analysis eine überwiegend englischsprachige, textbasierte Testreihe. Wie gut ein Modell Deutsch kann, steht auf einer eigenen Seite für mehrsprachige Leistung. Außerdem wechselt die Zusammensetzung häufig. Allein zwischen Juni und November 2026 erschien rund ein Dutzend Unterversionen, mit Version 5.0 kamen drei Tests hinzu und vier fielen weg. Ein Modell, das im Sommer 60 Punkte hatte, lässt sich deshalb nicht mit einem Modell vergleichen, das heute 60 Punkte hat. Und ein hoher Gesamtwert sagt wenig über Ihre Aufgabe, wenn sie nur einen der Bereiche betrifft.
Für Unternehmen nützlicher sind oft die sogenannten Capability Indexes. Sie gewichten dieselben Tests nach Berufsfeldern neu, etwa Recht, Finanzen und Buchhaltung, Medizin oder Strategie und Betrieb. Wer ein Modell für juristische Texte sucht, schaut dort zuerst.
So setzt sich der Intelligence Index 5.0.1 zusammen
Neun Tests in vier Bereichen, jeder Bereich zählt ein Viertel. Klicken Sie auf einen Test, um zu sehen, was er prüft.
Zahlen als Tabelle
| Test | Bereich | Wert (%) |
|---|---|---|
| AA-Briefcase v1.1 | Wissensarbeit | 15 |
| AutomationBench-AA | Wissensarbeit | 5 |
| GDP.pdf | Wissensarbeit | 5 |
| FrontierCode-AA 2.0 | Programmieren | 15 |
| Terminal-Bench 4.0 | Programmieren | 10 |
| Terminal-Bench-Science 0.1 | Naturwissenschaft | 15 |
| CritPt v2 | Naturwissenschaft | 10 |
| AA-Omniscience v1.1 | Allgemein | 15 |
| HLE-Diamond | Allgemein | 10 |
Die wichtigsten Kennzahlen
Neben der Intelligenz misst Artificial Analysis Tempo und Kosten. Die Werte stammen in der Modellübersicht vom Endpunkt des Herstellers selbst, also etwa der Schnittstelle von OpenAI für ein OpenAI-Modell.
| Kennzahl | Was sie bedeutet | Worauf Sie achten sollten |
|---|---|---|
| Output Speed | erzeugte Tokens pro Sekunde, einschließlich der Tokens, die ein Modell zum Nachdenken nutzt | Gemessen alle sechs Stunden mit kurzen, mittleren und sehr langen Eingaben, angezeigt als Durchschnitt der letzten fünf Tage |
| Time to First Token | Wartezeit bis zum ersten Zeichen | Bei Modellen mit Denkphase ist das erste Zeichen oft nur der Beginn des Nachdenkens. Aussagekräftiger ist die Zeit bis zum ersten Zeichen der Antwort. |
| Blended Price | gemischter Preis in US-Dollar je eine Million Tokens | Gerechnet im Verhältnis 7 zu 2 zu 1 aus Tokens aus dem Zwischenspeicher, Eingabe und Ausgabe. Ihr eigenes Verhältnis kann davon stark abweichen. |
| Cost per Task | durchschnittliche Kosten je Aufgabe im Index | Die beste Kennzahl für einen Kostenvergleich, weil sie den Tokenverbrauch einrechnet |
| Output Tokens per Task | wie viele Tokens ein Modell für eine Aufgabe erzeugt, aufgeteilt in Antwort und Nachdenken | Zeigt, wie gesprächig ein Modell ist |
| Context Window | wie viel Text ein Modell gleichzeitig verarbeiten kann | Die mögliche Länge der Ausgabe liegt meist deutlich darunter |
Die Wartezeiten misst Artificial Analysis von einem Rechenzentrum in den USA aus und weist selbst darauf hin, dass sie vom Standort abhängen. Aus Deutschland können sie höher ausfallen.
Warum der Preis je Token in die Irre führt
Modelle mit Denkphase erzeugen vor der eigentlichen Antwort oft ein Vielfaches an Tokens. Ein Modell mit halbem Tokenpreis kann deshalb je Aufgabe teurer sein als ein Konkurrent, der knapp antwortet. Das Rechenbeispiel unten zeigt den Effekt mit erfundenen Werten. Schieben Sie die Menge auf Ihr erwartetes Aufkommen.
Rechenbeispiel: Tokenpreis gegen Kosten je Aufgabe
Modell B kostet je Token die Hälfte, braucht für eine Aufgabe aber rund 6.000 statt 1.500 Tokens. Je Aufgabe ist es damit doppelt so teuer und braucht länger.
Zahlen als Tabelle
| Kosten je Einheit (US-$) | Sekunden je Einheit | Kosten bei 10.000 (US-$) | Stunden bei 10.000 | |
|---|---|---|---|---|
| Modell A (4 US-$ je 1 Mio. Tokens, knapp) | 0,006000 | 6,000 | 60,00 | 16,7 |
| Modell B (2 US-$ je 1 Mio. Tokens, ausführlich) | 0,012000 | 15,000 | 120,00 | 41,7 |
So lesen Sie die Streudiagramme
Das wichtigste Werkzeug auf der Seite sind die Streudiagramme. Jeder Punkt ist ein Modell. Auf der senkrechten Achse steht meist der Intelligence Index, auf der waagerechten eine zweite Kennzahl, etwa Kosten je Aufgabe, Tempo oder Kontextfenster. Die Punkte sind nach Hersteller eingefärbt.
Zwei Hilfen sind eingezeichnet. Das Feld „Most attractive quadrant“ markiert den Bereich mit viel Leistung für wenig Geld, bei Intelligenz gegen Kosten liegt es oben links. Die „Pareto line“ verbindet die Modelle, zu denen es kein anderes gibt, das zugleich besser und günstiger ist. Ein Modell weit unterhalb dieser Linie zahlt sich nur aus, wenn es einen anderen Vorteil hat, etwa offene Gewichte oder einen Anbieter in der EU.
Achten Sie auf die Skala. Bei Kosten nutzt Artificial Analysis teils eine logarithmische Achse. Dort steht jede Gitterlinie für ein Vielfaches, nicht für einen festen Betrag: Der Abstand von 1 auf 10 Dollar ist genauso groß wie der von 10 auf 100 Dollar. Zwei Punkte, die nah beieinander wirken, können sich im Preis um das Doppelte unterscheiden. Steht im Reiter „Inverted“, ist die Achse umgedreht, die günstigen Modelle stehen dann auf der anderen Seite.
Das Beispiel unten ist wie die Grafik „Intelligence vs. Cost“ aufgebaut, mit erfundenen Modellen. Schalten Sie zwischen linearer und logarithmischer Achse um und sehen Sie, wie sich der Eindruck verschiebt.
Lesebeispiel: Intelligenz gegen Kosten je Aufgabe
Oben links liegt der attraktivste Bereich. Auf der Pareto-Linie liegen A, B, D, F und G. C und E kosten mehr als ein besseres Modell, und H kostet doppelt so viel wie G bei einem Punkt weniger.
Zahlen als Tabelle
| Intelligence Index (Punkte) | Kosten je Aufgabe (US-$) | |
|---|---|---|
| Modell A | 38 | 0,02 |
| Modell B | 45 | 0,05 |
| Modell C | 41 | 0,08 |
| Modell D | 52 | 0,12 |
| Modell E | 49 | 0,30 |
| Modell F | 58 | 0,60 |
| Modell G | 61 | 1,50 |
| Modell H | 60 | 3,00 |
Balken, Zeitverläufe und Anbieter
Die Balkendiagramme sortieren alle gewählten Modelle nach einer Kennzahl. Bei den Preisen sind sie gestapelt, damit Eingabe, Ausgabe und Zwischenspeicher getrennt sichtbar werden. Ein eigenes Diagramm kennzeichnet farblich, welche Modelle offene Gewichte haben, die Sie also auch selbst betreiben können. Welche Modelle in den Diagrammen erscheinen, legen Sie über die Modellauswahl fest.
Viele Modelle stehen mehrfach in der Liste, mit Zusätzen wie „(High)“ oder „(Low)“. Das sind Einstellungen, wie lange ein Modell nachdenken darf. Die höchste Stufe erreicht die meisten Punkte, kostet aber auch am meisten und braucht am längsten. Vergleichen Sie deshalb die Stufe, die Sie selbst nutzen würden.
Die Zeitverläufe auf der Seite „Trends“ zeigen je Gruppe nur das jeweils beste Modell, etwa Modelle aus den USA gegen Modelle aus China oder offene gegen geschlossene. Sie eignen sich, um einzuschätzen, wie schnell Fortschritte bei günstigeren Modellen ankommen.
Wichtig für den Einkauf ist der Anbietervergleich. Dasselbe offene Modell bieten oft viele Anbieter an, zu unterschiedlichen Preisen und mit unterschiedlichem Tempo. Artificial Analysis misst zusätzlich mit einem eigenen Genauigkeitsindex, ob ein Anbieter dieselbe Qualität liefert wie eine selbst betriebene Referenz. Abweichungen entstehen laut Artificial Analysis etwa durch Quantisierung oder andere Voreinstellungen. Der billigste Anbieter ist also nicht unbedingt dasselbe Modell in derselben Qualität.
So gehen Sie als Unternehmen damit um
- Beschreiben Sie die Aufgabe so konkret wie möglich, etwa „Angebote aus PDF-Anfragen erstellen“ oder „Kundenmails auf Deutsch beantworten“. Davon hängt ab, welcher Teilbereich des Index für Sie zählt.
- Grenzen Sie in den Streudiagrammen den Bereich ein, der zu Budget und Tempo passt. Wählen Sie drei bis fünf Modelle nahe der Pareto-Linie, dazu bei Bedarf ein offenes Modell für den Betrieb im eigenen Haus.
- Prüfen Sie die Kosten je Aufgabe und die Leistung auf Deutsch. Der Gesamtwert allein reicht für eine Entscheidung nicht.
- Wählen Sie den Anbieter. Neben Preis und Tempo zählen Serverstandort, ein Vertrag zur Auftragsverarbeitung und die Genauigkeit laut Anbietervergleich.
- Testen Sie die Kandidaten mit echten Beispielen aus Ihrem Betrieb, am besten mit einigen Dutzend Fällen, deren richtige Antwort Sie kennen. Erst dieser Test entscheidet.
- Schauen Sie alle paar Monate wieder nach. Neue Modelle erscheinen im Wochentakt, und die Preise sinken.
Wenn Sie Ergebnisse von Artificial Analysis intern weitergeben, etwa in einer Entscheidungsvorlage, nennen Sie die Quelle. Die Bedingungen von Artificial Analysis verlangen bei jeder Nutzung eine Quellenangabe. Für Veröffentlichungen und kommerzielle Unterlagen gelten weitere Einschränkungen, die Website selbst ist nur für persönliche Nutzung freigegeben. Klären Sie das vor einer Veröffentlichung, das hier ist keine Rechtsberatung.
Wenn Sie Unterstützung bei Auswahl und Test wünschen, finden Sie unser Angebot unter KI-Beratung. Ob ein offenes Modell auf Ihre Hardware passt, zeigt der Ratgeber Passt das KI-Modell auf Ihre Grafikkarte?
Wo Benchmarks an Grenzen stoßen
Ranglisten wie die von Artificial Analysis sind sorgfältig gemacht, teilen aber die bekannten Schwächen aller Benchmarks. Testfragen gelangen über das Internet in die Trainingsdaten der Modelle. Eine Studie von Balloccu und anderen schätzte 2024, dass allein GPT-3.5 und GPT-4 im ersten Jahr rund 4,7 Millionen Beispiele aus 263 Benchmarks zu sehen bekamen. Artificial Analysis setzt deshalb teils eigene, nicht veröffentlichte Testfragen ein.
Tests veralten zudem schnell. Laut Stanford AI Index 2026 stieg die Erfolgsquote im Programmiertest SWE-bench Verified binnen eines Jahres von 60 Prozent auf fast 100 Prozent. Derselbe Bericht beschreibt, dass Modelle schwierigste Aufgaben lösen und zugleich an einfachen scheitern. Epoch AI weist darauf hin, dass Modelle gezielt auf einzelne Tests hin optimiert werden können und dass Benchmarks die Vielschichtigkeit echter Arbeit selten abbilden.
Hinzu kommt die Sprache. Eine Untersuchung zu Global MMLU fand, dass 28 Prozent der Fragen des verbreiteten Tests MMLU kulturspezifisches Wissen voraussetzen, überwiegend aus Nordamerika und Europa. Für deutsche Texte, deutsche Gesetze und Ihre Fachbegriffe gibt es keinen Ersatz für den eigenen Test.
Wann Ihnen die Rangliste hilft
- Ja, für die Vorauswahl. Die Seite führt mehrere hundert Modelle und über 500 Anbieter-Endpunkte, gemessen mit einheitlicher Methode und laufend aktualisiert.
- Eher nein, als alleinige Entscheidungsgrundlage. Wer nach dem ersten Platz kauft, zahlt oft für Fähigkeiten, die er nicht braucht.
- Am besten nutzen Sie beides zusammen. Die Rangliste dient der Auswahl, der eigene Test der Entscheidung, und ein regelmäßiger Blick auf die Seite zeigt, wann ein günstigeres Modell aufschließt.
Grenzen
- Dieser Ratgeber zeigt keine echten Messwerte von Artificial Analysis, sondern erklärt den Aufbau der Seite. Die Zahlen in den Rechenbeispielen sind erfunden.
- Artificial Analysis ändert Index, Kennzahlen und Darstellung häufig. Stand dieser Beschreibung ist der 16. November 2026.
- Zu den Nutzungsrechten widersprechen sich die Bedingungen teilweise. Vor einer Veröffentlichung von Daten oder Grafiken sollten Sie bei Artificial Analysis nachfragen.
Quellen
- Artificial Analysis: Intelligence Benchmarking Methodology, Index v5.0.1, abgerufen am 16. November 2026, artificialanalysis.ai
- Artificial Analysis: Benchmarking Methodology und Performance Benchmarking Methodology, abgerufen am 16. November 2026, artificialanalysis.ai/methodology
- Artificial Analysis: Capability Indexes, abgerufen am 16. November 2026, artificialanalysis.ai
- Artificial Analysis: Endpoint Accuracy Index, abgerufen am 16. November 2026, artificialanalysis.ai
- Artificial Analysis: Modellvergleich, Anbietervergleich und Trends, abgerufen am 16. November 2026, Modelle, Anbieter, Trends
- Artificial Analysis: Mehrsprachige Leistung, Deutsch, abgerufen am 16. November 2026, artificialanalysis.ai
- Artificial Analysis: About, Terms of Use (15. September 2026) und Data Platform Terms v1.1 (19. August 2026), abgerufen am 16. November 2026, About, Terms of Use, Data Platform Terms
- Latent Space: Artificial Analysis, Zusammenfassung des Interviews vom 8. Januar 2026, latent.space
- Balloccu und andere: Leak, Cheat, Repeat, EACL 2024, arxiv.org
- Xu und andere: Benchmark Data Contamination of Large Language Models, 2024, arxiv.org
- Reuel und andere: BetterBench, NeurIPS 2024, arxiv.org
- Singh und andere: Global MMLU, 2024, arxiv.org
- Epoch AI: A Rosetta Stone for AI benchmarks, Dezember 2025, epoch.ai
- Stanford HAI: The 2026 AI Index Report, hai.stanford.edu
Änderungsprotokoll
Aktuelle Version 1.0 · Stand:
- Version 1.0 Erstveröffentlichung am
Häufige Fragen
Ist Artificial Analysis unabhängig?
Artificial Analysis misst über die öffentlichen Schnittstellen der Anbieter, teils mit anonymen Konten, und verbietet Anbietern, Testanfragen bevorzugt zu behandeln. Für die Aufnahme in die Ranglisten zahlt laut Mitgründer niemand. Geld verdient das Unternehmen mit Abonnements für Analysen und mit Benchmarks im Auftrag.
Warum steht dasselbe Modell mehrfach in der Liste?
Zusätze wie „(High)“ oder „(Low)“ stehen für unterschiedliche Einstellungen, wie lange das Modell nachdenken darf. Höhere Stufen erreichen mehr Punkte, kosten aber mehr und brauchen länger. Vergleichen Sie die Stufe, die Sie selbst einsetzen würden.
Zeigt der Intelligence Index, wie gut ein Modell Deutsch kann?
Nein. Der Index besteht überwiegend aus englischsprachigen Tests. Die Leistung auf Deutsch weist Artificial Analysis auf einer eigenen Seite für mehrsprachige Ergebnisse aus. Für Ihre Fachtexte hilft am Ende nur ein eigener Test.
Darf ich die Grafiken in eigenen Präsentationen verwenden?
Das ist nicht eindeutig geregelt. Die Bedingungen für die Datenschnittstelle erlauben die Nutzung innerhalb der eigenen Organisation mit Quellenangabe, die Nutzungsbedingungen der Website geben sie nur für persönliche, nicht kommerzielle Zwecke frei. Fragen Sie vor einer Verwendung in Präsentationen bei Artificial Analysis nach. Das ist keine Rechtsberatung.
Wie oft sollte ich die Ranglisten prüfen?
Für laufende Anwendungen etwa alle drei Monate. Neue Modelle erscheinen im Wochentakt, Preise sinken, und Artificial Analysis passt den Index mehrmals im Jahr an. Vor einem Wechsel testen Sie das neue Modell wieder mit Ihren eigenen Beispielen.