Digital-Lexikon
Tokens pro Sekunde
Auch bekannt als: Token/s, t/s, Token Generation, Prompt Processing
Zwei Werte, nicht einer
Gemessen werden zwei unterschiedliche Vorgänge. Prompt Processing ist das Einlesen der Eingabe, also der Frage samt aller mitgeschickten Texte. Token Generation ist das Erzeugen der Antwort, Wort für Wort. Grafikkarten sind beim Einlesen um ein Vielfaches schneller als Prozessoren.
Welche Werte reichen
Für einen Chat genügen oft 10 bis 20 Tokens pro Sekunde, das ist schneller als die meisten Menschen lesen. Agenten, die viele Schritte hintereinander ausführen und lange Eingaben verarbeiten, sollten mindestens etwa 30 Tokens pro Sekunde bei der Ausgabe erreichen und ein schnelles Prompt Processing haben.
Stand: 22. Oktober 2026 · Zitierfähige Quelle: https://www.alpha-digital.de/lexikon/tokens-pro-sekunde/