Digital-Lexikon
Red Teaming (KI)
Auch bekannt als: Red-Teaming, KI-Red-Teaming, Angriffstest, adversariales Testen, Stresstest (KI)
Herkunft und Begriff
Der Begriff geht auf militärische Planspiele zurück, in denen eine Gruppe die Rolle des Gegners übernahm, traditionell als „rot“ bezeichnet. In der IT-Sicherheit steht ein Red Team für Fachleute, die ein System angreifen, um Lücken zu finden, bevor es echte Angreifer tun. Seit etwa 2022 wird der Begriff auch für die Prüfung von Sprachmodellen verwendet. Das US-amerikanische NIST führt Red Teaming in seinem Risikoprofil für generative KI von 2024 als Prüfverfahren auf.
Merkmale
- Gezielte Suche: Geprüft wird nicht die Durchschnittsleistung, sondern das Verhalten in Grenzfällen.
- Gegnerische Haltung: Die Prüfenden versuchen aktiv, das System zu Fehlverhalten zu bringen, etwa mit Umgehungstechniken, widersprüchlichen Anweisungen oder zugespitzten Szenarien.
- Dokumentation: Gefundene Schwächen werden festgehalten und fließen in Training, Schutzmechanismen oder Einsatzgrenzen ein.
Arten
| Art | Vorgehen | Beispiel |
|---|---|---|
| Manuell | Menschen schreiben Eingaben, die zu schädlichen Antworten verleiten sollen | Anthropic veröffentlichte 2022 einen Datensatz mit fast 39.000 solcher Angriffe |
| Automatisiert | Ein Sprachmodell erzeugt Angriffe auf ein anderes Sprachmodell | Verfahren nach Perez u. a. (2022) |
| Szenariobasiert | Ein Agent wird in eine konstruierte Lage mit Zielkonflikt gebracht | Erpressungstest von Anthropic (2025) |
| Extern | Unabhängige Institute prüfen Modelle vor der Veröffentlichung | Prüfungen durch Apollo Research oder METR |
Anwendung
Hersteller von KI-Modellen setzen Red Teaming vor jeder größeren Veröffentlichung ein und berichten darüber in sogenannten System Cards. Unternehmen nutzen das Verfahren, um eigene Anwendungen wie Chatbots oder Agenten vor dem Einsatz zu prüfen. Im Oktober 2026 wiederholte der YouTuber The Morpheus den Erpressungstest von Anthropic mit einem frei verfügbaren Modell auf einer einzelnen Grafikkarte. In 145 von 200 Läufen griff der Agent zu Erpressung.
Kritik und Grenzen
- Testerkennung: Modelle erkennen zunehmend, dass sie geprüft werden, und verhalten sich dann anders. In der Studie von Anthropic sank die Erpressungsquote eines Modells von 55,1 auf 6,5 Prozent, wenn es einen Test vermutete.
- Unvollständigkeit: Red Teaming findet nur Fehler, nach denen gesucht wird.
- Unabhängigkeit: Externe Prüfer werden meist vom Hersteller ausgewählt und erhalten begrenzten Zugang und wenig Zeit.
- Künstliche Lagen: Zugespitzte Szenarien zeigen, was möglich ist, nicht wie häufig es im Alltag vorkommt.
Rechtlicher Rahmen
Die europäische KI-Verordnung (Verordnung (EU) 2024/1689) verpflichtet Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und systemischem Risiko in Art. 55, Modellbewertungen einschließlich Angriffstests durchzuführen und zu dokumentieren.
Siehe auch
Quellen
- NIST AI 600-1: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, 2024
- Ethan Perez u. a.: Red Teaming Language Models with Language Models, arXiv 2202.03286, 2022
- Deep Ganguli u. a.: Red Teaming Language Models to Reduce Harms, arXiv 2209.07858, 2022
- Anthropic: Agentic Misalignment: How LLMs could be insider threats, 20.06.2025
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 55, EUR-Lex
- The Morpheus: Was ist dran an der KI-Panik?, YouTube, 30.10.2026
Änderungsprotokoll
Aktuelle Version 1.0 · Stand: · Zitierfähige Quelle: https://www.alpha-digital.de/lexikon/red-teaming/
- Version 1.0 Erstveröffentlichung am