prompt injections.de
Glossar

Angriffserfolgsquote (ASR)

Die Angriffserfolgsquote, meist Attack Success Rate oder ASR, bezeichnet den Anteil der Angriffsversuche, die ein vorher definiertes Ziel erreichen. In einer Jailbreak-Evaluierung ist sie das Verhältnis erfolgreicher Jailbreak-Anfragen zur Gesamtzahl der getesteten Anfragen.1 Der Wert wirkt einfach, ist aber nur aussagekräftig, wenn Ziel, Testsatz, Modellstand und Bewertungsregel mit angegeben werden.

Einordnung

ASR ist keine universelle Eigenschaft eines Angriffs oder eines Modells. Sie entsteht aus einem Versuchsanordnung: Welche Anfragen wurden gestellt? Was zählt als Erfolg? Wie viele Varianten oder Wiederholungen waren zugelassen? Wurde die Ausgabe von Menschen, einem Regelwerk oder einem weiteren Modell bewertet? Verändert sich eine dieser Variablen, kann sich auch die Quote ändern, ohne dass die zugrunde liegende Schutzmaßnahme identisch schlechter oder besser geworden sein muss.

Der Begriff gehört in die Sicherheitsmessung, nicht in die Produktwerbung. Eine niedrige ASR kann eine robuste Abwehr anzeigen, aber auch aus einem engen Testsatz, strengen Erfolgskriterien oder unvollständiger Bewertung resultieren. Umgekehrt kann eine hohe ASR eine reale Schwäche zeigen, deren Umfang von der getesteten Zielklasse abhängt. Für Red Teaming ist ASR deshalb eine zentrale Ergebnisgröße, aber nie der einzige Befund.

Dokumentiertes Beispiel

JailbreakRadar verwendet ASR ausdrücklich als Evaluierungsmetrik und definiert sie als Quote erfolgreicher Jailbreak-Anfragen.1 Die Definition macht sichtbar, dass jeder ASR-Wert eine Entscheidung darüber voraussetzt, was eine „erfolgreiche“ Antwort ist. Schon die Auswahl der Anfragen und die Bewertung der Modellantworten sind somit Teil der Messung, nicht bloß technische Nebendetails.

Die Analyse JailbreakEval dokumentiert, dass es keinen Konsens darüber gibt, wie Jailbreaks zu bewerten sind. Die Autoren untersuchten nahezu 90 Arbeiten aus dem Zeitraum Mai 2023 bis April 2024 und beschreiben unterschiedliche Verfahren zur Schädlichkeitsbewertung von Modellantworten; diese Vielfalt erschwert den Vergleich von Angriffen und Abwehren.2 Daraus folgt keine Unmöglichkeit von Vergleichen, aber eine klare Dokumentationspflicht.

Bedeutung für die Abwehr

Für Betreiber ist der Vorher-Nachher-Vergleich am eigenen System meist belastbarer als eine isolierte Spitzenzahl aus einer fremden Studie. Der Testsatz, die Modell- und Promptversion, das Werkzeugprofil sowie die Erfolgsdefinition sollten eingefroren und protokolliert werden. Erst dann zeigt eine veränderte ASR, ob ein Schutzupdate im gleichen Szenario tatsächlich wirksam war. Ergänzend gehören Fehlalarme, Funktionsverlust und Folgen eines erfolgreichen Durchbruchs in die Bewertung; eine Quote allein bildet das Gesamtrisiko nicht ab.

Quellen

  1. Junjie Chu et al., „JailbreakRadar: Comprehensive Assessment of Jailbreak Attacks Against LLMs“, Version 3, 26. Mai 2025, https://arxiv.org/html/2402.05668v3 ↩
  2. Delong Ran et al., „JailbreakEval: An Integrated Toolkit for Evaluating Jailbreak Attempts Against Large Language Models“, 4. Februar 2025, https://arxiv.org/abs/2406.09321 ↩

Im Zusammenhang