prompt injections.de
Werkzeug

garak

garak, das „Generative AI Red-teaming & Assessment Kit“, ist ein quelloffener Scanner von NVIDIA zur systematischen Suche nach Schwachstellen in Sprachmodellen und Dialogsystemen.1 Das Werkzeug erzeugt Prüfinteraktionen für unter anderem Prompt Injection, Datenabfluss, Jailbreaks, Halluzinationen, Toxizität und Desinformation und bewertet die Antworten anschließend mit Detektoren.1 Es ist damit primär ein Test- und Entdeckungswerkzeug, keine Laufzeit-Policy, die Produktionsanfragen automatisch blockiert.2

Funktionsweise

Die Architektur trennt vier Plugin-Typen: Generatoren abstrahieren den Zugriff auf das Zielmodell, Probes versuchen systematisch, einen bestimmten Fehlerzustand auszulösen, Detektoren erkennen diesen Zustand in der Antwort, und Buffs verändern oder erweitern Prüfabläufe.2 Die Auswahl erfolgt über CLI-Optionen oder seit Version 0.16 über eine einheitliche Spec-Syntax, mit der Module, Klassen, Tags und Ausschlüsse kombiniert werden können.3 Berichte enthalten unter anderem Probe-Ergebnisse und Trefferquoten; die CLI unterstützt außerdem parallele Anfragen, Konfidenzintervalle und die Auflistung von Probes, Detektoren und Generatoren.3

Der Release-Stand im August 2026 ist zweigeteilt zu lesen: GitHub führt v0.16.0 als am 4. August 2026 veröffentlichte aktuelle stabile Version,4 während die generierte CLI-Dokumentation am selben Tag v0.16.1.pre1 ausweist.3 Version 0.16.0 brachte unter anderem Technik- und Intent-Annotationen, einen ersten Intent-Probe-Ansatz, eine adaptive-Angriffe-Probe sowie einen nativen Anthropic-Generator; zugleich änderten sich Konfigurations- und Reportstrukturen.4

Die Repository-Struktur enthält zahlreiche Python-Module in den Verzeichnissen probes, detectors und generators; statt einer redaktionell ungesicherten Gesamtzahl ist die modulare Struktur entscheidend.5 Die offizielle Projektseite nennt Anbindungen an Hugging Face, Replicate, OpenAI, AWS Bedrock, LiteLLM, REST-Endpunkte, GGUF beziehungsweise llama.cpp und weitere Schnittstellen.1 Damit kann garak sowohl lokale als auch entfernte Modelle untersuchen, sofern die jeweilige Anbindung und deren Zugangsdaten korrekt eingerichtet sind.1

Einsatz in der Praxis

Sinnvoll ist garak als reproduzierbarer Baustein in der Vorabprüfung eines Modells, bei Modell- oder Promptwechseln und in einer kontinuierlichen Testpipeline. Teams wählen zunächst für ihre Anwendung relevante Probe-Familien, definieren einen geeigneten Generator und dokumentieren Modellversion, Parameter, Datenquelle und Auswertung. Die Resultate sollten als Risikosignale behandelt werden: Ein FAIL zeigt, dass eine Prüfbedingung ausgelöst wurde, nicht automatisch eine ausnutzbare Schwachstelle mit identischer Bedeutung im Zielsystem.1

Grenzen

Das Paper beschreibt garak ausdrücklich als empirisches Werkzeug für Exploration und Entdeckung. Sicherheitsbedeutung ist kontextabhängig; ein einheitliches Guardrail- oder Benchmark-Ergebnis kann diese Kontextabhängigkeit nicht auflösen.2 Probes erzeugen Antworten, Detektoren klassifizieren sie nach implementierten Kriterien, und beide Komponenten können veralten, Fehlalarme produzieren oder neue Angriffsmuster verfehlen. Die Tests sind zudem potenziell kosten- und zeitintensiv, sobald entfernte Modelle, viele Generierungen oder adaptive Verfahren eingesetzt werden. Eine garak-Messung ersetzt daher weder Code- und Berechtigungsprüfungen noch eine Bewertung der tatsächlichen Agenten- und Tool-Kette.

Lizenz und Bezug

Das Repository steht unter der Apache License 2.0 und wird als kostenloses Open-Source-Werkzeug veröffentlicht.1 Die Lizenz erlaubt Nutzung, Veränderung und Weitergabe unter den dort genannten Bedingungen; für eingebundene Daten, Modelle oder externe Dienste können zusätzliche Lizenzen und Kosten gelten. Bezug erfolgt über PyPI oder das GitHub-Repository; für produktive Red-Teams sind isolierte Umgebungen, kontrollierte Testziele und eine Protokollierung der verwendeten Versionen angezeigt.1

Interne Einordnung: Schutzmaßnahmen und Promptfoo.

Quellen

  1. NVIDIA, „NVIDIA/garak: the LLM vulnerability scanner“, laufend aktualisiert, https://github.com/NVIDIA/garak ↩
  2. Leon Derczynski et al., „garak: A Framework for Security Probing Large Language Models“, arXiv, 16.06.2024, https://arxiv.org/html/2406.11036v1 ↩
  3. garak Project, „CLI reference for garak“, 04.08.2026, https://reference.garak.ai/en/latest/cliref.html ↩
  4. NVIDIA garak, „v0.16.0“, 04.08.2026, https://github.com/NVIDIA/garak/releases ↩
  5. NVIDIA, „garak repository API: probes, detectors and generators“, laufend aktualisiert, https://api.github.com/repos/NVIDIA/garak/contents/garak/probes?ref=main ↩

Im Zusammenhang