prompt injections.de
Werkzeug

Giskard

Giskard ist ein quelloffenes Test- und Evaluierungsprojekt für KI-Systeme; sein aktueller Schwerpunkt liegt auf dynamischen, mehrturnigen Tests von KI-Agenten und dem Beta-Paket giskard-scan.1 Das Repository führt v3.0.0rc1 als jüngsten Release, während Giskard die v3-Linie weiterhin ausdrücklich als Pre-release/Beta auf dem Weg zu stabilem 3.0.0 beschreibt.12 Diese Differenz ist für Beschaffung und CI-Integration wesentlich: Release Candidate bedeutet hier nicht automatisch eine stabile, langfristig kompatible API.12

Funktionsweise

Giskard Scan erzeugt aus einer natürlichsprachigen Beschreibung des Zielagenten feindliche Testszenarien, führt sie als einzelne Interaktion oder Gespräch aus und lässt ein zweites LLM die Antworten bewerten.3 Die aktuelle Dokumentation ordnet sieben Generatoren OWASP-LLM-Top-10- und Giskard-Kategorien zu; darunter sind versteckte Instruktionen in realistisch wirkendem Inhalt, direkte adversarielle Anfragen sowie ein- und mehrturnige Testformen.3 Für Prompt Injection prüft der Scanner damit nicht bloß ein Schlüsselwortmuster, sondern ob der Agent einer eingebetteten Anweisung statt seiner ursprünglichen Aufgabe folgt.3

Die v3-Architektur wurde von einem monolithischen v2-Ansatz auf getrennte Pakete umgestellt: giskard-checks liefert kombinierbare Prüfungen und Szenarien, giskard-agents unterstützt Agentenworkflows mit Tool Calls.2 Ein Szenario ist eine geordnete Folge aus Interaktionen und Checks; die Ausführung endet beim ersten fehlgeschlagenen Check.2 Das erlaubt wiederholbare Regressionstests, sofern Teams ihre Zielbeschreibung, eigene Anforderungen und die Ergebnisinterpretation versionieren.23

Einsatz in der Praxis

Die Doku beschreibt Integrationen über das Python-SDK für OpenAI, Anthropic, Gemini und generische Provider sowie die Ausführung derselben Test-Suiten in CI/CD.3 Für Szenarioerzeugung und Bewertung erhält der jeweils gewählte LLM-Anbieter die Agentbeschreibung und den Nachrichtenwechsel; Quellcode, Secrets oder Tools werden nach Herstellerangabe nur sichtbar, wenn sie in dieser Beschreibung oder Konversation enthalten sind.3 Das ist eine relevante Datenschutz- und Beschaffungsentscheidung, nicht nur eine Implementierungsfrage.

Vor einem Produktivgang kann Giskard Scan daher eine breite, reproduzierbare Erstprüfung unterstützen und fehlgeschlagene Szenarien als Testfälle konservieren. Für tieferes Spezial-Red-Teaming kann es mit Werkzeugen wie /tools/garak/ und anwendungsspezifischen Prüfungen kombiniert werden.3 Der Mehrwert liegt in der Verbindung aus Szenarioerzeugung, Ausführung und Test-Regression; eine automatische Zertifizierung leitet sich daraus nicht ab.3

Grenzen

Giskard formuliert die Kernbegrenzung selbst: Ein sauberer Scanlauf sei kein Zertifikat. Der Scan ziehe nur Stichproben von Angriffen, der LLM-Judge könne falschliegen, und ein nicht erfolgreicher Versuch belege nur das Scheitern genau dieses geprüften Angriffs.3 Das ist besonders bei anpassbaren, mehrturnigen Agenten relevant, deren Risikoprofil von Tools, Daten, Zuständen und Geschäftslogik abhängt.3

Auch der Versionswechsel begrenzt Übertragbarkeit. Giskard v2 wird laut aktuellem Repository nicht mehr aktiv gepflegt; der Wechsel zu v3 entfernte die v2 Public API und ersetzte sie durch die neue Paketstruktur.1 Die unabhängige Vergleichsstudie von Brokman und Kollegen analysierte daher einen älteren Giskard-Stand, in dem Angreifer- und Evaluator-LLMs auf GPT-Familien beschränkt waren und tiefere Anpassungen teils Codeänderungen erforderten.4 Diese historischen Befunde sind nicht als Urteil über v3 zu lesen, belegen aber, dass Scannerergebnisse von Evaluatorwahl und Testarchitektur abhängen.4

Lizenz und Bezug

Das Open-Source-Repository von Giskard steht unter Apache-2.0-Lizenz.1 Der Code ist damit getrennt vom kommerziellen Giskard Hub zu betrachten, den Giskard als Enterprise-Plattform für kollaboratives Red-Teaming, Versionskontrolle und kontinuierliches Monitoring beschreibt.2 Die geprüften Open-Source-Quellen nennen für Hub keinen verbindlichen öffentlichen Preis; eine Lizenzanalyse darf daher nicht mit einer Kostenannahme für den Hosted-Service verwechselt werden.12 Die relevante Produktnachricht ist der v3-Neubau samt Beta-Status und die Ausphasung der aktiv gepflegten v2-Linie, nicht eine Einstellung des OSS-Projekts.12

Quellen

  1. Giskard, „giskard-oss“, abgerufen am 20.08.2026, https://github.com/Giskard-AI/giskard-oss ↩
  2. Kevin Messiaen und David Berenstein, „Announcing Giskard OSS v3: Our Eval and Red Teaming Library, Rebuilt for the Agentic Era“, 02.04.2026, https://www.giskard.ai/knowledge/announcing-giskard-open-source-v3 ↩
  3. Giskard, „Scan Vulnerabilities“, 13.07.2026, https://docs.giskard.ai/oss/solutions/scan-vulnerabilities ↩
  4. Jonathan Brokman, Omer Hofman, Oren Rachmil et al., „Insights and Current Gaps in Open-Source LLM Vulnerability Scanners: A Comparative Analysis“, 2024/2025, https://arxiv.org/html/2410.16527v1 ↩

Im Zusammenhang