prompt injections.de
Werkzeug

promptfoo

promptfoo ist eine quelloffene CLI und Bibliothek für automatisierte LLM-Evals, Red-Teaming und Schwachstellenprüfungen von Prompts, Agenten und RAG-Anwendungen.1 Das Projekt arbeitet mit deklarativen Testkonfigurationen, Modell- und Provider-Anbindungen sowie einer Plugin-Architektur für unterschiedliche Risikoklassen.2 Im März 2026 kündigte Promptfoo an, von OpenAI übernommen werden zu sollen; zugleich erklärte das Unternehmen, die Open-Source-Suite weiterzuführen und unter MIT-Lizenz zu belassen.3

Funktionsweise

Red-Team-Plugins erzeugen adversariale Testfälle für definierte Schwächen und lassen sie gegen ein Zielsystem ausführen; anschließend werden Antworten mit Gradern und Richtlinien ausgewertet.2 Die offizielle Plugin-Dokumentation weist im August 2026 157 Plugins in sechs Kategorien aus: Brand, Compliance und Recht, Datensätze, Security und Access Control, Trust and Safety sowie Custom.2 Inhaltlich reichen die Prüfungen von Prompt Injection und RAG-Dokumentenabfluss über unsichere Tool- und Zugriffskontrolle bis zu Halluzination, Datenschutz, Diskriminierung und branchenspezifischen Compliance-Fragen.2

Promptfoo ordnet Plugins außerdem Rahmenwerken wie dem NIST AI Risk Management Framework, OWASP Top 10 für LLMs und APIs, MITRE ATLAS, ISO/IEC 42001, DSGVO und EU AI Act zu.2 Für Red-Teaming können Teams Ziele, Plugin-Auswahl, Strategien und Auswertung lokal in YAML konfigurieren; die CLI lässt sich in CI/CD einbinden und unterstützt viele Modellprovider.1 Der aktuelle Release ist 0.122.0, veröffentlicht am 4. August 2026; diese Version beendet die Unterstützung für Node.js 20 und enthält mehrere Abhängigkeits- und Sicherheitskorrekturen.4

Einsatz in der Praxis

Für defensive Entwicklungsprozesse liegt der Mehrwert in wiederholbaren Regressionstests: Eine Änderung an Systemprompt, Modell, Retrieval, Tool-Schema oder Agentenlogik kann dieselbe Testmenge erneut durchlaufen. Ergebnisse sollten nach Risikoklasse, Reproduzierbarkeit, betroffener Funktion und möglicher Auswirkung priorisiert werden. Die Tests sind keine Freigabeautomatik; ein niedriger Trefferwert ist nur im Verhältnis zu Testumfang, Zielbeschreibung, Graderqualität und Schutzmaßnahmen aussagekräftig.

Die kommerzielle Enterprise-Variante ergänzt den lokalen Kern um gemeinsam verwaltete Ziele, Plugin-Sammlungen und Scan-Konfigurationen.5 Enterprise-Scans können Ergebnisse in die Plattform hochladen und benötigen Zugriff auf *.promptfoo.app; zugleich bleibt der lokale Import und die lokale Ausführung von YAML-Konfigurationen möglich.5 Damit entsteht eine klare Trennung zwischen frei nutzbarem Open-Source-Kern und einer Cloud-/Enterprise-Schicht für Teamverwaltung und zentrale Auswertung.

Grenzen

157 Plugins bedeuten keine vollständige Abdeckung. Die Liste ist eine Sammlung von Prüfstrategien, nicht ein Beweis gegen unbekannte oder kontextabhängige Fehler. Gerade Agentenrisiken hängen an Berechtigungen, Tool-Auswirkungen, Netzwerkzugriffen und Datenflüssen, die ein sprachlicher Test allein nur indirekt bewertet. Außerdem können generative Grader selbst falsch positiv oder falsch negativ urteilen; kritische Befunde brauchen deshalb manuelle Prüfung und möglichst einen deterministischen Reproduktionsfall. Bei Cloud-Funktionen müssen Organisationen zusätzlich Datenübermittlung, Aufbewahrung und Zugriffsrechte prüfen.

Lizenz und Bezug

Das Repository und der beschriebene Open-Source-Kern stehen unter der MIT-Lizenz.1 Die Lizenz erlaubt die Nutzung, Bearbeitung und Weitergabe unter den dort genannten Urheberrechts- und Haftungshinweisen; Enterprise-Funktionen und Plattformdienste sind davon getrennt zu betrachten.5 Historisch meldete Promptfoo im Juli 2025 eine Series-A-Finanzierung von 18,4 Millionen US-Dollar durch Insight Partners unter Beteiligung von Andreessen Horowitz.6 Im März 2026 folgte die Mitteilung über die geplante OpenAI-Übernahme; da die Mitteilung den Vollzug noch von üblichen Abschlussbedingungen abhängig machte, sollte redaktionell zwischen angekündigter Übernahme und bestätigtem Closing unterschieden werden.3

Interne Einordnung: Techniken und garak.

Quellen

  1. Promptfoo, „promptfoo/promptfoo“, laufend aktualisiert, https://github.com/promptfoo/promptfoo ↩
  2. Promptfoo, „Red Team Plugins“, laufend aktualisiert, https://www.promptfoo.dev/docs/red-team/plugins/ ↩
  3. Ian Webster und Michael D’Angelo, „Promptfoo is joining OpenAI“, 09.03.2026, https://www.promptfoo.dev/blog/promptfoo-joining-openai/ ↩
  4. Promptfoo, „0.122.0“, 04.08.2026, https://github.com/promptfoo/promptfoo/releases ↩
  5. Promptfoo, „Running Red Teams in Promptfoo Enterprise“, zuletzt aktualisiert 20.08.2026, https://www.promptfoo.dev/docs/enterprise/red-teams/ ↩
  6. Ian Webster und Michael D’Angelo, „Promptfoo Raises $18.4M Series A to Build the Definitive AI Security Stack“, 29.07.2025, https://www.promptfoo.dev/blog/series-a-announcement/ ↩

Im Zusammenhang