prompt injections.de
Glossar

NIST AI Risk Management Framework

Das NIST AI Risk Management Framework (AI RMF) ist ein freiwilliges, sektorübergreifendes Rahmenwerk des US-amerikanischen National Institute of Standards and Technology für den Umgang mit Risiken von KI-Systemen. Sein Kern ordnet Risikomanagement in die Funktionen Govern, Map, Measure und Manage; Govern ist dabei als querschnittliche Funktion über den übrigen drei angelegt.1

Einordnung

Für Prompt Injection ist das AI RMF keine technische Gegenmaßnahme und kein Zertifikat dafür, dass ein System sicher ist. Es beantwortet vielmehr, wie ein Betreiber Risiken in einem konkreten Nutzungskontext beschreibt, Zuständigkeiten zuweist, Messungen auswählt und über Restrisiken entscheidet. Das ist wichtig, weil derselbe Modellfehler in einem reinen Textassistenten und in einem Agenten mit Zugriff auf Daten oder Werkzeuge sehr unterschiedliche Folgen haben kann. Das Rahmenwerk schreibt weder bestimmte Filter noch eine allgemeingültige Risikoschwelle vor; NIST betont ausdrücklich, dass Risikotoleranz kontextabhängig ist und vom jeweiligen Akteur festgelegt werden muss.1

Praktisch lässt sich eine Injektionsgefahr unter Map als Szenario aus Datenquellen, Systemgrenzen, Berechtigungen und möglichen Auswirkungen erfassen. Unter Measure gehören dokumentierte Tests und aussagekräftige Kennzahlen, etwa die Quote nicht aufgabentreuer Antworten oder abgewiesener risikoreicher Werkzeugaufrufe. Manage betrifft anschließend die priorisierte Behandlung: etwa Einschränkung von Berechtigungen, Änderungen an Datenflüssen oder die festgelegte Aussetzung einer Funktion. Govern sorgt dafür, dass diese Entscheidungen nachvollziehbar verantwortet werden, statt nur in einer Modellkonfiguration zu stehen.

Dokumentiertes Beispiel

Das im Juli 2024 veröffentlichte Generative-AI-Profil setzt den AI RMF für generative KI fort. Es beschreibt sich als begleitende, sektorübergreifende Ressource und ordnet neuartige oder durch generative KI verschärfte Risiken den vier Funktionen zu.2 Das Profil nennt unter anderem Risiken aus Ein- und Ausgaben sowie Informationssicherheit und schlägt konkrete Risikomanagementhandlungen vor; es ist damit ein belastbarer Anknüpfungspunkt, um Befunde aus Red Teaming nicht isoliert, sondern im bestehenden Steuerungsprozess zu behandeln.2

Bedeutung für die Abwehr

Der Nutzen des AI RMF liegt in der Entscheidungs- und Nachweisstruktur. Betreiber sollten für jede relevante KI-Anwendung eine verantwortliche Stelle, den geprüften Geltungsbereich, eine wiederholbare Messmethode und eine vorab bestimmte Reaktion auf Grenzwertverletzungen festhalten. Ein Ergebnis wie „Prompt-Injection-Test fehlgeschlagen“ ist ohne Kontext nicht steuerbar; erst die Verknüpfung mit Datenzugriffen, Geschäftsfunktion, Messgrenze und Abhilfemaßnahme macht es zu einem Risikoartefakt. Das ersetzt keine technischen Schutzschichten, verhindert aber, dass deren Wirksamkeit, Restunsicherheit und Zuständigkeit ungeprüft bleiben.

Quellen

  1. National Institute of Standards and Technology, „Artificial Intelligence Risk Management Framework (AI RMF 1.0)“, Januar 2023, https://doi.org/10.6028/NIST.AI.100-1. ↩
  2. National Institute of Standards and Technology, „Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile“, Juli 2024, https://doi.org/10.6028/NIST.AI.600-1. ↩

Im Zusammenhang