prompt injections.de
Glossar

EU-KI-Verordnung (AI Act)

Die EU-KI-Verordnung ist die Verordnung (EU) 2024/1689 über harmonisierte Regeln für künstliche Intelligenz, meist AI Act genannt. Sie reguliert nicht jede KI-Anwendung gleich, sondern ordnet Pflichten nach Risiko, Rolle in der Wertschöpfungskette und Systemart zu; für Hochrisiko-KI gelten besondere Anforderungen, für Anbieter von Modellen mit allgemeinem Verwendungszweck (GPAI) eigene Regeln.1

Einordnung

Prompt Injection ist im AI Act kein eigener Tatbestand. Für die Sicherheit von Hochrisiko-KI ist sie dennoch relevant, weil Artikel 15 während des gesamten Lebenszyklus ein angemessenes Niveau an Genauigkeit, Robustheit und Cybersicherheit verlangt. Der Artikel nennt als geeignetenfalls zu berücksichtigende technische Maßnahmen ausdrücklich Angriffe auf Trainingsdaten und vortrainierte Komponenten, adversariale Eingaben, Vertraulichkeitsangriffe und Modellschwächen.2 Daraus folgt nicht, dass jede Injektion automatisch einen Verstoß begründet oder jeder Chatbot ein Hochrisiko-System ist. Entscheidend bleiben die gesetzliche Einstufung und der konkrete Einsatzkontext.

Für GPAI-Modelle gelten die Verordnungspflichten seit dem 2. August 2025; bei GPAI-Modellen mit systemischem Risiko sind Risiken zu bewerten und zu mindern.3 Die seit August 2026 geltenden Transparenzregeln ändern daran nichts: Transparenzpflichten und Cybersicherheitsanforderungen sind unterschiedliche Regelungsebenen. Für die in Anhang III genannten Hochrisiko-Anwendungsfälle ist nach dem derzeitigen, durch den Digital Omnibus geänderten Zeitplan der Anwendungsbeginn auf den 2. Dezember 2027 verschoben; für in regulierte Produkte eingebettete Hochrisiko-KI auf den 2. August 2028.3

Dokumentiertes Beispiel

Artikel 15 Absatz 5 liefert das unmittelbarste dokumentierte Beispiel für die Verbindung von KI-Robustheit und manipulativen Eingaben. Er verlangt Widerstandsfähigkeit gegen Versuche unbefugter Dritter, Nutzung, Ausgaben oder Leistung durch Ausnutzung von Schwachstellen zu verändern, und benennt „inputs designed to cause the AI model to make a mistake“ als adversariale Beispiele.2 Das ist keine spezielle Prompt-Injection-Norm, aber ein verbindlicher Rechtsanker für die Bewertung entsprechender Bedrohungsszenarien bei erfassten Hochrisiko-Systemen.

Bedeutung für die Abwehr

Für die Abwehr ist der AI Act vor allem ein Nachweisrahmen. Soweit ein System in den Anwendungsbereich der einschlägigen Pflichten fällt, sollten Betreiber das relevante Szenario, die Schutzmaßnahme, die Testmethode und deren Ergebnis so dokumentieren, dass Robustheit und Cybersicherheit nachvollziehbar werden. Sinnvoll ist dabei eine klare Trennung zwischen dem Modellrisiko, der Anwendung mit ihren Datenquellen und den Folgen einer ausgelösten Aktion. OWASP LLM01 oder das NIST AI RMF können technische und organisatorische Referenzen liefern; sie ersetzen jedoch weder die rechtliche Einordnung noch die gesetzlich verlangte Konformitätsarbeit.

Quellen

  1. Europäisches Parlament und Rat der Europäischen Union, „Verordnung (EU) 2024/1689 über harmonisierte Vorschriften für künstliche Intelligenz“, 13. Juni 2024, https://eur-lex.europa.eu/eli/reg/2024/1689/oj. ↩
  2. Europäische Kommission, „Article 15: Accuracy, robustness and cybersecurity“, o. D., https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-15. ↩
  3. Europäische Kommission, „AI Act“, aktualisiert am 3. August 2026, https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai. ↩

Im Zusammenhang