prompt injections.de
OWASP LLM Top 10

Fehlinformation (LLM07)

LLM07 bezeichnet falsche oder irreführende Modellantworten, die glaubwürdig wirken und deshalb in Entscheidungen oder Folgesystemen als zutreffend behandelt werden können.1 Halluzinationen sind dabei ein zentraler, aber nicht der einzige Auslöser: OWASP verweist auch auf Verzerrungen aus Trainingsdaten und unvollständige Informationen.1 Das Sicherheitsrisiko entsteht insbesondere dann, wenn Menschen oder automatisierte Prozesse überzeugende Sprache mit belegter Richtigkeit verwechseln.1

Worum es geht

Ein Sprachmodell erzeugt keine Wahrheit im fachlichen oder rechtlichen Sinn, sondern Ausgaben anhand gelernter Muster und des jeweiligen Kontexts. OWASP warnt deshalb vor Sicherheitsvorfällen, Reputationsschäden und Haftungsrisiken, wenn falsche oder irreführende Ausgaben in Anwendungen übernommen werden.1 OpenAI beschreibt Halluzinationen als plausibel formulierte, aber falsche Aussagen und führt unter anderem Bewertungsanreize an, die Raten stärker belohnen können als das angemessene Eingestehen von Unsicherheit.2 Diese Erklärung ist eine Herstellerveröffentlichung; sie liefert keinen Nachweis, dass ein einzelnes Bewertungsverfahren Halluzinationen vollständig beseitigt.2

Fehlinformation ist damit nicht nur ein Modell-, sondern auch ein Prozessproblem. OWASP bezeichnet übermäßiges Vertrauen in Modellinhalte als „overreliance“ und hebt hervor, dass sich der Schaden verschärft, wenn Ausgaben ohne unabhängige Prüfung in kritische Entscheidungen oder Abläufe eingehen.1 Das BSI ordnet generative KI generell als Technologie ein, die neue IT-Sicherheitsrisiken schaffen und bekannte Bedrohungen verstärken kann; für Unternehmen und Behörden empfiehlt es eine systematische Risikoanalyse.3 In hochsensiblen Domänen folgt daraus keine automatische Unzulässigkeit von LLMs, wohl aber ein besonderer Bedarf an fachlicher Zuständigkeit, Nachvollziehbarkeit und Eskalation.1

Typische Ausprägungen

Erfundene Quellen, Urteile und Tatsachen sind die sichtbarste Form. Im Fall Mata v. Avianca verhängte ein US-Bundesgericht 2023 Sanktionen, nachdem gefälschte Entscheidungen und fälschlich benannte Richter in einem Schriftsatz eingereicht worden waren; die gerichtliche Anordnung umfasst unter anderem eine gesamtschuldnerische Geldstrafe von 5.000 US-Dollar.4 Der Fall belegt nicht, dass ein LLM eigenständig rechtlich handelt. Er zeigt vielmehr, welche Folgen entstehen können, wenn Menschen nicht verifizierte, überzeugend formulierte Angaben in einen folgenreichen Fachprozess übertragen.4

Im Softwarekontext können Modellantworten zudem Paketnamen oder Abhängigkeiten erfinden. Eine USENIX-Security-Studie von 2025 untersuchte 576.000 Codebeispiele aus zwei Programmiersprachen und 16 Code-LLMs; sie berichtete in ihrer Stichprobe einen durchschnittlichen Anteil halluzinierter Pakete von mindestens 5,2 Prozent bei kommerziellen sowie 21,7 Prozent bei Open-Source-Modellen.5 Die Werte sind keine universelle Fehlerquote, machen aber ein realistisches Prüfproblem sichtbar: Wird eine nicht existierende Empfehlung ungeprüft als Abhängigkeit gesucht oder übernommen, kann daraus ein zusätzlicher Angriffspfad in der Software-Lieferkette entstehen.5

Bezug zu Prompt Injection

Prompt Injection und Fehlinformation können einander verstärken, sind aber verschiedene Risikoklassen. Eine Injection kann Kontext oder Prioritäten einer einzelnen Antwort manipulieren; LLM07 erfasst auch Fehlinformation ohne aktiven Angreifer, etwa eine Halluzination aus unvollständigem Wissen oder eine nicht passende Antwort im falschen fachlichen Kontext.1 OWASP nennt als Beispiel gerade eine medizinische Chatbot-Anwendung mit unzureichender Genauigkeit, bei der der Schaden nicht zwingend eine aktive Angreiferin oder einen aktiven Angreifer voraussetzt.1 Die Sicherheitsarchitektur muss daher sowohl Eingabemanipulation verhindern als auch die inhaltliche Verlässlichkeit von Ausgaben begrenzen.1

Gegenmaßnahmen

Die zentrale Kontrolle ist Quellenbindung statt bloßer Sprachplausibilität. OWASP empfiehlt Retrieval-Augmented Generation mit relevanten, verifizierten Quellen, Cross-Checks gegen vertrauenswürdige Informationen und menschliche Aufsicht für kritische Inhalte.1 RAG ist jedoch keine Wahrheitsgarantie: Die ausgewählten Dokumente können veraltet, unvollständig oder selbst fehlerhaft sein, und die Modellantwort muss weiterhin gegen die Fundstelle geprüft werden.1 In einer Anwendung sollte daher sichtbar sein, welche Quelle eine Aussage stützt, ob die Quelle tatsächlich passt und wo keine belastbare Grundlage vorliegt.

Für operative Prozesse braucht es abgestufte Freigaben. OWASP empfiehlt automatische Validierung wichtiger Ausgaben, sichere Entwicklungspraktiken, Schulung sowie eine Oberflächengestaltung, die KI-Inhalte und deren Zuverlässigkeitsgrenzen klar kommuniziert.1 Im Code-Kontext gehören Paketauflösung gegen offizielle Register, Dependency-Scanning und menschliche Review in den Build-Prozess; die USENIX-Studie zeigt, dass Minderungsmaßnahmen Halluzinationen im untersuchten Aufbau deutlich senkten, jedoch keine universelle Fehlerfreiheit belegt wurde.5 Für Beratung, Recht, Medizin und Finanzen sollten außerdem klar definierte Fälle existieren, in denen das System nur auf belegte Informationen verweist oder an fachlich verantwortliche Personen übergibt. Das verbindet technische Schutz-Kontrollen mit einer nachvollziehbaren Entscheidungskette, statt Zuverlässigkeit lediglich zu behaupten.1

Quellen

  1. OWASP GenAI Security Project, „LLM07:2026 Misinformation“, 3. August 2026, https://genai.owasp.org/resource/owasp-genai-llm-top-10-2026/ ↩
  2. OpenAI, „Why language models hallucinate“, 5. September 2025, https://openai.com/index/why-language-models-hallucinate/ ↩
  3. Bundesamt für Sicherheit in der Informationstechnik, „Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden“, 21. Januar 2025, https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Generative_KI-Modelle.html ↩
  4. United States District Court, Southern District of New York, „Mata v. Avianca, Inc., Opinion and Order on Sanctions“, 22. Juni 2023, https://law.justia.com/cases/federal/district-courts/new-york/nysdce/1:2022cv01461/575368/54/ ↩
  5. Joseph Spracklen et al., „We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs“, USENIX Security 2025, 2025, https://www.usenix.org/conference/usenixsecurity25/presentation/spracklen ↩

Im Zusammenhang