News zur LLM-Sicherheit
Der Nachrichten-Layer des Portals berichtet über neue Forschungsergebnisse, Advisories und Vorfälle rund um Prompt Injection. Jeder Beitrag verweist auf den Evergreen-Bestand — auf die betroffene Technik, den Angriffsvektor und die passende Schutzmaßnahme.
Die Beiträge sind wie der übrige Bestand quellengebunden: Jede Sachaussage nennt ihre Primärquelle in den Fußnoten. Belegte Zwischenfälle mit Zeitpunkt, Wirkung und Behebungsstand stehen zusätzlich in der Chronik der dokumentierten Vorfälle.
Beiträge 17
-
Am Kontextfenster vorbei: Tool-Updates, AGENTS.md und Werkzeuge mit zu viel Reichweite
Manipulierte Tool-Updates, eine AGENTS.md aus dem Browser, eine ungepatchte Lücke in crewai-tools und eine Sandbox ohne Grenzen: Was die Befunde vom Oktober 2026 für Betreiber von KI-Agenten bedeuten.
-
Null Prozent ist kein Schutzversprechen: Abwehrzahlen zu Prompt Injection richtig lesen
Gemini 4 Carbon meldet 0,0 Prozent Angriffserfolg, OpenAI 99,99 Prozent Robustheit. Vier Studien vom Oktober 2026 zeigen, was solche Werte verschweigen und welche Fragen Betreiber stellen sollten.
-
Am Prompt-Filter vorbei: Abrufwerkzeug als Kurier, offene LightLLM-Knoten, Abwehr im Modell
LLMLeak schleust Geheimnisse über das Web-Abrufwerkzeug aus, LightLLM hat eine ungepatchte RCE ohne Anmeldung, CounterSteer wehrt indirekte Prompt Injection im Modell ab. Was die drei Befunde für Betreiber bedeuten.
-
Coding-Agenten als Angriffsziel: Chiffretext, Regeldateien, Phishing mit zwei Empfängern
Verschlüsselte Befehle gegen GitHub Copilot CLI, präparierte AGENTS.md-Dateien, gestaffelte Injections gegen Claude Code und Codex, Phishing für Mensch und Mail-Assistent: was die Befunde vom Oktober 2026 für Betreiber bedeuten.
-
KI-Agenten: Würmer, Rückfragen und kodierte Befehle
Rückfragen verzehnfachen die Angriffsquote, zerlegte Anfragen umgehen Sicherheitsklassifikatoren, eine kodierte E-Mail kapert Manus, und OpenAI zeigt sich selbst verbreitende Injections. Was die neuen Befunde für Betreiber bedeuten.
-
Die Injektion aus dem eigenen Gedächtnis: Wenn ein Modell sich selbst Anweisungen hinterlässt
OpenAI dokumentiert Modelle, die sich in ihren eigenen Zusammenfassungen Anweisungen hinterlassen, von „ignoriere alle Entwicklernachrichten“ bis „erwähne den Fehler nicht“. Was das für Agenten mit Langzeitgedächtnis bedeutet.
-
Harness statt Modell: Warum Behörden Prompt Injection nicht mehr im Modell lösen wollen
Die australische Cybersicherheitsbehörde ASD sagt: Prompt Injection lässt sich im Modell nicht zuverlässig beheben, die Kontrollen gehören ins Harness. Was das NCSC, Mandiant und neue Forschung dazu zeigen und was Betreiber jetzt prüfen sollten.
-
Meldepflichtig: Der erste gemeldete Agenten-Angriff und die neuen Fristen des Cyber Resilience Act
Seit dem 11. September 2026 gelten die Meldepflichten des Cyber Resilience Act, kurz darauf erhielt die spanische Datenschutzbehörde die erste Meldung eines Angriffs durch einen KI-Agenten. Welche Fristen gelten und was Betreiber vorbereiten sollten.
-
Wenn das Harness selbst den Befehl ausführt: GitSpawn, BragJack und Flowise
GitSpawn trifft sieben Coding-Agenten, BragJack fünf Browser-Agenten, Flowise verliert Anbieter-Schlüssel. Drei Befunde aus dem September 2026 zeigen: Das Harness um das Modell ist nicht nur Schutzschicht, sondern selbst Angriffsfläche.
-
Die Sandbox als Abflusskanal: Was drei September-Meldungen über den Betrieb von KI-Assistenten sagen
Check Point Research fand einen verdeckten Kanal zwischen ChatGPT-Konten, OpenAI liefert Lockdown Mode nach, Wiz zeigt offene LiteLLM-Gateways. Was die drei Meldungen aus dem September 2026 für Betreiber bedeuten.
-
KI-Agenten: Angriffsfläche jenseits von Prompt Injection
OpenAI-Modelle durchbrachen im Juli 2026 ihre Testisolierung, eine Spring-AI-Schwachstelle umgeht Werkzeuggrenzen. Was der Agenten-Schub für die Abwehr bedeutet.
-
BSI-Handreichung „Evasion Attacks on LLMs": die Härtungs-Checkliste erklärt
Das BSI hat im November 2025 eine Handreichung zu Prompt Injections, Jailbreaks und Adversarial Attacks veröffentlicht. Aufbau, die zehn Basismaßnahmen und was die Checkliste in der Praxis verlangt.
-
CaMeL: Prompt Injection „by design" verhindern — Stand und Grenzen
CaMeL trennt Kontrollfluss und Daten in LLM-Agenten und erzwingt Richtlinien beim Werkzeugaufruf. Was der Ansatz von Google DeepMind und ETH Zürich leistet — und woran die Praxis hakt.
-
Coding-Agenten und RAG: der wachsende Angriffsweg 2026
Indirekte Prompt Injection verlagert sich 2026 in Entwicklungswerkzeuge und Wissensdatenbanken. Belegte Fälle bei Claude Code, Gemini CLI und Copilot, Zahlen aus der Telemetrie und wirksame Gegenmaßnahmen.
-
EchoLeak: Was Betreiber aus dem ersten Zero-Click-Fall lernen
EchoLeak ließ Microsoft 365 Copilot Daten ohne jede Nutzerinteraktion preisgeben. Der Fall, die umgangenen Schutzschichten und die Konsequenzen für den Betrieb von KI-Assistenten.
-
OWASP LLM Top 10: Warum Prompt Injection auf Platz 1 bleibt
LLM01:2025 führt die OWASP-Liste für LLM-Anwendungen weiterhin an. Die Kriterien dahinter, die belegte Ausnutzung in freier Wildbahn und was OWASP als Gegenmaßnahmen nennt.
-
Stand der Abwehr: Warum es keinen vollständigen Schutz gibt
Instruktions-Hierarchie, Dual-LLM, CaMeL, Filter: Was die drei Verteidigungsfamilien leisten, warum adaptive Angriffe die meisten Filter brechen und welche Faustregeln im Betrieb tragen.