prompt injections.de
Glossar

Tokenisierung

Tokenisierung ist der Prozess, der Text in Token überführt und damit festlegt, welche numerische Eingabefolge ein Sprachmodell erhält. Bei BPE werden Zeichenfolgen in einem verlustfrei rückführbaren Verfahren kodiert, das häufige Teilwörter als wiederverwendbare Einheiten bevorzugt.1 Tokenisierung ist damit eine technische Vorstufe des Modells, keine semantische Interpretation und keine Sicherheitsprüfung.

Einordnung

Der Begriff grenzt sich von Token ab: Das Token ist das Ergebnis beziehungsweise ein Element der Folge, Tokenisierung die Umwandlung. Für die Abwehr von Prompt Injection ist diese Unterscheidung wichtig, weil Filter, Retrieval-Pipeline und Modell verschiedene Vorverarbeitungsschritte verwenden können. OWASP empfiehlt, nicht vertrauenswürdige externe Inhalte zu separieren und eindeutig zu kennzeichnen; diese Trennung muss erhalten bleiben, wenn Text aus einer Zeichenfolge in Token und später in Modellkontext übergeht.2

Eine sichere Tokenisierung ist nicht gleichbedeutend mit einer sicheren Anwendung. Sie kann keine Herkunft bewerten, keine Berechtigung durchsetzen und keine Instruktionen verlässlich von Daten trennen. Umgekehrt kann eine uneinheitliche Vorverarbeitung die Beurteilung erschweren: Eine Regel, die nur auf einer Rohfassung getestet wird, kann an einer anders normalisierten, dekodierten oder segmentierten Fassung vorbeigehen. Deshalb gehört die exakte Reihenfolge von Dekodierung, Normalisierung, Prüfung, Tokenisierung und Kontextaufbau in die Systemdokumentation.

Dokumentiertes Beispiel

Die Studie von Daniel und Pal verglich fünfzehn Modelle unter anderem mit Zeichen außerhalb des üblichen lateinischen Unicode-Bereichs. Ihr Befund war nicht, dass Unicode als solches bösartig sei, sondern dass die getesteten Schutzvorkehrungen unter diesen Eingabevarianten an Wirksamkeit verloren.3 Für die Tokenisierung ist das ein konkreter Forschungsbefund: Sichtbare Gleichheit, Zeichenidentität und die intern verarbeitete Repräsentation dürfen nicht gleichgesetzt werden. Die Studie rechtfertigt jedoch keine pauschale Aussage über andere Modellfamilien oder über alle aktuellen Guardrails.

Bedeutung für die Abwehr

Die Abwehr sollte eine definierte kanonische Textfassung erzeugen und diese Fassung sowohl der Inhaltsprüfung als auch der weiteren Pipeline zugrunde legen. Wo das Produkt mehrsprachige Inhalte verarbeitet, sind erlaubte Zeichensätze, Normalformen und Ausnahmen fachlich zu begründen und regressionsgetestet zu versionieren. Für externe Dokumente ist zusätzlich der Vertrauenskontext als Metadatum zu erhalten; Tokenisierung darf ihn nicht unsichtbar machen. Tests aus dem Bereich Techniken sollten deshalb nicht nur lesbare Standardtexte, sondern auch zulässige Unicode-Varianten und die tatsächlich eingesetzte Tokenizer-Version umfassen.

Quellen

  1. OpenAI, „tiktoken“, laufende Fassung, abgerufen am 20. August 2026, https://github.com/openai/tiktoken ↩
  2. OWASP, „LLM01:2026 Prompt Injection“, 3. August 2026, https://github.com/OWASP/www-project-top-10-for-large-language-model-applications/blob/main/2_0_vulns/LLM01_PromptInjection.md ↩
  3. Daniel, Johan S.; Pal, Anand, „Impact of Non-Standard Unicode Characters on Security and Comprehension in Large Language Models“, 23. Mai 2024, https://arxiv.org/abs/2405.14490 ↩

Im Zusammenhang