Was sind Tokens und Kontextfenster bei KI?

Was ist ein Token?

Ein Token ist eine diskrete Einheit, die der jeweilige Tokenizer eines Modells verwendet. Bei Text kann ein Token ein kurzes ganzes Wort, einen Wortteil, einzelne Zeichen, Satzzeichen oder eine Zeichenkombination (oft samt vorangehendem Leerzeichen) repräsentieren. Welche Zerlegung entsteht, hängt vom Tokenizer, seinem Vokabular, der Modellfamilie, der Sprache und der konkreten Zeichenfolge ab.

Verbreitet ist die Faustregel „ein Token ≈ vier Zeichen“ bzw. „100 Tokens ≈ 75 Wörter“. Das ist eine grobe, vor allem am Englischen orientierte Orientierung – keine feste Regel. Die tatsächliche Zahl hängt stark ab von Sprache, Wortlänge, Sonderzeichen, Code, Zahlen, Formatierung, URLs und Unicode. Für Kosten oder Limits nutzt man deshalb bei Bedarf den offiziellen Token-Zähler des konkreten Anbieters.

So funktioniert Tokenisierung

Vor der Verarbeitung wandelt ein Tokenizer den Text in Tokens um, die intern über numerische IDs aus einem festen Vokabular dargestellt werden: Text → Tokenizer → Token-IDs → Modell. Das Modell verarbeitet also nicht die sichtbare Zeichenkette, sondern numerische Repräsentationen (mehr dazu unter Embeddings).

Für die Zerlegung gibt es verschiedene Verfahren, etwa Byte-Pair Encoding (BPE), das häufige Zeichenpaare schrittweise zusammenfasst, oder das Unigram-Verfahren; SentencePiece ist ein sprachunabhängiges Werkzeug, das solche Verfahren umsetzt. Wichtig: Der Tokenizer ist eine Komponente – nicht „die KI“ selbst –, und verschiedene Modelle nutzen nicht denselben Tokenizer. Derselbe Text ergibt auf verschiedenen Modellen unterschiedlich viele Tokens.

Für deutschsprachige Texte lässt sich englische Dokumentation nicht 1:1 übertragen: Zusammengesetzte Wörter, Umlaute und Sonderzeichen können die Tokenzahl erhöhen. Einen festen Prozentaufschlag „Deutsch braucht X % mehr Tokens“ gibt es ohne konkrete Messung aber nicht.

Welche Tokenarten gibt es?

Auch Bilder, PDFs, Audio oder Video werden je nach Anbieter in Token- bzw. Nutzungseinheiten umgerechnet – nach anbieterspezifischen Regeln, nicht nach „Zeichen ÷ 4“. Details unter multimodale KI; für konkrete Werte den Token-Zähler des Anbieters nutzen.

Was ist ein Kontextfenster?

Das Kontextfenster (Context Window) ist die begrenzte Menge tokenisierter Information, die einem Modell bei einer einzelnen Generierung zur Verfügung steht. Je nach Modell und API zählen dazu Systemanweisungen, Nutzereingabe, frühere Nachrichten, Dokumente und andere Modalitäten, Tool-Definitionen und -Ergebnisse – und der erzeugte Output selbst (inklusive etwaiger Reasoning-Tokens). Die genaue Berechnung ist anbieter- und modellspezifisch.

Kontextfenster ist nicht Gedächtnis

Als Analogie taugt ein begrenzter „Arbeitsbereich“ – technisch ist das Kontextfenster aber kein dauerhaftes Gedächtnis.

Kontextfenster ist nicht Wissensstand

Ein großes Kontextfenster bedeutet nicht automatisch aktuelleres Wissen. Ein Modell kann sehr viel Kontext akzeptieren und trotzdem einen älteren Trainingsstichtag haben; umgekehrt kann ein Modell mit kleinerem Fenster über Websuche, RAG oder Tools aktuelle Informationen erhalten.

Kontextfenster ist nicht die Ausgabelänge

Ein sehr großes Kontextfenster heißt nicht, dass die Antwort beliebig lang sein darf: Viele Modelle haben eine deutlich kleinere maximale Ausgabelänge. Zu unterscheiden sind je nach Anbieter Context Window, maximaler Input, maximaler Output und teils gemeinsame Grenzen. Wenn Input und Output dasselbe Budget teilen, darf der Platz nicht vollständig mit Eingabe belegt werden, wenn noch eine lange Antwort folgen soll.

Was passiert, wenn das Fenster voll ist?

Die pauschale Aussage „dann gehen frühere Inhalte verloren“ stimmt so nicht – das Verhalten hängt vom System ab. Mögliche Strategien:

• Anfrage wird abgelehnt: eine API kann bei Überschreitung einen Fehler zurückgeben.
• Ausgabe wird begrenzt: zu wenig Restbudget kann die Antwort verkürzen.
• Ältere Nachrichten entfernen: manche Chatprodukte arbeiten mit rollierendem Kontext.
• Zusammenfassen / Compaction: ältere Teile werden verdichtet.
• Context Editing: wenig relevante Inhalte werden gezielt entfernt.

Ein scheinbar „unendlicher“ Chat bedeutet daher nicht, dass das Modell den gesamten Verlauf unverändert sieht – die Anwendung kann Nachrichten entfernen, zusammenfassen, erneut abrufen oder Memory nutzen. Produktverhalten und native Modellgrenze sind zu trennen.

Compaction, Context Management und Caching

Compaction verdichtet bei langen Abläufen ältere Konversationsteile, damit der relevante Zustand in weniger Tokens weiterläuft. Sie vergrößert aber nicht das native Kontextfenster und ist keine perfekte Langzeiterinnerung: Details können verloren gehen, Prioritäten falsch zusammengefasst werden, Fehler sich fortpflanzen.

Prompt- bzw. Context-Caching kann bei wiederholten, gleichen Eingaben Kosten und Latenz senken, indem wiederkehrende Präfixe effizienter verarbeitet werden. Aber:

Großes Fenster ≠ zuverlässig nutzbarer Kontext

Dass ein Modell technisch sehr viele Tokens akzeptiert, beantwortet nur: Wie viel Input ist grundsätzlich möglich? Nicht: Wie zuverlässig nutzt das Modell jede Information darin? Deshalb unterscheidet man:

• Nominelles Kontextfenster: die dokumentierte technische Kapazität.
• Effektive Kontextnutzung: wie gut relevante Informationen tatsächlich gefunden, kombiniert, gewichtet und über lange Distanzen genutzt werden.

Die Forschung zeigt hier deutliche Grenzen: Bei „Lost in the Middle“ (Liu et al., 2023) nutzen Modelle Informationen am Anfang und Ende eines langen Kontexts oft zuverlässiger als in der Mitte. RULER (Hsieh et al., 2024) zeigt, dass das effektiv nutzbare Kontextfenster oft deutlich kürzer ist als die angegebene Länge und ein einfacher „Needle-in-a-Haystack“-Test (eine gezielt platzierte Information wiederfinden) reale Fähigkeiten wie Multi-Hop-Reasoning oder Aggregation nicht abdeckt. Eine Chroma-Analyse (2025) beschreibt unter dem Begriff „Context Rot“, dass die Zuverlässigkeit mit wachsender Eingabelänge abnehmen kann.

Praktisch geht es um Context Engineering: welche Information ein System zur richtigen Zeit erhält – Systemanweisung, Auftrag, Verlauf, Beispiele, RAG-Ergebnisse, Tools, Memory und Zusammenfassungen. Prompt Engineering ist nur ein Teil davon. Grundsatz: nicht möglichst viel, sondern möglichst relevanten Kontext bereitstellen.

Long Context oder RAG?

Große Kontextfenster machen RAG nicht überflüssig. Studien zeigen zwar, dass langer Kontext bei ausreichend Ressourcen die Genauigkeit erreichen oder übertreffen kann – RAG behält aber klare Vorteile bei Kosten, sehr großen Beständen, Aktualität und Quellenzuordnung.

Für RAG werden große Dokumente in Abschnitte („Chunks“) zerlegt. Ein Chunk ist nicht dasselbe wie ein Token – ein Chunk ist eine größere, vom System definierte Einheit und kann viele Tokens enthalten.

Praxisbeispiele

Kosten und Latenz

API-Anbieter bepreisen häufig Input, Output, gecachte Eingaben, Reasoning, Batch-Verarbeitung, langen Kontext und einzelne Modalitäten unterschiedlich. Feste Preise altern schnell und stehen deshalb nicht in diesem Grundlagenartikel – der KI-Kostenrechner rechnet Szenarien mit eigenen, aktuellen Werten. Bei vielen APIs werden Input- und Output-Tokens unterschiedlich berechnet; ob Output teurer ist, hängt vom Anbieter ab.

Große Eingaben beeinflussen auch die Latenz (Verarbeitung des Inputs, Zeit bis zum ersten Token, Generierungsgeschwindigkeit). Eine einfache Formel „doppelte Tokens = doppelte Wartezeit“ gibt es nicht – das hängt von Modell, Infrastruktur, Cache und Auslastung ab.

Datenschutz und Sicherheit

Ein großes Kontextfenster ist keine Einladung, alle Daten hochzuladen – Datenminimierung gilt auch hier. Vor umfangreichen Eingaben prüfen: Ist alles für die Aufgabe nötig? Enthält es personenbezogene oder vertrauliche Daten? Welcher Anbieter, welcher Tarif, welche Speicherfristen, welche Trainingseinstellungen? Ist lokale Verarbeitung möglich? Details unter Datenschutz und lokale KI.

Mehr Kontext heißt auch mehr Angriffsfläche: Umfangreiche Kontexte können fremde Webseiten, Dokumente, E-Mails oder Tool-Ergebnisse enthalten – mitsamt versteckter Anweisungen (Prompt Injection). Externe Inhalte sollten nicht unbesehen als Instruktionen behandelt werden.

Häufige Missverständnisse

Kontext richtig nutzen: 7-Punkte-Check

• Braucht das Modell diese Information wirklich?
• Sind aktuelle Regeln klar von alten Inhalten getrennt?
• Lassen sich irrelevante Passagen entfernen?
• Wäre Retrieval/RAG geeigneter als „alles hineinkopieren“?
• Ist genügend Platz für die Antwort reserviert?
• Sind vertrauliche Daten wirklich notwendig?
• Lässt sich die zentrale Aussage anschließend überprüfen?

Weiterführend: Large Language Models, RAG, Embeddings, Halluzinationen, KI-Modelle und der Modell-Finder. Aktuelle Kontextgrößen konkreter Modelle stehen bei den Sprachmodellen, nicht in diesem Grundlagenartikel.

• Large Language Models
• RAG
• Embeddings
• Multimodale KI
• KI-Kostenrechner
• KI-Modelle