Token & Kontextfenster
Die Maßeinheit für Text in KI-Modellen und deren Verarbeitungsgrenze.
Erklärung
Tokens sind die kleinsten Texteinheiten, die ein LLM verarbeitet – ungefähr ¾ eines Wortes. Das Kontextfenster definiert, wie viele Tokens das Modell gleichzeitig „sehen" kann.
So funktioniert's
Jeder Text wird in Tokens zerlegt. Ein Modell mit 128K Kontextfenster kann ca. 100.000 Wörter gleichzeitig verarbeiten – das entspricht etwa einem ganzen Buch.
Praxisbeispiel
Wenn du ein 50-seitiges Dokument analysieren lässt, muss es in das Kontextfenster passen. Ist es zu groß, muss es aufgeteilt werden (→ Chunking).
Warum es wichtig ist
Das Kontextfenster bestimmt, wie viel Information ein Modell gleichzeitig berücksichtigen kann – und beeinflusst Kosten und Qualität.
Was ist ein Token und wie viele Wörter sind 1.000 Tokens?
Ein Token ist ein Wortbestandteil, den das Modell als Einheit verarbeitet. Häufige Wörter sind oft ein einzelner Token, seltene oder zusammengesetzte Wörter werden in mehrere zerlegt. Als Faustregel entsprechen 1.000 Tokens im Englischen etwa 750 Wörtern. Deutsche Texte brauchen wegen langer Komposita wie „Auftragsbestätigung“ meist etwas mehr Tokens pro Wort.
Tokens sind auch die Abrechnungseinheit fast aller KI-APIs. Bezahlt wird getrennt für Eingabe- und Ausgabe-Tokens, wobei Ausgabe-Tokens in der Regel deutlich teurer sind. Wer Prompts strafft, wiederkehrenden Kontext zwischenspeichert (Prompt Caching) und nur relevante Dokumente mitgibt, senkt die Kosten direkt.
Wie groß ist das Kontextfenster aktueller Modelle?
Aktuelle Modelle verarbeiten je nach Anbieter und Version zwischen rund 128.000 und über einer Million Tokens pro Aufruf. Das reicht für mehrere Hundert Seiten Text. Ein großes Kontextfenster heißt aber nicht, dass das Modell alles darin gleich gut berücksichtigt. Bei sehr langen Eingaben sinkt die Genauigkeit oft, Details in der Mitte werden leichter übersehen, und jede Anfrage wird teurer und langsamer.
Für Anwendungen mit viel Unternehmenswissen ist es deshalb meist besser, die relevanten Abschnitte gezielt per RAG auszuwählen, statt ganze Dokumentensammlungen in den Prompt zu packen.
Häufige Fragen
Was passiert, wenn das Kontextfenster voll ist?
Die Anfrage wird abgelehnt, oder ältere Teile eines Gesprächs werden abgeschnitten oder zusammengefasst. In langen Chats „vergisst“ das Modell deshalb frühere Details.
Zählen Eingabe und Ausgabe zum Kontextfenster?
Ja. Das Kontextfenster umfasst Prompt, mitgegebene Dokumente, bisherigen Gesprächsverlauf und die generierte Antwort zusammen.
Was kosten eine Million Tokens?
Das hängt stark vom Modell ab. Die Spanne reicht von wenigen Cent bei kleinen Modellen bis zu zweistelligen Dollarbeträgen für Ausgabe-Tokens der leistungsstärksten Modelle. Aktuelle Preise stehen auf den Preisseiten der Anbieter.