Chunking
Große Dokumente in kleinere, sinnvolle Abschnitte unterteilen.
Erklärung
Chunking zerlegt lange Texte in kleinere Teile (Chunks), damit sie als Embeddings gespeichert und effektiv gefunden werden können. Die Chunk-Größe beeinflusst die Qualität der Suche.
So funktioniert's
Ein 100-seitiges Handbuch wird z.B. in Absätze oder thematische Blöcke von 200–500 Tokens aufgeteilt. Jeder Chunk wird als eigenes Embedding gespeichert.
Praxisbeispiel
Ein Kundenservice-Handbuch wird in einzelne FAQ-Einträge zerlegt, sodass das System bei einer Frage genau den relevanten Abschnitt findet.
Warum es wichtig ist
Gutes Chunking entscheidet über die Qualität von RAG-Systemen. Zu große Chunks verwässern die Suche, zu kleine verlieren den Kontext.
Chunking-Strategien: Welche gibt es?
Die einfachste Methode ist feste Größe mit Überlappung: Der Text wird etwa alle 500 Tokens geschnitten, benachbarte Chunks teilen sich einige Sätze, damit an den Rändern kein Zusammenhang verloren geht. Strukturbasiertes Chunking schneidet entlang von Überschriften, Absätzen, Listen oder Tabellen und hält so zusammen, was zusammengehört. Semantisches Chunking misst per Embeddings, wo das Thema wechselt, und setzt dort die Grenze.
In der Praxis bewährt sich meist die strukturbasierte Variante, ergänzt um Metadaten wie Dokumenttitel, Kapitel und Datum. Ein weiterer Ansatz stellt jedem Chunk vor dem Einbetten einen kurzen Kontextsatz voran, der ihn im Gesamtdokument verortet. Anthropic hat diese Methode 2024 als Contextual Retrieval beschrieben und damit deutlich weniger Fehltreffer bei der Suche gemessen.
Welche Chunk-Größe ist die richtige?
Eine allgemeingültige Größe gibt es nicht, übliche Werte liegen zwischen 200 und 1.000 Tokens. Kleine Chunks treffen präzise, verlieren aber Kontext: Ein Satz wie „Dies gilt nicht für Bestandskunden“ ist ohne den vorherigen Absatz wertlos. Große Chunks enthalten mehr Zusammenhang, verwässern aber die Ähnlichkeitssuche und belegen mehr Platz im Kontextfenster.
Die richtige Größe hängt von den Dokumenten und den typischen Fragen ab. Verträge und Handbücher brauchen andere Einstellungen als kurze FAQ-Einträge. Deshalb gilt: mit einer sinnvollen Standardeinstellung starten und mit einem Testset echter Fragen messen, welche Variante die richtigen Stellen findet.
Häufige Fragen
Was bedeutet Chunking?
Chunking bedeutet, lange Dokumente in kleinere, sinnvoll abgegrenzte Textabschnitte zu zerlegen, damit sie einzeln durchsucht und einem Sprachmodell als Kontext übergeben werden können.
Brauche ich Chunking noch, wenn Modelle große Kontextfenster haben?
Meist ja. Auch wenn ein Modell sehr lange Texte lesen kann, ist es teurer, langsamer und oft ungenauer, jedes Mal ganze Dokumentensammlungen mitzugeben. Chunking sorgt dafür, dass nur die relevanten Stellen im Prompt landen.
Wie geht man beim Chunking mit Tabellen und PDFs um?
Tabellen sollten als Ganzes oder zeilenweise mit Spaltenüberschriften erhalten bleiben, sonst verlieren Zahlen ihre Bedeutung. Bei PDFs lohnt sich vor dem Chunking eine saubere Extraktion mit Layout-Erkennung, weil Fehler hier direkt die Antwortqualität senken.