Embeddings
Numerische Darstellungen von Text, die Bedeutung erfassen.
Erklärung
Embeddings (deutsch: Einbettungen) wandeln Text in Zahlenvektoren um, die seine Bedeutung erfassen. Ähnliche Konzepte liegen im Vektorraum nah beieinander, unabhängig von der exakten Formulierung.
So funktioniert's
Ein spezialisiertes Modell liest einen Text und gibt einen Vektor (z.B. 1536 Zahlen) aus. „Hund" und „Welpe" haben ähnliche Vektoren, „Hund" und „Auto" nicht.
Praxisbeispiel
In einer RAG-Pipeline werden alle Dokumente als Embeddings gespeichert. Bei einer Nutzeranfrage wird das Embedding der Frage mit den Dokument-Embeddings verglichen.
Warum es wichtig ist
Embeddings ermöglichen semantische Suche – das System findet relevante Informationen, auch wenn andere Wörter verwendet werden.
Embedding auf Deutsch: Was bedeutet das?
Embedding heißt wörtlich „Einbettung“. Ein Text, ein Bild oder ein anderes Objekt wird in einen mathematischen Raum eingebettet, und zwar als Liste von Zahlen, dem Vektor. Jede Zahl steht für eine Eigenschaft, die das Modell beim Training gelernt hat. Einzeln sind diese Werte nicht interpretierbar, gemeinsam beschreiben sie die Bedeutung.
Der praktische Nutzen: Ähnlichkeit wird messbar. Der Abstand zwischen zwei Vektoren, meist über die Kosinus-Ähnlichkeit berechnet, zeigt, wie nah sich zwei Inhalte inhaltlich sind. „Kündigungsfrist Mietvertrag“ und „Wie lange vorher muss ich meine Wohnung kündigen?“ landen nah beieinander, obwohl sie kaum gemeinsame Wörter haben.
Wofür nutzen Unternehmen Embeddings?
Der häufigste Einsatz ist die semantische Suche in RAG-Systemen: Dokumente werden in Abschnitte zerlegt, als Embeddings in einer Vektordatenbank gespeichert und bei einer Frage nach Bedeutung statt nach Stichworten gefunden. Weitere Anwendungen sind das Gruppieren ähnlicher Tickets oder Artikel, Duplikaterkennung, Empfehlungen und die Klassifikation von Texten.
Bei der Modellwahl zählen vor allem drei Punkte: Wie gut versteht das Modell deutsche Fachsprache, wo läuft es (Cloud-API oder lokal) und wie groß sind die Vektoren? Größere Vektoren sind oft etwas genauer, brauchen aber mehr Speicher. Wichtig: Alle Dokumente und alle Suchanfragen müssen mit demselben Modell eingebettet werden. Wer das Modell wechselt, muss den gesamten Bestand neu berechnen.
Häufige Fragen
Was ist der Unterschied zwischen Embeddings und einem LLM?
Ein LLM erzeugt Text. Ein Embedding-Modell erzeugt keinen Text, sondern einen Zahlenvektor, der die Bedeutung eines Textes abbildet. In RAG-Systemen arbeiten beide zusammen: Embeddings finden die passenden Dokumente, das LLM formuliert daraus die Antwort.
Wie viele Dimensionen hat ein Embedding?
Das hängt vom Modell ab. Üblich sind einige Hundert bis wenige Tausend Dimensionen, etwa 768, 1.024, 1.536 oder 3.072.
Kann man Embeddings DSGVO-konform erzeugen?
Ja. Embedding-Modelle lassen sich über EU-gehostete APIs oder vollständig lokal betreiben. Da Embeddings Rückschlüsse auf den Ursprungstext zulassen können, sollten sie datenschutzrechtlich wie die Ursprungsdaten behandelt werden.