RAG (Retrieval Augmented Generation)
KI sucht erst relevante Dokumente, bevor sie antwortet.
Erklärung
RAG kombiniert Informationssuche mit Textgenerierung. Statt nur aus dem Training zu antworten, durchsucht das System erst eine Wissensbasis und nutzt die gefundenen Dokumente als Grundlage.
So funktioniert's
1) Nutzer stellt eine Frage → 2) System sucht relevante Dokumente in einer Vektordatenbank → 3) Gefundene Texte werden als Kontext an das LLM übergeben → 4) LLM generiert eine Antwort basierend auf den Dokumenten.
Praxisbeispiel
Ein interner KI-Assistent, der Fragen zu Unternehmensrichtlinien beantwortet, indem er die relevanten Policy-Dokumente findet und zitiert.
Warum es wichtig ist
RAG ist der Standard-Ansatz, um LLMs mit firmenspezifischem Wissen auszustatten – ohne teures Nachtraining.
Was ist RAG? Retrieval Augmented Generation einfach erklärt
Retrieval Augmented Generation heißt übersetzt etwa „durch Abruf erweiterte Generierung“. Der Begriff stammt aus einer Forschungsarbeit von Facebook AI Research (heute Meta) aus dem Jahr 2020. Die Idee: Ein Sprachmodell bekommt vor dem Antworten die passenden Informationen aus einer externen Wissensquelle mitgeliefert.
Eine RAG-Pipeline hat zwei Phasen. Bei der Indexierung werden Dokumente aus Quellen wie SharePoint, Wiki oder Ticketsystem geladen, per Chunking zerlegt, als Embeddings berechnet und gespeichert. Bei der Abfrage wird die Nutzerfrage ebenfalls eingebettet, die ähnlichsten Abschnitte werden gesucht, oft per Reranking nachsortiert und dann zusammen mit der Frage an das LLM übergeben.
RAG vs. Fine-Tuning: Was ist der Unterschied?
Beide Ansätze bringen Unternehmenswissen in ein KI-System, aber auf unterschiedlichem Weg. RAG lässt das Modell unverändert und liefert das Wissen zur Laufzeit mit. Neue Dokumente sind sofort verfügbar, Antworten lassen sich mit Quellen belegen, und Zugriffsrechte können pro Nutzer berücksichtigt werden. Fine-Tuning trainiert ein Modell mit eigenen Beispielen nach und verändert damit sein Verhalten, etwa Tonalität, Format oder den Umgang mit Fachsprache.
Für Wissensfragen ist RAG fast immer die bessere Wahl: günstiger, aktueller und nachprüfbar. Fine-Tuning lohnt sich eher, wenn ein Modell einen sehr spezifischen Stil oder eine eng umrissene Aufgabe zuverlässig beherrschen soll. Beide Ansätze lassen sich kombinieren.
Warum RAG-Projekte scheitern und was hilft
Die meisten schwachen RAG-Systeme haben kein Modellproblem, sondern ein Suchproblem: Die richtige Stelle wird nicht gefunden, also kann das LLM sie auch nicht nutzen. Häufige Ursachen sind unsauber extrahierte PDFs und Tabellen, ungeeignete Chunk-Größen, fehlende Stichwortsuche für Artikelnummern und veraltete Dokumente im Index. Abhilfe schaffen hybride Suche, Reranking, gepflegte Metadaten und vor allem ein Testset mit echten Fragen und bekannten richtigen Antworten, mit dem sich jede Änderung messen lässt.
Häufige Fragen
Wofür steht RAG?
RAG steht für Retrieval Augmented Generation. Ein KI-Modell sucht vor der Antwort relevante Informationen in einer Wissensbasis und formuliert die Antwort auf dieser Grundlage.
Braucht man für RAG ein eigenes KI-Modell?
Nein. RAG funktioniert mit gängigen Modellen per API oder mit einem lokalen LLM. Das Modell wird nicht verändert, sondern nur mit passenden Informationen versorgt.
Verhindert RAG Halluzinationen?
RAG reduziert Halluzinationen deutlich, verhindert sie aber nicht vollständig. Quellenangaben, erlaubtes Nichtwissen und regelmäßige Evals bleiben nötig.