RAG in der Praxis: Was wir in der Advanced-Schulung gezeigt haben

Am 14. und 15. September 2026 haben wir eine zweitägige Advanced-Schulung zu RAG (Retrieval-Augmented Generation) gegeben, komplett virtuell. Konzept, rund 95 Folien und die Labs haben wir selbst entwickelt: acht Blöcke, zu jedem Block ein Jupyter-Lab. Als Datensatz diente ein fiktiver Maschinenbauer mit einem Testset aus 64 Fragen.

Der Leitsatz: „Tag 1: Das Richtige finden. Tag 2: Beweisen, dass es stimmt.“

Tag 1: Retrieval-Qualität

• Fehleranalyse: Liegt das Problem im Retrieval oder in der Generierung?
• Hybrid Search mit BM25 und Dense Retrieval, Reciprocal Rank Fusion, Query-Rewriting und HyDE
• Reranking: Cross-Encoder im Vergleich zu ColBERT
• Parsing und Chunking mit Docling

Tag 2: Qualität belegen und betreiben

• Kontext verdichten und umsortieren
• Evaluation: Testset, Ragas, LLM-as-a-Judge, Regressionstests in der CI/CD-Pipeline
• Sicherheit: Prompt Injection, RAG Poisoning, rechtebewusstes Retrieval, Audit-Trails, DSGVO und EU AI Act
• Betrieb: Tracing, Semantic Cache, Kostenmodell, Re-Index ohne Ausfall
• Architektur-Review zum Abschluss

Gearbeitet haben wir mit Python, LangChain, Qdrant, Docling, Ragas, DeepEval und Arize Phoenix.

Was die Labs gezeigt haben

Die folgenden Zahlen sind Messwerte aus den Labs auf dem Kurs-Datensatz. Auf andere Daten lassen sie sich nicht eins zu eins übertragen.

• Reranking: Hit@1 stieg von 0,917 auf 0,950, der MRR von 0,946 auf 0,975. Der Preis: Die Latenz wuchs von 9 auf 222 Millisekunden.
• Chunks mit Überschriften-Pfad: Bei 13 schwierigen Fragen stieg Hit@1 von 0,692 auf 0,846.
• Contextual Retrieval: kein messbarer Effekt auf diesem Datensatz.

Genau das war die Kernbotschaft: messen statt glauben. Eine Technik, die im Fachartikel überzeugt, kann auf den eigenen Daten wirkungslos bleiben. Ohne Testset und saubere Ground-Truth-Daten bleibt jede Optimierung ein Bauchgefühl.

Wie RAG im Unternehmen konkret aussieht, zeigt unser Projekt IntranetGPT. RAG-Systeme bauen wir auch für Kunden, mehr dazu auf unserer Services-Seite.