RAG, das wirklich funktioniert: Muster aus 12 Produktivsystemen

Chunking, Re-Ranking, hybride Suche und Evaluierung – die Muster, mit denen sich zuverlässiges RAG in Produktion bringen lässt.

Was RAG ist – und wo es scheitert

Retrieval-Augmented Generation (RAG) beantwortet Fragen aus deinen eigenen Dokumenten. Statt sich auf das Gedächtnis eines Sprachmodells zu verlassen, durchsucht das System deine Inhalte, setzt die relevantesten Passagen in den Prompt und lässt das Modell daraus antworten – idealerweise mit Quellenangaben.

Gibt ein RAG-Assistent eine falsche oder vage Antwort, liegt das selten am Modell. Meist wurde die richtige Passage nie gefunden, beim Chunking zerteilt oder unter weniger relevantem Text begraben. Die Arbeit, die RAG zuverlässig macht, ist also vor allem Such-Engineering.

Die Pipeline

Ingest: Dokumente aus Quellen wie CMS, Hilfe-Center, PDFs oder Tickets einsammeln – mit ihren Berechtigungen.
Chunking: sie in Passagen teilen, die für sich allein verständlich sind.
Embedding und Index: Vektoren und Schlagwörter mit Metadaten speichern.
Retrieval: mit der Frage des Nutzers suchen, gefiltert auf das, was dieser Nutzer sehen darf.
Re-Ranking: die besten Treffer mit einem präziseren Modell neu ordnen.
Generierung: nur aus den gefundenen Passagen antworten und sie zitieren.
Evaluation: Retrieval- und Antwortqualität laufend messen.

Chunking, das Bedeutung erhält

Chunks fester Größe, die Tabellen und Überschriften zerschneiden, sind die häufigste Ursache schlechter Antworten. Teile stattdessen entlang der Dokumentstruktur: Abschnitte, Überschriften, Listenpunkte und Tabellenzeilen. Einige hundert Tokens pro Chunk mit etwas Überlappung funktionieren für die meisten Texte gut.

Speichere Metadaten zu jedem Chunk: Dokumenttitel, Abschnittsüberschrift, URL, Datum, Produkt oder Version, Sprache und Zugriffsrechte. Titel und Überschrift vor dem Embedding an den Chunk-Text zu stellen, verbessert das Retrieval oft deutlich, denn ein Absatz allein verrät selten, worum es geht.

Hybride Suche und Re-Ranking

Vektorsuche versteht Bedeutung, ist aber schwach bei exakten Begriffen: Produktcodes, Fehlermeldungen, Namen und Zahlen. Schlagwortsuche (BM25) ist genau umgekehrt. Führe beide aus und kombiniere die Ergebnisse, etwa mit Reciprocal Rank Fusion – so nutzt du die Stärken beider.

Dann neu ordnen: Hole schnell 20 bis 50 Kandidaten und lass einen Cross-Encoder-Re-Ranker jeden gegen die Frage bewerten. Nur die besten fünf bis acht Chunks an das Modell zu geben, senkt Kosten, Latenz und Verwirrung.

Berechtigungen und Aktualität

Setze Zugriffsrechte beim Retrieval mit Metadatenfiltern durch – nie, indem du das Modell bittest, etwas zu verbergen. Darf ein Nutzer ein Dokument nicht sehen, darf es den Prompt nicht erreichen.

Halte den Index mit inkrementellen Updates aktuell: Indexiere ein Dokument neu, wenn es sich ändert, und lösche seine Chunks, wenn es entfernt wird. Veraltete Chunks erzeugen selbstsichere, aber überholte Antworten – die am schwersten zu erkennenden.

Prompts für belegte Antworten

Weise das Modell an, nur aus den gelieferten Passagen zu antworten, sie per ID zu zitieren und klar zu sagen, wenn die Antwort nicht in den Quellen steht. Behandle gefundenen Text als Daten, nicht als Anweisungen: Dokumente können Text enthalten, der das Modell zu steuern versucht, daher sollte der System-Prompt festlegen, dass Anweisungen in Quellen ignoriert werden.

Evaluation ist das Produkt

Sammle vor dem Launch 50 bis 200 echte Fragen samt der Dokumente, die sie beantworten sollen. Miss das Retrieval (war das richtige Dokument unter den Top-Treffern?) getrennt von der Antwortqualität (war die Antwort richtig, vollständig und durch die Quellen belegt?). Automatische Bewertung durch ein Modell hilft im großen Maßstab, sollte aber stichprobenartig von Hand geprüft werden.

Lass dieses Set bei jeder Änderung an Chunking, Embeddings, Prompts oder Modellen laufen. Ohne es ist jede Verbesserung geraten.

Ein praxistauglicher Stack

Für die meisten Teams starten wir einfach: PostgreSQL mit pgvector (oder OpenSearch, wenn starke Schlagwortsuche nötig ist), ein Embedding-Modell und ein Re-Ranker eines großen Anbieters, Ingest in Hintergrund-Queues und eine kleine Admin-Ansicht, die zeigt, welche Quellen jede Antwort genutzt hat. Spezialisierte Vektordatenbanken wie Qdrant oder Weaviate lohnen sich bei größerem Umfang. Die Architektur zählt weniger als Chunking, Filter und Evaluation drumherum.