Was ist RAG?
Ein Sprachmodell kennt nur sein Trainingswissen. Ihre Verträge, Handbücher und Protokolle gehören nicht dazu. RAG löst das, indem es zwei Schritte verbindet: Zuerst werden relevante Textstellen aus Ihren Dokumenten gesucht (Retrieval), dann formuliert das Modell die Antwort auf dieser Grundlage (Generation).
Beispiel: Eine Mitarbeiterin fragt „Wie lange ist die Kündigungsfrist im Rahmenvertrag mit Lieferant X?“. Das System findet die passende Klausel und antwortet mit Verweis auf die Quelle.
Wie RAG funktioniert
Dokumente werden in Abschnitte zerlegt und in eine Form übersetzt, die eine Bedeutungssuche erlaubt, sogenannte Embeddings. Diese liegen meist in einer Vektordatenbank. Bei einer Frage werden die inhaltlich ähnlichsten Abschnitte gefunden und dem Modell zusammen mit der Frage übergeben.
Die Qualität hängt stark von der Suche ab. Findet sie die falschen Abschnitte, antwortet das Modell auf falscher Grundlage. Saubere Dokumente, Rechte und Quellenangaben sind daher wichtig.
Abgrenzung: RAG und KI-Memory
RAG schlägt nach. Es durchsucht vorhandene Dokumente und vergisst nach der Antwort wieder. Ein KI-Memory, wie es eine Unternehmens-KI nutzt, baut dagegen fortlaufend Wissen auf: über Personen, Projekte und Entscheidungen, verknüpft und aktuell gehalten.
In der Praxis ergänzen sich beide. Für Fragen zu großen Dokumentbeständen ist RAG ideal. Für Zusammenhänge wie „Was haben wir mit diesem Kunden zuletzt vereinbart und warum?“ braucht es ein Gedächtnis.