· Hugo Berton
Was ist RAG (Retrieval-Augmented Generation)?
RAG, Retrieval-Augmented Generation, lässt ein Sprachmodell aus Ihren eigenen Dokumenten antworten statt aus dem Gedächtnis. Vor dem Schreiben sucht das System die relevanten Stellen in Ihren Dokumenten, legt sie dem Modell vor und lässt es daraus antworten, im besten Fall mit Quellenangabe.
So funktioniert es
Die Dokumente werden in Abschnitte zerlegt und indexiert, meist als Embeddings in einer Vektordatenbank, damit die Suche nach Bedeutung findet und nicht nur nach Stichworten.
Bei einer Frage holt das System die passendsten Abschnitte, fügt sie in den Prompt ein, und das Modell schreibt die Antwort daraus. Es wird nichts neu trainiert: Neues Wissen bedeutet, die Dokumente neu zu indexieren.
RAG oder Fine-Tuning?
RAG fügt Wissen zum Zeitpunkt der Frage hinzu und lässt es in Ihren Dokumenten. Fine-Tuning trainiert das Modell neu und eignet sich eher für Stil oder Format als für Fakten, die sich oft ändern.
Grenzen
Die Zerlegung der Dokumente entscheidet mit: zu lange Abschnitte verwässern die Antwort, zu kurze verlieren den Zusammenhang.
Der Index muss aktualisiert werden, wenn sich die Dokumente ändern.
Ohne einen Satz Testfragen mit bekannten Antworten lässt sich nicht sagen, ob es wirklich funktioniert.