← Alle Fachartikel

Wissensbasis

RAG macht Antworten nachvollziehbarer, nicht automatisch richtig

RAG kann Antworten besser nachvollziehbar machen. Eine Garantie für richtige Antworten ist es nicht.

Das Grundprinzip ist sinnvoll: Das System sucht passende Inhalte in den eigenen Wissensquellen und gibt sie dem Sprachmodell als Kontext für die Antwort mit.

Das ursprüngliche RAG-Paper berichtete in den untersuchten Aufgaben spezifischere und faktischere Texte als eine rein parametrische Vergleichsbasis. Das ist ein wertvoller Befund, aber noch keine Garantie für den produktiven Einsatz.

In der Praxis hängt das Ergebnis stark vom Wissensbestand ab.

Vielleicht wurde die entscheidende Information nie indexiert.

Vielleicht liegen drei unterschiedliche Versionen eines Dokuments im System.

Manchmal passt ein veralteter Inhalt besser zur Suchanfrage als die aktuelle Fassung. Auch Berechtigungen können beim Abruf falsch berücksichtigt werden. Und eine Textstelle kann sprachlich sehr passend wirken, ohne die gestellte Frage tatsächlich zu beantworten.

Das Sprachmodell formuliert aus dem Kontext, den es erhält. Ist dieser Kontext unvollständig oder falsch, kann auch die Antwort überzeugend klingen und trotzdem fachlich danebenliegen.

Deshalb beginnt ein produktives RAG-System für mich nicht bei der Vektordatenbank. Zuerst muss geklärt sein, welche Quellen verwendet werden dürfen, wer sie verantwortet und wie Aktualität und Versionierung geregelt sind.

Danach braucht es ein belastbares Berechtigungskonzept, sichtbare Quellen in der Antwort und Tests mit Fragen aus dem echten Arbeitsalltag.

Ebenso wichtig ist ein definiertes Verhalten für den Fall, dass keine belastbaren Belege gefunden werden.

Bei folgenreichen Entscheidungen würde ich außerdem nicht auf eine menschliche Prüfung verzichten.

Bevor ich über die Auswahl des Modells spreche, möchte ich deshalb wissen:

Welchem Wissen darf das System unter welchen Bedingungen vertrauen?

Wie lösen Sie heute das Problem, dass in Unternehmen oft mehrere Versionen desselben Wissens im Umlauf sind?

Quellen: Lewis et al.: Retrieval-Augmented Generation

Originalbeitrag auf LinkedIn

Alle Fachartikel