Dokumente für RAG vorbereiten: Quelle korrigieren, bevor Sie den Prompt ändern

Ihr Wissensassistent zitiert immer wieder eine alte Richtlinie oder lässt Teile einer Tabelle aus. Beeuni kann die Quelldokumente lesen, veraltete Kopien und Fehler bei der Textextraktion finden und korrigierte Texte für Ihren Suchindex vorbereiten. Anhand eines Versandleitfadens zeigen wir, was Sie prüfen und welche Dateien Sie exportieren sollten.

Retrieval-Augmented Generation, kurz RAG, sucht relevante Passagen in Ihren Dokumenten und gibt sie dem Modell als Grundlage für die Antwort. Diese Passagen heißen oft Chunks: kleinere Textabschnitte, die für die Suche vorbereitet werden. Ein Beeuni-Agent kann Dokumente aus Ihrer verbundenen Wissensdatenbank oder einer öffentlichen Hilfeseite sammeln, den Text extrahieren und die Abschnitte mit Skripten aufbereiten. Ihre Anwendung indexiert und durchsucht sie anschließend mit den Werkzeugen Ihrer Wahl.

Wissensdatenbank am Speicherort erfassen

Geben Sie dem Agenten für eine öffentliche Hilfeseite eine Start-URL und die einzubeziehenden Bereiche an. Bitten Sie ihn, den relevanten Links zu folgen, den Artikeltext zu speichern und Seiten zu melden, die er nicht öffnen konnte. Verbinden Sie für private Dokumentation den entsprechenden Dienst und gewähren Sie Zugriff auf die vorgesehene Sammlung. Eine private URL allein macht die Seite nicht lesbar.

Führen Sie für jede Seite oder jedes Dokument ein Bestandsverzeichnis mit Referenz, Titel, Abrufzeit und Versionsangaben, sofern die Quelle diese bereitstellt. Ein Repository-Commit kann einen Dokumentationsstand kennzeichnen; eine laufend aktualisierte Hilfeseite benötigt möglicherweise eine eigene gespeicherte Kopie. Vor einem erneuten Export kann der Agent diesen Bestand mit dem vorherigen Import vergleichen und geänderte, entfernte sowie neu entdeckte Seiten ermitteln.

Mit einer Frage beginnen, die die Anwendung falsch beantwortet

Suchen Sie die Passage, die im Originaldokument die Antwort liefern sollte. Vergleichen Sie die Seite mit dem extrahierten Text und dem vom Abruf zurückgegebenen Chunk. So lässt sich ein Extraktionsproblem von einem Abrufproblem unterscheiden. Wenn die richtige Passage das Modell erreicht hat, prüfen Sie, wie die Antwort daraus abgeleitet wurde.

Eine Tabellenüberschrift kann die Antwort verändern

Stellen Sie sich einen Versandratgeber mit einer Tabelle vor, deren Überschrift „Lieferzeit, Werktage ab Versand“ lautet. In der Zeile für den Standardversand steht der Wert „3–5“. Bei einer Extraktion, die nur „Standard: 3–5“ beibehält, gehen sowohl die Einheit als auch der Ausgangspunkt verloren. Das Modell muss nun raten, ob die Zahl Tage, einen Preis oder etwas anderes bezeichnet.

Example of a passage with its context preserved:
Document: Shipping guide
Section: Delivery estimates
Service: Standard
Delivery time: 3–5 business days after dispatch
Source: sample-shipping-guide.pdf, page 2

Diese Passage kann die Frage „Wie lange dauert der Standardversand ab dem Versand?“ beantworten. Ohne Versanddatum und passenden Kalender kann sie die Frage „Kommt meine Bestellung bis Freitag an?“ nicht beantworten. Nehmen Sie beide Fragen in die Prüfung auf: Die erste zeigt, ob die Tabelle die Extraktion überstanden hat, die zweite, ob die Anwendung fehlende Informationen erkennt.

Was sollte mit jeder Passage übernommen werden?

Behalten Sie eine stabile Dokument-ID, den Titel, den Abschnitt, nach Möglichkeit die Seitenangabe sowie Version oder Gültigkeitsdatum bei. Speichern Sie bei öffentlichen Seiten auch die Quell-URL. So kann Ihre Anwendung eine Quellenangabe anzeigen und zwei ähnlich formulierte Versionen unterscheiden.

Es gibt keine Chunk-Größe, die für jede Sammlung passt. Eine kurze FAQ-Antwort kann vollständig bleiben. Ein langes Verfahren muss möglicherweise in mehrere Chunks aufgeteilt werden, die jeweils ihre Abschnittsüberschrift enthalten. Lassen Sie den Agenten zunächst ein Beispiel exportieren und lesen Sie die Chunks, ohne die Quelle zu öffnen. Prüfen Sie, ob Begriffe, Einheiten und Ausnahmen noch verständlich sind.

Kann der Agent auch Evaluierungsfragen formulieren?

Er kann anhand der Dokumente mögliche Fragen entwerfen. Prüfen Sie die erwarteten Antworten und die zugrunde liegenden Textpassagen, bevor Sie sie zur Bewertung Ihrer Anwendung verwenden. Nehmen Sie Fragen auf, deren Antworten sich über mehrere Abschnitte erstrecken, Fragen zu veralteten Regeln und Fragen, die sich mit der Sammlung nicht beantworten lassen. Halten Sie diesen Evaluierungssatz getrennt von Beispielen, mit denen Sie das System abstimmen.

Einen Fehler anhand der Abrufresultate nachverfolgen

Kehren wir zum fiktiven Versandratgeber zurück. Angenommen, im aktuellen Ratgeber steht, dass der Standardversand nach dem Versand 3–5 Werktage dauert, während eine ältere Fassung 2–3 Tage angibt. Ihre Anwendung antwortet mit „2–3 Tagen“. Speichern Sie die Frage, die abgerufenen Passagen in der Reihenfolge ihrer Ausgabe, ihre Metadaten und die Antwort. So können Sie untersuchen, an welcher Stelle die veraltete Regel in die Antwort gelangt ist.

Wird nur die alte Fassung angezeigt, prüfen Sie, ob die neue importiert wurde und ob ein Versionsfilter sie ausgeschlossen hat. Werden beide Fassungen angezeigt, untersuchen Sie, wie die Anwendung zwischen ihnen auswählt. Fehlt der richtigen Passage ihre Überschrift, korrigieren Sie die Extraktion oder die Chunk-Grenze. Erreicht die vollständige, aktuelle Passage das Modell, während die Antwort dennoch „Werktage ab Versand“ unterschlägt, untersuchen Sie die Antwortgenerierung. Eine erneute Extraktion der Sammlung würde dieses letzte Problem nicht beheben.

Bewahren Sie diesen Ablauf zusammen mit dem Evaluierungsfall auf. Vergleichen Sie nach einer Änderung nicht nur die Antwort, sondern auch die abgerufenen Passagen. Eine plausibel klingende Antwort kann einen Abruffehler verschleiern, wenn das Modell eine ähnliche Tatsache bereits kennt. Bei der nächsten Frage zu einer Regel aus Ihren eigenen Dokumenten kann es dennoch scheitern.

Chunk-Größe anhand Ihrer Evaluierungsfragen testen

Größere Chunks können ein Verfahren mitsamt seinen Ausnahmen bewahren, bringen aber auch irrelevanten Text in den Prompt. Kleinere Chunks erleichtern möglicherweise den Abruf einer Tatsache, trennen sie jedoch von einer Bedingung, unter der sie zutrifft. Überlappungen können an den Grenzen helfen, aber mehrere Ergebnisplätze mit fast identischen Passagen füllen. Prüfen Sie die zurückgegebenen Ergebnismengen, bevor Sie diese Einstellungen für die gesamte Sammlung ändern.

Markieren Sie für jede geprüfte Frage die Passagen, die für eine Antwort ausreichen. Prüfen Sie, ob sie zu den Ergebnissen gehören, die Ihre Anwendung an das Modell weitergibt. Erfassen Sie auch irrelevante und doppelte Ergebnisse. Bewerten Sie die endgültigen Antworten getrennt nach sachlicher Belegbarkeit, Quellenangaben und dem Erkennen fehlender Informationen. Ein einziger Gesamtwert erschwert es, die jeweils veränderte Komponente zu erkennen.

Bewahren Sie die Testfragen und Abrufeinstellungen zusammen mit jedem Export auf. Verwenden Sie beim Testen bereinigter Quelltexte zunächst dieselbe Abrufkonfiguration. Wenn Sie Chunk-Größe oder Ranking testen, lassen Sie die Quellversion unverändert. Werden beide zugleich geändert, kann sich die Antwort zwar verbessern, doch lässt sich nicht feststellen, welche Änderung dazu beigetragen hat.

Was sollten Sie aus Beeuni exportieren?

Bitten Sie um den bereinigten Text, Passagen-Datensätze mit Metadaten, ein Quellenverzeichnis und eine Liste der Extraktionsfehler. Importieren Sie diese Dateien in Ihre Indexierungspipeline.

Der Leitfaden zur Datensatzaufbereitung behandelt Prüfprotokolle und Datensplits. Wenn Sie die Aufbereitung aus Ihrer Anwendung heraus auslösen müssen, lesen Sie Beeuni als Agent-Backend verwenden.