Preparare i documenti per il RAG: correggi le fonti prima di modificare il prompt

Il tuo assistente continua a citare una vecchia regola della base di conoscenza o tralascia parte di una tabella? Beeuni può leggere i documenti originali, individuare copie obsolete ed errori di estrazione e preparare il testo corretto per l’indice di ricerca. Useremo una guida alle spedizioni per mostrare cosa controllare e quali file esportare.

La generazione aumentata dal recupero, o RAG, cerca brani pertinenti nei tuoi documenti e li fornisce al modello quando risponde a una domanda. Questi brani, spesso chiamati chunk, sono sezioni più piccole preparate per la ricerca. Un agente Beeuni può raccogliere i documenti dalla base di conoscenza collegata o da un sito di assistenza pubblico, estrarne il testo ed eseguire script per preparare questi brani. La tua applicazione li indicizza e li cerca con gli strumenti che preferisci.

Raccogli la base di conoscenza dove si trova

Per un sito di assistenza pubblico, fornisci all’agente un URL iniziale e indica le sezioni da includere. Chiedigli di seguire i link pertinenti, salvare il testo degli articoli e segnalare le pagine che non è riuscito ad aprire. Per la documentazione privata, collega il servizio e concedi l’accesso alla raccolta desiderata. Il solo URL privato non rende la pagina accessibile.

Mantieni un manifest della raccolta con il riferimento di ogni pagina o documento, il titolo, l’ora di recupero e le informazioni sulla versione, quando la fonte le fornisce. Un commit del repository può identificare un’istantanea della documentazione; una pagina di assistenza aggiornata continuamente potrebbe richiedere una copia salvata. Prima di preparare un’altra esportazione, l’agente può confrontare questo inventario con l’importazione precedente per individuare le pagine modificate, rimosse e aggiunte.

Parti da una domanda a cui l’applicazione risponde in modo errato

Trova nel documento originale il brano che dovrebbe rispondere alla domanda. Confronta la pagina con il testo estratto e con il segmento restituito dal recupero. Così puoi distinguere un problema di estrazione da un problema di recupero. Se il brano corretto è arrivato al modello, verifica come è stato usato nella risposta.

Un’intestazione di tabella può cambiare la risposta

Immagina una guida alle spedizioni con una tabella intitolata «Tempi di consegna, giorni lavorativi dalla spedizione». La riga relativa al servizio standard riporta il valore «3–5». Se l’estrazione conserva solo «Standard: 3–5», elimina sia l’unità di misura sia il momento da cui si comincia a contare. A quel punto il modello deve indovinare se il numero indica giorni, un prezzo o qualcos’altro.

Example of a passage with its context preserved:
Document: Shipping guide
Section: Delivery estimates
Service: Standard
Delivery time: 3–5 business days after dispatch
Source: sample-shipping-guide.pdf, page 2

Questo brano può supportare la domanda «Quanto tempo richiede la consegna standard dalla spedizione?». Non può rispondere a «Il mio ordine arriverà entro venerdì?» senza la data di spedizione e il calendario pertinente. Includi entrambe le domande nella verifica: la prima controlla che la tabella sia sopravvissuta all’estrazione, mentre la seconda verifica se l’applicazione riconosce le informazioni mancanti.

Quali informazioni dovrebbero accompagnare ogni brano?

Mantieni un ID stabile del documento, il titolo, la sezione, il riferimento alla pagina quando disponibile e la versione o la data di entrata in vigore. Conserva l’URL della fonte per le pagine pubbliche. Questi campi permettono all’applicazione di mostrare una citazione e distinguere due versioni con formulazioni simili.

Non esiste una dimensione dei segmenti adatta a ogni raccolta. Una breve risposta alle domande frequenti può restare intera. Una procedura lunga può richiedere più segmenti, ciascuno con l’intestazione della relativa sezione. Chiedi all’agente di esportare un campione, poi leggi i segmenti senza aprire la fonte. Controlla che termini, unità ed eccezioni siano ancora comprensibili.

L’agente può anche scrivere domande di valutazione?

Può preparare delle proposte basate sui documenti. Prima di usarle per valutare l’applicazione, verifica le risposte attese e i brani di fonte. Includi domande le cui risposte richiedono informazioni da più sezioni, domande su regole superate e domande a cui la raccolta non può rispondere. Tieni questo insieme di valutazione separato dagli esempi usati per regolare il sistema.

Segui un errore attraverso i risultati del recupero

Torniamo alla guida immaginaria alle spedizioni. Supponiamo che la guida attuale dica che la consegna standard richiede da 3 a 5 giorni lavorativi dalla spedizione, mentre una guida precedente indica da 2 a 3 giorni. L’applicazione risponde «2–3 giorni». Salva la domanda, i brani recuperati nell’ordine in cui sono stati restituiti, i relativi metadati e la risposta. Ora puoi indagare come la regola superata sia entrata nella risposta.

Se compare solo la guida precedente, controlla se quella aggiornata è stata importata e se un filtro per versione l’ha esclusa. Se compaiono entrambe le versioni, verifica come l’applicazione sceglie quale usare. Se il brano corretto arriva senza la sua intestazione, correggi l’estrazione o il confine del segmento. Se al modello arriva il brano completo e aggiornato, ma nella risposta manca ancora «giorni lavorativi dalla spedizione», indaga la generazione della risposta. Ripetere l’estrazione della raccolta non risolverebbe quest’ultimo problema.

Conserva questa traccia insieme al caso di valutazione. Dopo una modifica, confronta i brani oltre alla risposta. Una risposta plausibile può nascondere un errore di recupero se il modello conosce già un fatto simile. Potrebbe fallire alla domanda successiva su una regola specifica dei tuoi documenti.

Verifica la dimensione dei segmenti con le domande di valutazione

I segmenti più grandi possono preservare una procedura e le sue eccezioni, ma portano anche nel prompt testo non pertinente. I segmenti più piccoli possono agevolare il recupero di un’informazione, separandola però dalla condizione che la rende vera. La sovrapposizione può aiutare in corrispondenza dei confini, ma può riempire più posizioni dei risultati con brani quasi identici. Prima di modificare queste impostazioni per l’intera raccolta, controlla i risultati restituiti.

Per ogni domanda verificata, indica quali brani sono sufficienti a supportare una risposta. Controlla se compaiono tra i risultati che l’applicazione invia al modello. Registra anche i risultati irrilevanti e duplicati. Valuta separatamente le risposte finali in base al supporto fattuale, alle citazioni e al riconoscimento delle informazioni mancanti. Un unico punteggio complessivo rende più difficile capire quale parte è cambiata.

Conserva le domande di test e le impostazioni di recupero insieme a ogni esportazione. Quando provi un testo di origine più pulito, usa prima la stessa configurazione di recupero. Quando provi la dimensione dei segmenti o il ranking, mantieni fissa la versione della fonte. Modificare entrambe le cose contemporaneamente può migliorare la risposta, ma non ti permette di capire quale modifica abbia funzionato.

Cosa dovresti esportare da Beeuni?

Chiedi il testo ripulito, i record dei brani con i metadati, un manifest delle fonti e un elenco degli errori di estrazione. Importa questi file nella tua pipeline di indicizzazione.

La guida alla preparazione dei dataset illustra i record di verifica e le suddivisioni dei dati. Se devi avviare la preparazione dalla tua applicazione, consulta Usare Beeuni come backend per agenti.