Crea un dataset di addestramento AI dai documenti che hai già

Lo storico dell’assistenza può servire ad addestrare un modello che classifica le richieste, ma le informazioni sono sparse tra ticket e risposte. Beeuni può raccogliere le conversazioni che scegli, trasformarle in esempi etichettati e controllare campi mancanti e duplicati. Tu verifichi le etichette dubbie e ottieni un dataset JSONL, con un record JSON per riga e link ai ticket originali.

Definisci il comportamento prima del formato del file

Supponiamo che tu voglia un modello che classifichi le richieste in arrivo. Ogni esempio deve includere una richiesta e una categoria approvata. Se vuoi risposte basate su un manuale, l’esempio deve includere una domanda, il testo di supporto e una risposta verificata. Trasformare ogni paragrafo in una domanda non garantisce che le risposte siano corrette o utili.

Collega il servizio che contiene il materiale oppure consenti all’agente di accedere al repository della documentazione. Inizia da una raccolta identificata o da un intervallo di date. Per la documentazione pubblica, indica il sito e le sezioni da includere. Prima di esaminare i primi esempi, chiedi all’agente di elencare le fonti raccolte e le pagine che non è riuscito a leggere.

Affronta prima un piccolo problema di etichettatura

Immagina un team di assistenza fittizio che prepara un classificatore di richieste. Vuole usare quattro etichette: fatturazione, accesso all’account, assistenza sul prodotto e da esaminare. Tramite un connettore autorizzato per l’assistenza, l’agente legge i ticket chiusi in un intervallo di date concordato. Raccogli solo i campi necessari per l’etichettatura e il tracciamento delle fonti, escludendo i dati di contatto e gli allegati non pertinenti. La coda a cui è stato assegnato un ticket non corrisponde necessariamente alla sua etichetta corretta: un addetto alla fatturazione potrebbe aver risposto a una domanda sull’accesso inoltrata da un altro team.

Salva una copia delle fonti nel Computer, insieme ai riferimenti dei ticket, alla regola di selezione e all’ora della raccolta. Esegui la conversione su quella copia, così un ticket modificato a revisione in corso non cambia gli esempi senza che te ne accorga. L’agente può scrivere ed eseguire gli script di estrazione e convalida, poi restituire insieme il dataset, gli script e il rapporto di revisione.

Inizia con richieste che includono messaggi brevi, conversazioni lunghe e più di un problema. Decidi quali informazioni saranno disponibili al momento della previsione. Se il modello vedrà solo il primo messaggio del cliente, non inserire nell’input di addestramento la risoluzione finale. Altrimenti, imparerà da informazioni che la tua applicazione non avrà quando arriverà una nuova richiesta.

Prima di chiedere all’agente di etichettare il resto, definisci la regola per la terza riga. Potresti instradare le richieste in base all’impedimento immediato oppure inviare a revisione ogni richiesta con intenti in conflitto. Entrambe le politiche possono essere ragionevoli. Se gli annotatori le applicano in modo diverso, il modello apprenderà da esempi incoerenti.

Usa i disaccordi per migliorare le linee guida di etichettatura

Chiedi a due revisori di etichettare in modo indipendente lo stesso piccolo gruppo di esempi. Conserva le etichette originali e la decisione finale. In caso di disaccordo, registra il motivo: contesto mancante, categorie sovrapposte o errore di etichettatura. Un agente può raccogliere questi casi in un file da esaminare, ma la politica di instradamento deve essere definita dalla persona responsabile del flusso di lavoro.

Se una decisione modifica le linee guida di etichettatura, rivedi gli esempi precedenti a cui si applica la nuova regola. Nel caso del classificatore fittizio, scegliere “impedimento immediato” assegna la richiesta di annullamento alla categoria accesso all’account. Anche gli altri messaggi che combinano problemi di accesso e di pagamento dovranno seguire lo stesso criterio. Correggere solo la riga contestata lascia intatta l’incoerenza precedente.

Tieni i messaggi delle fonti separati dalle varianti sintetiche. Riformulare una richiesta dieci volte può aiutare a coprire modi diversi di esprimersi, ma non aggiunge dieci situazioni indipendenti. Se generi varianti, registra l’esempio di origine e controlla che il significato sia rimasto invariato. Una piccola modifica, come passare da «mi è stato addebitato» a «mi verrà addebitato», può cambiare l’etichetta prevista.

Conserva un registro di revisione prima di creare i record di addestramento

Usa uno schema intermedio che associ ogni esempio alla sua fonte. Ecco come potrebbe apparire un record di revisione inventato per un dataset di domande e risposte. Le domande e le risposte del dataset devono provenire da materiale verificato da te.

{"id":"sample-001","source":"sample-handbook.txt","section":"Opening hours","question":"When does the desk open?","answer":"The desk opens at 9 a.m.","review_status":"pending","split":"unassigned"}

Questo è uno schema di lavoro, non un payload per un’API di addestramento. Dopo la revisione, converti i record approvati nel formato richiesto dal tuo strumento di addestramento. Se lo strumento accetta solo messaggi o coppie di input e output, conserva i riferimenti alle fonti e le decisioni di revisione in un file separato.

Assegna all’agente controlli che possa eseguire

• Struttura: analizza ogni riga JSONL e verifica che contenga i campi previsti con i tipi di valore corretti.
• Fonti: verifica che ogni esempio rimandi a una fonte e a una sezione esistenti.
• Duplicati: confronta il testo normalizzato e poi esamina separatamente i quasi duplicati. Formulazioni simili possono comunque descrivere fatti diversi.
• Privacy: cerca dati personali e credenziali, poi controlla i record segnalati prima dell’esportazione.
• Copertura: conta gli esempi per categoria ed elenca quelle con poco o nessun materiale verificato.

Uno script può controllare che un riferimento alla fonte esista, ma non può dimostrare che la risposta sia supportata da quella fonte. Esamina le risposte, comprese quelle associate a un contesto mancante o a passaggi contraddittori. Tieni le proposte generate separate dai record approvati.

Non inserire lo stesso caso nei dati di addestramento e di test

Decidi che cosa deve misurare la valutazione. Per verificare le prestazioni su documenti mai visti, mantieni nella stessa suddivisione tutti gli esempi provenienti da un singolo documento. Se più file descrivono lo stesso caso, raggruppali invece per caso. Una suddivisione casuale delle righe può inserire nell’addestramento una copia quasi identica di una risposta di valutazione.

Richiedi train.jsonl, validation.jsonl, un manifest delle fonti e un rapporto di convalida. Il rapporto dovrebbe includere il numero di record, quelli rifiutati, i gruppi di duplicati e la regola di suddivisione. Quando il dataset supera questi controlli, puoi chiedere a Beeuni di eseguire un esperimento di fine-tuning sul computer di addestramento collegato.

Per il classificatore, una consegna utilizzabile comprende le definizioni delle etichette, i campi di input e la regola per le richieste ambigue, oltre ai file JSONL. Includi lo script di preparazione e le relative impostazioni, così un altro sviluppatore può riprodurre la conversione. Registra da quale gruppo di fonti proviene l’esportazione: un file chiamato final.jsonl non dice a chi lo esamina che cosa è cambiato rispetto all’esportazione precedente.

Se la fonte iniziale è un foglio di calcolo, la guida alla pulizia dei CSV illustra identificatori e valori mancanti. Per integrare la preparazione dei dataset nella tua interfaccia, inizia dalla guida all’SDK.