Usa Beeuni per eseguire e valutare un esperimento di fine-tuning di un modello

Lo script di addestramento si interrompe durante la notte. La cartella di output contiene un checkpoint, cioè lo stato del modello salvato in un momento dell’addestramento, ma il log termina prima della valutazione. L’addestramento è terminato? Si può caricare quel modello salvato? Quali impostazioni sono state usate? Un agente Beeuni può esaminare i file e i log, provare a caricare il checkpoint e indicare che cosa è terminato prima che tu decida se eseguire di nuovo il lavoro.

Con accesso al computer di addestramento, l’agente può esaminare il codice e i dati, eseguire comandi, leggere i log e raccogliere i risultati della valutazione. Scegli tu il modello e stabilisci che cosa considerare un miglioramento. Beeuni usa il software di addestramento e le risorse di calcolo disponibili su quel computer per svolgere il lavoro.

Parti da un comportamento che vuoi modificare

Considera il classificatore di richieste di supporto della guida al dataset. Assegna le richieste alle categorie fatturazione, accesso all’account, assistenza sul prodotto o revisione. Vuoi verificare se un modello sottoposto a fine-tuning colloca le richieste nella categoria corretta con più regolarità rispetto al modello di base con istruzioni. Mantieni gli esempi che riguardano sia l’accesso sia la fatturazione: mostreranno se il modello ha imparato quale categoria ha la priorità quando una richiesta contiene più problemi.

Fornisci all’agente le definizioni delle etichette, i record di addestramento revisionati e un set di valutazione separato. Prima di modificare i pesi, fagli eseguire il modello di base su quel set. Salva l’identificativo del modello, le istruzioni, le impostazioni di generazione e le previsioni. Senza questa baseline, il fatto che il comando di addestramento sia andato a buon fine dice ben poco sull’utilità del lavoro aggiuntivo.

Configura l’accesso al computer di addestramento

Connetti il computer che eseguirà l’esperimento tramite Computer Tunnel e selezionalo nel profilo attivo. Consenti l’accesso al filesystem e alla shell nella directory di addestramento. Indica all’agente il repository, la posizione del dataset e l’ambiente Python. Per un addestramento su GPU, chiedigli di controllare il dispositivo disponibile, la memoria, i driver e la compatibilità del framework prima di scegliere le impostazioni.

Il modello di base e il metodo di addestramento determinano la memoria e la potenza di calcolo necessarie. Con un metodo basato su adapter, addestri un piccolo insieme di parametri aggiuntivi mantenendo fissi i pesi del modello di base. Aggiornare tutti i pesi richiede in genere più risorse. Chiedi all’agente Beeuni di esaminare lo script di addestramento e l’hardware disponibile, poi di spiegare se le impostazioni previste sono adatte. Esamina ogni proposta di installazione di pacchetti, download di modelli o modifica dell’ambiente prima di iniziare.

Use the connected training computer and repository I specify.
Inspect the training script, model access, Python environment, and available devices.
Validate the reviewed dataset and keep the evaluation set separate.
Run the base-model evaluation and save its predictions.
Propose a small fine-tuning run with the settings and output directory shown.
Wait for my approval before starting training or changing the environment.
Save the command, configuration, logs, and evaluation results for each run.

Fai in modo che la prima esecuzione sia abbastanza piccola da poter essere esaminata

Prima di un’esecuzione completa, usa un piccolo sottoinsieme dei dati di addestramento per verificare il flusso di lavoro. Il tokenizer riesce a leggere i record? Le etichette sono rappresentate in modo coerente? Il modello sta imparando a prevedere il testo desiderato? Lo script riesce a salvare un checkpoint e a caricarlo per rispondere a una richiesta? Questi controlli fanno emergere problemi di configurazione prima che tu investa tempo nell’addestramento sull’intero dataset.

Chiedi all’agente Beeuni di mostrare un esempio esattamente come lo leggerà lo script di addestramento. Fagli distinguere il testo che il modello deve imparare a prevedere da quello fornito soltanto come contesto. La loss di addestramento misura gli errori su quelle previsioni. Se lo script include i campi sbagliati, l’addestramento può svolgersi normalmente insegnando però il comportamento sbagliato. Esamina questo esempio prima di affidarti a un grafico della loss.

Tieni ogni esperimento in una directory di output separata. Registra la revisione del codice, la versione del dataset, il modello di base, il metodo di addestramento, il seed e le impostazioni. Se il metodo salva solo un adapter, annota quale modello di base serve per usarlo. Una cartella di pesi dovrebbe includere informazioni sufficienti per ricaricare il modello.

Controlla l’avanzamento dell’addestramento senza riavviarlo

Usa il job runner del computer di addestramento o una sessione terminale persistente, salvando i log su disco. Chiedi all’agente di annotare come controllare e interrompere il job. Un comando avviato durante una chiamata allo strumento richiede una gestione dei processi apposita: la connessione alla chat non dovrebbe essere l’unica traccia del suo avvio.

Quando chiedi un aggiornamento, l’agente può controllare il job registrato, leggere il log più recente ed esaminare i checkpoint salvati. Se la connessione cade, controlla se lo stesso job è ancora in esecuzione prima di avviarne un altro. La possibilità di riprendere da un checkpoint dipende da ciò che il framework di addestramento ha salvato, inclusi lo stato dell’optimizer e dello scheduler, quando necessari.

Se si verifica un errore di memoria insufficiente, chiedi all’agente di conservare la configurazione fallita e leggere l’errore prima di proporre una modifica. Ridurre la dimensione del batch, accorciare le sequenze o cambiare il metodo di addestramento può influire sia sull’uso della memoria sia sull’esperimento. Registra le nuove impostazioni come un’altra esecuzione, così il confronto resta comprensibile.

Confronta gli errori, poi decidi cosa mantenere

Esegui il modello sottoposto a fine-tuning sugli stessi esempi di valutazione usati per il modello di base. Non includere questi esempi nei dati di addestramento e mantieni fisse le impostazioni di previsione e le regole di valutazione. Per il classificatore di supporto, confronta i risultati di ogni categoria ed esamina le richieste a cui è stata assegnata una categoria diversa. Un aumento dell’accuratezza complessiva può nascondere prestazioni peggiori proprio sui casi rari che ti interessano.

Chiedi a Beeuni di scrivere un rapporto che colleghi le previsioni cambiate agli esempi di origine e alle impostazioni dell’esecuzione. Se dopo aver esaminato questi errori modifichi il dataset, usa un set di test separato per la decisione finale. Regolare ripetutamente il modello sugli stessi esempi può migliorare i risultati della valutazione senza migliorare le prestazioni su nuove richieste.

Conserva insieme i pesi o l’adapter selezionati, le istruzioni di caricamento, i dettagli dell’ambiente e il rapporto di valutazione. Prova a caricare il risultato in un nuovo processo. Potrai procedere con il deployment una volta approvato il confronto; nel frattempo, il modello esistente può continuare a servire la tua applicazione mentre l’esperimento resta separato.