Valutazioni
Esegui agenti su attività ripetibili e confronta i punteggi.
Una valutazione esegue un agente su attività il cui risultato viene valutato da un verificatore. Evals è sperimentale e disattivato per impostazione predefinita. Abilita evals in Settings → Feature flags, poi apri Evals nel progetto. L’archiviazione dei file del progetto deve essere disponibile.
Prima esecuzione
- Esegui
beeuni evals initnel progetto collegato per creare un’attività di esempio in formato Harbor. - Aggiungi questa suite a
beeuni.yaml. Sostituisciworkercon un agente del progetto. - Pubblica le modifiche con
beeuni ship, poi avvia la suite.
evals:
smoke:
tasks: evals/tasks
agents: [worker]
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>
Un’attività con un solo passaggio include task.toml, instruction.md e il verificatore tests/test.sh. Nelle attività con più passaggi, ciascun passaggio ha le proprie istruzioni e il proprio verificatore in steps/<name>/. Dopo l’arresto dell’agente, il verificatore viene copiato nell’ambiente della prova e scrive /logs/verifier/reward.txt o reward.json.
Ogni prova dispone di una propria sessione e sandbox. Consuma crediti come le altre sessioni. Inizia con poche attività e pochi tentativi.
Tutti i passaggi di una prova usano lo stesso spazio di lavoro. Per impostazione predefinita, le prove usano lo spazio di lavoro del progetto. Per assegnare uno spazio di lavoro a ogni prova, imposta workspace = "fresh" nella sezione [metadata.beeuni] di task.toml.
Risultati e controlli
Le pagine dei job e delle prove mostrano punteggi, errori e output del verificatore. I file sono disponibili anche in /Evals/<job>/, in Files. Confronta esecuzioni con le stesse attività e lo stesso modello di valutazione.
| Comando | Effetto |
|---|---|
beeuni evals cancel <job-id> |
Annulla il job e arresta le prove in corso. |
Nell’SDK, planProjectEvalJob controlla il piano senza avviare prove. startProjectEvalJob avvia il job e getProjectEvalJob legge l’avanzamento. Riutilizza lo stesso idempotencyKey per ripetere una richiesta di avvio identica. Vedi beeuni evals --help per gli altri comandi.