Vai al contenuto
Beeuni
Italiano
Esc
↑↓naviga↵apri⌘Janteprima
In questa pagina

Valutazioni

Esegui agenti su attività ripetibili e confronta i punteggi.

Una valutazione esegue un agente su attività il cui risultato viene valutato da un verificatore. Evals è sperimentale e disattivato per impostazione predefinita. Abilita evals in Settings → Feature flags, poi apri Evals nel progetto. L’archiviazione dei file del progetto deve essere disponibile.

Prima esecuzione

  1. Esegui beeuni evals init nel progetto collegato per creare un’attività di esempio in formato Harbor.
  2. Aggiungi questa suite a beeuni.yaml. Sostituisci worker con un agente del progetto.
  3. Pubblica le modifiche con beeuni ship, poi avvia la suite.
evals:
  smoke:
    tasks: evals/tasks
    agents: [worker]
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>

Un’attività con un solo passaggio include task.toml, instruction.md e il verificatore tests/test.sh. Nelle attività con più passaggi, ciascun passaggio ha le proprie istruzioni e il proprio verificatore in steps/<name>/. Dopo l’arresto dell’agente, il verificatore viene copiato nell’ambiente della prova e scrive /logs/verifier/reward.txt o reward.json.

Ogni prova dispone di una propria sessione e sandbox. Consuma crediti come le altre sessioni. Inizia con poche attività e pochi tentativi.

Tutti i passaggi di una prova usano lo stesso spazio di lavoro. Per impostazione predefinita, le prove usano lo spazio di lavoro del progetto. Per assegnare uno spazio di lavoro a ogni prova, imposta workspace = "fresh" nella sezione [metadata.beeuni] di task.toml.

Risultati e controlli

Le pagine dei job e delle prove mostrano punteggi, errori e output del verificatore. I file sono disponibili anche in /Evals/<job>/, in Files. Confronta esecuzioni con le stesse attività e lo stesso modello di valutazione.

Comando Effetto
beeuni evals cancel <job-id> Annulla il job e arresta le prove in corso.

Nell’SDK, planProjectEvalJob controlla il piano senza avviare prove. startProjectEvalJob avvia il job e getProjectEvalJob legge l’avanzamento. Riutilizza lo stesso idempotencyKey per ripetere una richiesta di avvio identica. Vedi beeuni evals --help per gli altri comandi.

Questa pagina ti è stata utile?