---
title: Valutazioni
description: Esegui agenti su attività ripetibili e confronta i punteggi.
---

Una valutazione esegue un agente su attività il cui risultato viene valutato da un verificatore. Evals è sperimentale e disattivato per impostazione predefinita. Abilita `evals` in **Settings → Feature flags**, poi apri **Evals** nel progetto. L'archiviazione dei file del progetto deve essere disponibile.

## Prima esecuzione

1. Esegui `beeuni evals init` nel progetto collegato per creare un'attività di esempio in formato Harbor.
2. Aggiungi questa suite a `beeuni.yaml`. Sostituisci `worker` con un agente del progetto.
3. Pubblica le modifiche con `beeuni ship`, poi avvia la suite.

```yaml
evals:
  smoke:
    tasks: evals/tasks
    agents: [worker]
```

```bash
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>
```

Un’attività con un solo passaggio include `task.toml`, `instruction.md` e il verificatore `tests/test.sh`. Nelle attività con più passaggi, ciascun passaggio ha le proprie istruzioni e il proprio verificatore in `steps/<name>/`. Dopo l’arresto dell’agente, il verificatore viene copiato nell’ambiente della prova e scrive `/logs/verifier/reward.txt` o `reward.json`.

Ogni prova dispone di una propria sessione e sandbox. Consuma crediti come le altre sessioni. Inizia con poche attività e pochi tentativi.

Tutti i passaggi di una prova usano lo stesso spazio di lavoro. Per impostazione predefinita, le prove usano lo spazio di lavoro del progetto. Per assegnare uno spazio di lavoro a ogni prova, imposta `workspace = "fresh"` nella sezione `[metadata.beeuni]` di `task.toml`.

## Risultati e controlli

Le pagine dei job e delle prove mostrano punteggi, errori e output del verificatore. I file sono disponibili anche in `/Evals/<job>/`, in **Files**. Confronta esecuzioni con le stesse attività e lo stesso modello di valutazione.

| Comando | Effetto |
| --- | --- |
| `beeuni evals cancel <job-id>` | Annulla il job e arresta le prove in corso. |

Nell'SDK, `planProjectEvalJob` controlla il piano senza avviare prove. `startProjectEvalJob` avvia il job e `getProjectEvalJob` legge l'avanzamento. Riutilizza lo stesso `idempotencyKey` per ripetere una richiesta di avvio identica. Vedi `beeuni evals --help` per gli altri comandi.
