# Évaluations

Exécutez des agents sur des tâches reproductibles et comparez leurs scores.

Canonical page: https://beeuni.ai/docs/fr/work/evals

Une évaluation exécute un agent sur des tâches dont les vérificateurs notent le résultat. Evals est expérimental et désactivé par défaut. Activez `evals` dans **Settings → Feature flags**, puis ouvrez **Evals** dans le projet. Le stockage de fichiers du projet doit être disponible.

## Première exécution

1. Lancez `beeuni evals init` dans le projet lié pour créer une tâche au format Harbor.
2. Ajoutez la suite ci-dessous à `beeuni.yaml`. Remplacez `worker` par un agent du projet.
3. Publiez les modifications avec `beeuni ship`, puis lancez la suite.

```yaml
evals:
  smoke:
    tasks: evals/tasks
    agents: [worker]
```

```bash
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>
```

Une tâche à une seule étape contient `task.toml`, `instruction.md` et le vérificateur `tests/test.sh`. Pour une tâche en plusieurs étapes, chaque étape a ses propres instructions et son propre vérificateur dans `steps/<name>/`. Une fois l’agent arrêté, le vérificateur est copié dans l’environnement de l’essai et écrit `/logs/verifier/reward.txt` ou `reward.json`.

Chaque essai dispose de sa propre session et de son propre sandbox. Il consomme des crédits comme les autres sessions. Commencez avec peu de tâches et de tentatives.

Toutes les étapes d’un essai utilisent le même espace de travail. Par défaut, les essais utilisent l’espace de travail du projet. Pour attribuer un espace de travail à chaque essai, définissez `workspace = "fresh"` dans la section `[metadata.beeuni]` de `task.toml`.

## Résultats et commandes

Les pages des jobs et des essais affichent scores, erreurs et sorties du vérificateur. Les fichiers sont aussi disponibles sous `/Evals/<job>/` dans **Files**. Comparez des exécutions utilisant les mêmes tâches et le même modèle de notation.

| Commande | Effet |
| --- | --- |
| `beeuni evals cancel <job-id>` | Annule le job et arrête les essais en cours. |

Dans le SDK, `planProjectEvalJob` vérifie le plan sans démarrer d'essai. `startProjectEvalJob` démarre le job et `getProjectEvalJob` lit sa progression. Réutilisez le même `idempotencyKey` pour réessayer une demande de démarrage identique. Consultez `beeuni evals --help` pour les autres commandes.
