Aller au contenu
Beeuni
Français
Esc
↑↓naviguer↵ouvrir⌘Japerçu
Sur cette page

Évaluations

Exécutez des agents sur des tâches reproductibles et comparez leurs scores.

Une évaluation exécute un agent sur des tâches dont les vérificateurs notent le résultat. Evals est expérimental et désactivé par défaut. Activez evals dans Settings → Feature flags, puis ouvrez Evals dans le projet. Le stockage de fichiers du projet doit être disponible.

Première exécution

  1. Lancez beeuni evals init dans le projet lié pour créer une tâche au format Harbor.
  2. Ajoutez la suite ci-dessous à beeuni.yaml. Remplacez worker par un agent du projet.
  3. Publiez les modifications avec beeuni ship, puis lancez la suite.
evals:
  smoke:
    tasks: evals/tasks
    agents: [worker]
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>

Une tâche à une seule étape contient task.toml, instruction.md et le vérificateur tests/test.sh. Pour une tâche en plusieurs étapes, chaque étape a ses propres instructions et son propre vérificateur dans steps/<name>/. Une fois l’agent arrêté, le vérificateur est copié dans l’environnement de l’essai et écrit /logs/verifier/reward.txt ou reward.json.

Chaque essai dispose de sa propre session et de son propre sandbox. Il consomme des crédits comme les autres sessions. Commencez avec peu de tâches et de tentatives.

Toutes les étapes d’un essai utilisent le même espace de travail. Par défaut, les essais utilisent l’espace de travail du projet. Pour attribuer un espace de travail à chaque essai, définissez workspace = "fresh" dans la section [metadata.beeuni] de task.toml.

Résultats et commandes

Les pages des jobs et des essais affichent scores, erreurs et sorties du vérificateur. Les fichiers sont aussi disponibles sous /Evals/<job>/ dans Files. Comparez des exécutions utilisant les mêmes tâches et le même modèle de notation.

Commande Effet
beeuni evals cancel <job-id> Annule le job et arrête les essais en cours.

Dans le SDK, planProjectEvalJob vérifie le plan sans démarrer d’essai. startProjectEvalJob démarre le job et getProjectEvalJob lit sa progression. Réutilisez le même idempotencyKey pour réessayer une demande de démarrage identique. Consultez beeuni evals --help pour les autres commandes.

Cette page vous a-t-elle été utile ?