Evaluaciones
Ejecuta agentes en tareas repetibles y compara sus puntuaciones.
Una evaluación ejecuta un agente en tareas cuyos verificadores puntúan el resultado. Evals es experimental y está desactivado por defecto. Activa evals en Settings → Feature flags y abre Evals en el proyecto. El almacenamiento de archivos del proyecto debe estar disponible.
Primera ejecución
- Ejecuta
beeuni evals initen el proyecto vinculado para crear una tarea de ejemplo en formato Harbor. - Añade esta suite a
beeuni.yaml. Sustituyeworkerpor un agente del proyecto. - Publica los cambios con
beeuni shipe inicia la suite.
evals:
smoke:
tasks: evals/tasks
agents: [worker]
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>
Una tarea de un solo paso incluye task.toml, instruction.md y el verificador tests/test.sh. En las tareas de varios pasos, cada paso tiene sus propias instrucciones y su verificador en steps/<name>/. El verificador se copia al entorno del ensayo cuando el agente termina y escribe /logs/verifier/reward.txt o reward.json.
Cada ensayo tiene su propia sesión y sandbox. Consume créditos como otras sesiones. Empieza con pocas tareas e intentos.
Todos los pasos de un ensayo usan el mismo espacio de trabajo. Por defecto, los ensayos usan el espacio de trabajo del proyecto. Para dar a cada ensayo su propio espacio, configura workspace = "fresh" en [metadata.beeuni] dentro de task.toml.
Resultados y controles
Las páginas de trabajos y ensayos muestran puntuaciones, errores y resultados del verificador. Los archivos también están en /Evals/<job>/, dentro de Files. Compara ejecuciones con las mismas tareas y el mismo modelo de evaluación.
| Comando | Efecto |
|---|---|
beeuni evals cancel <job-id> |
Cancela el trabajo y detiene los ensayos activos. |
En el SDK, planProjectEvalJob comprueba el plan sin iniciar ensayos. startProjectEvalJob inicia el trabajo y getProjectEvalJob lee el progreso. Reutiliza el mismo idempotencyKey al repetir una solicitud de inicio idéntica. Consulta beeuni evals --help para más comandos.