Saltar al contenido
Beeuni
Español
Esc
↑↓navegar↵abrir⌘Jvista previa
En esta página

Evaluaciones

Ejecuta agentes en tareas repetibles y compara sus puntuaciones.

Una evaluación ejecuta un agente en tareas cuyos verificadores puntúan el resultado. Evals es experimental y está desactivado por defecto. Activa evals en Settings → Feature flags y abre Evals en el proyecto. El almacenamiento de archivos del proyecto debe estar disponible.

Primera ejecución

  1. Ejecuta beeuni evals init en el proyecto vinculado para crear una tarea de ejemplo en formato Harbor.
  2. Añade esta suite a beeuni.yaml. Sustituye worker por un agente del proyecto.
  3. Publica los cambios con beeuni ship e inicia la suite.
evals:
  smoke:
    tasks: evals/tasks
    agents: [worker]
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>

Una tarea de un solo paso incluye task.toml, instruction.md y el verificador tests/test.sh. En las tareas de varios pasos, cada paso tiene sus propias instrucciones y su verificador en steps/<name>/. El verificador se copia al entorno del ensayo cuando el agente termina y escribe /logs/verifier/reward.txt o reward.json.

Cada ensayo tiene su propia sesión y sandbox. Consume créditos como otras sesiones. Empieza con pocas tareas e intentos.

Todos los pasos de un ensayo usan el mismo espacio de trabajo. Por defecto, los ensayos usan el espacio de trabajo del proyecto. Para dar a cada ensayo su propio espacio, configura workspace = "fresh" en [metadata.beeuni] dentro de task.toml.

Resultados y controles

Las páginas de trabajos y ensayos muestran puntuaciones, errores y resultados del verificador. Los archivos también están en /Evals/<job>/, dentro de Files. Compara ejecuciones con las mismas tareas y el mismo modelo de evaluación.

Comando Efecto
beeuni evals cancel <job-id> Cancela el trabajo y detiene los ensayos activos.

En el SDK, planProjectEvalJob comprueba el plan sin iniciar ensayos. startProjectEvalJob inicia el trabajo y getProjectEvalJob lee el progreso. Reutiliza el mismo idempotencyKey al repetir una solicitud de inicio idéntica. Consulta beeuni evals --help para más comandos.

¿Te ha resultado útil esta página?