---
title: Evaluaciones
description: Ejecuta agentes en tareas repetibles y compara sus puntuaciones.
---

Una evaluación ejecuta un agente en tareas cuyos verificadores puntúan el resultado. Evals es experimental y está desactivado por defecto. Activa `evals` en **Settings → Feature flags** y abre **Evals** en el proyecto. El almacenamiento de archivos del proyecto debe estar disponible.

## Primera ejecución

1. Ejecuta `beeuni evals init` en el proyecto vinculado para crear una tarea de ejemplo en formato Harbor.
2. Añade esta suite a `beeuni.yaml`. Sustituye `worker` por un agente del proyecto.
3. Publica los cambios con `beeuni ship` e inicia la suite.

```yaml
evals:
  smoke:
    tasks: evals/tasks
    agents: [worker]
```

```bash
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>
```

Una tarea de un solo paso incluye `task.toml`, `instruction.md` y el verificador `tests/test.sh`. En las tareas de varios pasos, cada paso tiene sus propias instrucciones y su verificador en `steps/<name>/`. El verificador se copia al entorno del ensayo cuando el agente termina y escribe `/logs/verifier/reward.txt` o `reward.json`.

Cada ensayo tiene su propia sesión y sandbox. Consume créditos como otras sesiones. Empieza con pocas tareas e intentos.

Todos los pasos de un ensayo usan el mismo espacio de trabajo. Por defecto, los ensayos usan el espacio de trabajo del proyecto. Para dar a cada ensayo su propio espacio, configura `workspace = "fresh"` en `[metadata.beeuni]` dentro de `task.toml`.

## Resultados y controles

Las páginas de trabajos y ensayos muestran puntuaciones, errores y resultados del verificador. Los archivos también están en `/Evals/<job>/`, dentro de **Files**. Compara ejecuciones con las mismas tareas y el mismo modelo de evaluación.

| Comando | Efecto |
| --- | --- |
| `beeuni evals cancel <job-id>` | Cancela el trabajo y detiene los ensayos activos. |

En el SDK, `planProjectEvalJob` comprueba el plan sin iniciar ensayos. `startProjectEvalJob` inicia el trabajo y `getProjectEvalJob` lee el progreso. Reutiliza el mismo `idempotencyKey` al repetir una solicitud de inicio idéntica. Consulta `beeuni evals --help` para más comandos.
