---
title: Avaliações
description: Execute agentes em tarefas repetíveis e compare suas pontuações.
---

Uma avaliação executa um agente em tarefas cujo resultado é pontuado por verificadores. Evals é experimental e vem desativado. Ative `evals` em **Settings → Feature flags** e abra **Evals** no projeto. O armazenamento de arquivos do projeto precisa estar disponível.

## Primeira execução

1. Execute `beeuni evals init` no projeto vinculado para criar uma tarefa de exemplo no formato Harbor.
2. Adicione esta suíte a `beeuni.yaml`. Troque `worker` por um agente do projeto.
3. Publique as alterações com `beeuni ship` e inicie a suíte.

```yaml
evals:
  smoke:
    tasks: evals/tasks
    agents: [worker]
```

```bash
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>
```

Uma tarefa de uma só etapa inclui `task.toml`, `instruction.md` e o verificador `tests/test.sh`. Em tarefas com várias etapas, cada etapa tem suas próprias instruções e seu verificador em `steps/<name>/`. Depois que o agente para, o verificador é copiado para o ambiente da tentativa e grava `/logs/verifier/reward.txt` ou `reward.json`.

Cada tentativa tem sua própria sessão e sandbox. Ela consome créditos como outras sessões. Comece com poucas tarefas e tentativas.

Todas as etapas de uma tentativa usam o mesmo espaço de trabalho. Por padrão, as tentativas usam o espaço de trabalho do projeto. Para dar a cada tentativa seu próprio espaço, defina `workspace = "fresh"` na seção `[metadata.beeuni]` de `task.toml`.

## Resultados e controles

As páginas de jobs e tentativas mostram pontuações, erros e saídas do verificador. Os arquivos também ficam em `/Evals/<job>/`, em **Files**. Compare execuções com as mesmas tarefas e o mesmo modelo de avaliação.

| Comando | Efeito |
| --- | --- |
| `beeuni evals cancel <job-id>` | Cancela o job e interrompe as tentativas em andamento. |

No SDK, `planProjectEvalJob` verifica o plano sem iniciar tentativas. `startProjectEvalJob` inicia o job e `getProjectEvalJob` lê o progresso. Reutilize o mesmo `idempotencyKey` ao repetir uma solicitação de início idêntica. Veja mais comandos em `beeuni evals --help`.
