Avaliações
Execute agentes em tarefas repetíveis e compare suas pontuações.
Uma avaliação executa um agente em tarefas cujo resultado é pontuado por verificadores. Evals é experimental e vem desativado. Ative evals em Settings → Feature flags e abra Evals no projeto. O armazenamento de arquivos do projeto precisa estar disponível.
Primeira execução
- Execute
beeuni evals initno projeto vinculado para criar uma tarefa de exemplo no formato Harbor. - Adicione esta suíte a
beeuni.yaml. Troqueworkerpor um agente do projeto. - Publique as alterações com
beeuni shipe inicie a suíte.
evals:
smoke:
tasks: evals/tasks
agents: [worker]
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>
Uma tarefa de uma só etapa inclui task.toml, instruction.md e o verificador tests/test.sh. Em tarefas com várias etapas, cada etapa tem suas próprias instruções e seu verificador em steps/<name>/. Depois que o agente para, o verificador é copiado para o ambiente da tentativa e grava /logs/verifier/reward.txt ou reward.json.
Cada tentativa tem sua própria sessão e sandbox. Ela consome créditos como outras sessões. Comece com poucas tarefas e tentativas.
Todas as etapas de uma tentativa usam o mesmo espaço de trabalho. Por padrão, as tentativas usam o espaço de trabalho do projeto. Para dar a cada tentativa seu próprio espaço, defina workspace = "fresh" na seção [metadata.beeuni] de task.toml.
Resultados e controles
As páginas de jobs e tentativas mostram pontuações, erros e saídas do verificador. Os arquivos também ficam em /Evals/<job>/, em Files. Compare execuções com as mesmas tarefas e o mesmo modelo de avaliação.
| Comando | Efeito |
|---|---|
beeuni evals cancel <job-id> |
Cancela o job e interrompe as tentativas em andamento. |
No SDK, planProjectEvalJob verifica o plano sem iniciar tentativas. startProjectEvalJob inicia o job e getProjectEvalJob lê o progresso. Reutilize o mesmo idempotencyKey ao repetir uma solicitação de início idêntica. Veja mais comandos em beeuni evals --help.