Saltar para o conteúdo
Beeuni
Português
Esc
↑↓navegar↵abrir⌘Jpré-visualizar
Nesta página

Avaliações

Execute agentes em tarefas repetíveis e compare suas pontuações.

Uma avaliação executa um agente em tarefas cujo resultado é pontuado por verificadores. Evals é experimental e vem desativado. Ative evals em Settings → Feature flags e abra Evals no projeto. O armazenamento de arquivos do projeto precisa estar disponível.

Primeira execução

  1. Execute beeuni evals init no projeto vinculado para criar uma tarefa de exemplo no formato Harbor.
  2. Adicione esta suíte a beeuni.yaml. Troque worker por um agente do projeto.
  3. Publique as alterações com beeuni ship e inicie a suíte.
evals:
  smoke:
    tasks: evals/tasks
    agents: [worker]
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>

Uma tarefa de uma só etapa inclui task.toml, instruction.md e o verificador tests/test.sh. Em tarefas com várias etapas, cada etapa tem suas próprias instruções e seu verificador em steps/<name>/. Depois que o agente para, o verificador é copiado para o ambiente da tentativa e grava /logs/verifier/reward.txt ou reward.json.

Cada tentativa tem sua própria sessão e sandbox. Ela consome créditos como outras sessões. Comece com poucas tarefas e tentativas.

Todas as etapas de uma tentativa usam o mesmo espaço de trabalho. Por padrão, as tentativas usam o espaço de trabalho do projeto. Para dar a cada tentativa seu próprio espaço, defina workspace = "fresh" na seção [metadata.beeuni] de task.toml.

Resultados e controles

As páginas de jobs e tentativas mostram pontuações, erros e saídas do verificador. Os arquivos também ficam em /Evals/<job>/, em Files. Compare execuções com as mesmas tarefas e o mesmo modelo de avaliação.

Comando Efeito
beeuni evals cancel <job-id> Cancela o job e interrompe as tentativas em andamento.

No SDK, planProjectEvalJob verifica o plano sem iniciar tentativas. startProjectEvalJob inicia o job e getProjectEvalJob lê o progresso. Reutilize o mesmo idempotencyKey ao repetir uma solicitação de início idêntica. Veja mais comandos em beeuni evals --help.

Esta página foi útil?