Евалуације
Покрећите агенте на поновљивим задацима и упоредите њихове оцене.
Евалуација покреће агента на задацима чије резултате оцењују програми за проверу. Evals је експерименталан и подразумевано искључен. Укључите evals у Settings → Feature flags, па отворите Evals у пројекту. Потребно је доступно складиште датотека пројекта.
Прво покретање
- Покрените
beeuni evals initу повезаном пројекту да направите пример задатка у Harbor формату. - Додајте следећи скуп у
beeuni.yaml. Заменитеworkerагентом из пројекта. - Објавите измене командом
beeuni ship, па покрените скуп.
evals:
smoke:
tasks: evals/tasks
agents: [worker]
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>
Задатак са једним кораком садржи task.toml, instruction.md и програм за проверу tests/test.sh. Код задатака са више корака, сваки корак има своје упутство и програм за проверу у steps/<name>/. Након што се агент заустави, програм за проверу се копира у окружење покушаја и уписује /logs/verifier/reward.txt или reward.json.
Сваки покушај има сопствену сесију и sandbox. Троши кредите као и друге сесије. Почните са малим бројем задатака и покушаја.
Сви кораци једног покушаја користе исти радни простор. Покушаји подразумевано користе радни простор пројекта. Да бисте сваком покушају доделили засебан радни простор, у одељку [metadata.beeuni] датотеке task.toml подесите workspace = "fresh".
Резултати и контроле
Странице послова и покушаја приказују оцене, грешке и излаз програма за проверу. Датотеке су доступне и у /Evals/<job>/ у Files. Упоређујте покретања са истим задацима и истим моделом за оцењивање.
| Команда | Дејство |
|---|---|
beeuni evals cancel <job-id> |
Отказује посао и зауставља активне покушаје. |
У SDK-у planProjectEvalJob проверава план без покретања покушаја. startProjectEvalJob покреће посао, а getProjectEvalJob чита напредак. Користите исти idempotencyKey када понављате исти захтев за покретање. Остале команде су у beeuni evals --help.