Пређи на садржај
Beeuni
Српски
Esc
↑↓навигација↵отвори⌘Jпреглед
На овој страници

Евалуације

Покрећите агенте на поновљивим задацима и упоредите њихове оцене.

Евалуација покреће агента на задацима чије резултате оцењују програми за проверу. Evals је експерименталан и подразумевано искључен. Укључите evals у Settings → Feature flags, па отворите Evals у пројекту. Потребно је доступно складиште датотека пројекта.

Прво покретање

  1. Покрените beeuni evals init у повезаном пројекту да направите пример задатка у Harbor формату.
  2. Додајте следећи скуп у beeuni.yaml. Замените worker агентом из пројекта.
  3. Објавите измене командом beeuni ship, па покрените скуп.
evals:
  smoke:
    tasks: evals/tasks
    agents: [worker]
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>

Задатак са једним кораком садржи task.toml, instruction.md и програм за проверу tests/test.sh. Код задатака са више корака, сваки корак има своје упутство и програм за проверу у steps/<name>/. Након што се агент заустави, програм за проверу се копира у окружење покушаја и уписује /logs/verifier/reward.txt или reward.json.

Сваки покушај има сопствену сесију и sandbox. Троши кредите као и друге сесије. Почните са малим бројем задатака и покушаја.

Сви кораци једног покушаја користе исти радни простор. Покушаји подразумевано користе радни простор пројекта. Да бисте сваком покушају доделили засебан радни простор, у одељку [metadata.beeuni] датотеке task.toml подесите workspace = "fresh".

Резултати и контроле

Странице послова и покушаја приказују оцене, грешке и излаз програма за проверу. Датотеке су доступне и у /Evals/<job>/ у Files. Упоређујте покретања са истим задацима и истим моделом за оцењивање.

Команда Дејство
beeuni evals cancel <job-id> Отказује посао и зауставља активне покушаје.

У SDK-у planProjectEvalJob проверава план без покретања покушаја. startProjectEvalJob покреће посао, а getProjectEvalJob чита напредак. Користите исти idempotencyKey када понављате исти захтев за покретање. Остале команде су у beeuni evals --help.

Да ли вам је ова страница помогла?