# Евалуације

Покрећите агенте на поновљивим задацима и упоредите њихове оцене.

Canonical page: https://beeuni.ai/docs/sr/work/evals

Евалуација покреће агента на задацима чије резултате оцењују програми за проверу. Evals је експерименталан и подразумевано искључен. Укључите `evals` у **Settings → Feature flags**, па отворите **Evals** у пројекту. Потребно је доступно складиште датотека пројекта.

## Прво покретање

1. Покрените `beeuni evals init` у повезаном пројекту да направите пример задатка у Harbor формату.
2. Додајте следећи скуп у `beeuni.yaml`. Замените `worker` агентом из пројекта.
3. Објавите измене командом `beeuni ship`, па покрените скуп.

```yaml
evals:
  smoke:
    tasks: evals/tasks
    agents: [worker]
```

```bash
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>
```

Задатак са једним кораком садржи `task.toml`, `instruction.md` и програм за проверу `tests/test.sh`. Код задатака са више корака, сваки корак има своје упутство и програм за проверу у `steps/<name>/`. Након што се агент заустави, програм за проверу се копира у окружење покушаја и уписује `/logs/verifier/reward.txt` или `reward.json`.

Сваки покушај има сопствену сесију и sandbox. Троши кредите као и друге сесије. Почните са малим бројем задатака и покушаја.

Сви кораци једног покушаја користе исти радни простор. Покушаји подразумевано користе радни простор пројекта. Да бисте сваком покушају доделили засебан радни простор, у одељку `[metadata.beeuni]` датотеке `task.toml` подесите `workspace = "fresh"`.

## Резултати и контроле

Странице послова и покушаја приказују оцене, грешке и излаз програма за проверу. Датотеке су доступне и у `/Evals/<job>/` у **Files**. Упоређујте покретања са истим задацима и истим моделом за оцењивање.

| Команда | Дејство |
| --- | --- |
| `beeuni evals cancel <job-id>` | Отказује посао и зауставља активне покушаје. |

У SDK-у `planProjectEvalJob` проверава план без покретања покушаја. `startProjectEvalJob` покреће посао, а `getProjectEvalJob` чита напредак. Користите исти `idempotencyKey` када понављате исти захтев за покретање. Остале команде су у `beeuni evals --help`.
