# 评测

用可重复的任务运行智能体，并比较评分结果。

Canonical page: https://beeuni.ai/docs/zh/work/evals

评测让智能体执行一组任务，再由验证程序为结果评分。评测是实验功能，默认关闭。项目的文件存储可用时，在「项目设置 → 功能开关」中开启「评测」（`evals`），然后打开项目的「评测」页面。

## 首次运行

1. 在已关联的项目中运行 `beeuni evals init`，创建 Harbor 格式的示例任务。
2. 将下面的套件加入 `beeuni.yaml`，把 `worker` 换成项目中的智能体名称。
3. 用 `beeuni ship` 同步项目改动，再启动套件。

```yaml
evals:
  smoke:
    tasks: evals/tasks
    agents: [worker]
```

```bash
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>
```

单步骤任务包含 `task.toml`、`instruction.md` 和验证脚本 `tests/test.sh`。多步骤任务的说明和验证脚本放在各自的 `steps/<name>/` 目录下。智能体停止后，验证脚本才会进入试验环境，并将结果写入 `/logs/verifier/reward.txt` 或 `reward.json`。

每次试验都有独立的会话和运行环境，像其他会话一样消耗积分。先用少量任务和较少的尝试次数验证配置。

多步骤任务的各步骤沿用同一个工作区。默认使用项目工作区；如果要为每次试验单独创建工作区，可在 `task.toml` 的 `[metadata.beeuni]` 下设置 `workspace = "fresh"`。

## 结果与控制

任务和试验页面显示评分、错误和验证程序输出。结果文件也可以在**文件**中的 `/Evals/<job>/` 查看。比较智能体改动时，应保持任务和评分模型一致。

| 命令 | 作用 |
| --- | --- |
| `beeuni evals cancel <job-id>` | 取消本次评测并停止正在运行的试验。 |

SDK 的 `planProjectEvalJob` 只检查运行计划，不启动试验；`startProjectEvalJob` 启动评测，`getProjectEvalJob` 读取进度。重试同一次启动请求时，复用相同的 `idempotencyKey`。数据集、单次试验控制和模型评分命令见 `beeuni evals --help`。
