评测
用可重复的任务运行智能体,并比较评分结果。
评测让智能体执行一组任务,再由验证程序为结果评分。评测是实验功能,默认关闭。项目的文件存储可用时,在「项目设置 → 功能开关」中开启「评测」(evals),然后打开项目的「评测」页面。
首次运行
- 在已关联的项目中运行
beeuni evals init,创建 Harbor 格式的示例任务。 - 将下面的套件加入
beeuni.yaml,把worker换成项目中的智能体名称。 - 用
beeuni ship同步项目改动,再启动套件。
evals:
smoke:
tasks: evals/tasks
agents: [worker]
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>
单步骤任务包含 task.toml、instruction.md 和验证脚本 tests/test.sh。多步骤任务的说明和验证脚本放在各自的 steps/<name>/ 目录下。智能体停止后,验证脚本才会进入试验环境,并将结果写入 /logs/verifier/reward.txt 或 reward.json。
每次试验都有独立的会话和运行环境,像其他会话一样消耗积分。先用少量任务和较少的尝试次数验证配置。
多步骤任务的各步骤沿用同一个工作区。默认使用项目工作区;如果要为每次试验单独创建工作区,可在 task.toml 的 [metadata.beeuni] 下设置 workspace = "fresh"。
结果与控制
任务和试验页面显示评分、错误和验证程序输出。结果文件也可以在文件中的 /Evals/<job>/ 查看。比较智能体改动时,应保持任务和评分模型一致。
| 命令 | 作用 |
|---|---|
beeuni evals cancel <job-id> |
取消本次评测并停止正在运行的试验。 |
SDK 的 planProjectEvalJob 只检查运行计划,不启动试验;startProjectEvalJob 启动评测,getProjectEvalJob 读取进度。重试同一次启动请求时,复用相同的 idempotencyKey。数据集、单次试验控制和模型评分命令见 beeuni evals --help。