跳到内容
Beeuni
中文
Esc
↑↓导航↵打开⌘J预览
本页内容

评测

用可重复的任务运行智能体,并比较评分结果。

评测让智能体执行一组任务,再由验证程序为结果评分。评测是实验功能,默认关闭。项目的文件存储可用时,在「项目设置 → 功能开关」中开启「评测」(evals),然后打开项目的「评测」页面。

首次运行

  1. 在已关联的项目中运行 beeuni evals init,创建 Harbor 格式的示例任务。
  2. 将下面的套件加入 beeuni.yaml,把 worker 换成项目中的智能体名称。
  3. 用 beeuni ship 同步项目改动,再启动套件。
evals:
  smoke:
    tasks: evals/tasks
    agents: [worker]
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>

单步骤任务包含 task.toml、instruction.md 和验证脚本 tests/test.sh。多步骤任务的说明和验证脚本放在各自的 steps/<name>/ 目录下。智能体停止后,验证脚本才会进入试验环境,并将结果写入 /logs/verifier/reward.txt 或 reward.json。

每次试验都有独立的会话和运行环境,像其他会话一样消耗积分。先用少量任务和较少的尝试次数验证配置。

多步骤任务的各步骤沿用同一个工作区。默认使用项目工作区;如果要为每次试验单独创建工作区,可在 task.toml 的 [metadata.beeuni] 下设置 workspace = "fresh"。

结果与控制

任务和试验页面显示评分、错误和验证程序输出。结果文件也可以在文件中的 /Evals/<job>/ 查看。比较智能体改动时,应保持任务和评分模型一致。

命令 作用
beeuni evals cancel <job-id> 取消本次评测并停止正在运行的试验。

SDK 的 planProjectEvalJob 只检查运行计划,不启动试验;startProjectEvalJob 启动评测,getProjectEvalJob 读取进度。重试同一次启动请求时,复用相同的 idempotencyKey。数据集、单次试验控制和模型评分命令见 beeuni evals --help。

这个页面有帮助吗?