コンテンツにスキップ
Beeuni
日本語
Esc
↑↓移動↵開く⌘Jプレビュー
このページの内容

評価

繰り返し実行できるタスクでエージェントを評価し、スコアを比較します。

評価では、エージェントにタスクを実行させ、検証プログラムが結果を採点します。Evals は実験的機能で、初期状態では無効です。Settings → Feature flags で evals を有効にし、プロジェクトの Evals を開きます。プロジェクトのファイルストレージが必要です。

最初の実行

  1. リンク済みのプロジェクトで beeuni evals init を実行し、Harbor 形式のサンプルタスクを作成します。
  2. 以下のスイートを beeuni.yaml に追加します。worker はプロジェクト内のエージェント名に置き換えます。
  3. beeuni ship で変更を公開してから、スイートを実行します。
evals:
  smoke:
    tasks: evals/tasks
    agents: [worker]
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>

単一ステップのタスクには task.toml、instruction.md、検証プログラムの tests/test.sh があります。複数ステップのタスクでは、各ステップの指示と検証プログラムは steps/<name>/ にあります。エージェントの停止後に検証プログラムが試行環境にコピーされ、/logs/verifier/reward.txt または reward.json にスコアを書き込みます。

各試行には専用のセッションとサンドボックスがあります。他のセッションと同様にクレジットを消費します。少数のタスクと試行から始めてください。

1 回の試行に含まれるすべてのステップは、同じワークスペースを使用します。既定では、試行はプロジェクトのワークスペースを使用します。試行ごとに専用のワークスペースを使うには、task.toml の [metadata.beeuni] で workspace = "fresh" を設定します。

結果と操作

ジョブと試行のページで、スコア、エラー、検証出力を確認できます。結果ファイルは Files の /Evals/<job>/ にも保存されます。比較時にはタスクと採点モデルを揃えます。

コマンド 動作
beeuni evals cancel <job-id> ジョブをキャンセルし、実行中の試行も停止します。

SDK の planProjectEvalJob は試行を開始せずに計画を確認します。startProjectEvalJob で開始し、getProjectEvalJob で進捗を取得します。同じ開始リクエストを再送する際は、同じ idempotencyKey を使います。その他の操作は beeuni evals --help で確認できます。

このページは役に立ちましたか?