---
title: 評価
description: 繰り返し実行できるタスクでエージェントを評価し、スコアを比較します。
---

評価では、エージェントにタスクを実行させ、検証プログラムが結果を採点します。Evals は実験的機能で、初期状態では無効です。**Settings → Feature flags** で `evals` を有効にし、プロジェクトの **Evals** を開きます。プロジェクトのファイルストレージが必要です。

## 最初の実行

1. リンク済みのプロジェクトで `beeuni evals init` を実行し、Harbor 形式のサンプルタスクを作成します。
2. 以下のスイートを `beeuni.yaml` に追加します。`worker` はプロジェクト内のエージェント名に置き換えます。
3. `beeuni ship` で変更を公開してから、スイートを実行します。

```yaml
evals:
  smoke:
    tasks: evals/tasks
    agents: [worker]
```

```bash
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>
```

単一ステップのタスクには `task.toml`、`instruction.md`、検証プログラムの `tests/test.sh` があります。複数ステップのタスクでは、各ステップの指示と検証プログラムは `steps/<name>/` にあります。エージェントの停止後に検証プログラムが試行環境にコピーされ、`/logs/verifier/reward.txt` または `reward.json` にスコアを書き込みます。

各試行には専用のセッションとサンドボックスがあります。他のセッションと同様にクレジットを消費します。少数のタスクと試行から始めてください。

1 回の試行に含まれるすべてのステップは、同じワークスペースを使用します。既定では、試行はプロジェクトのワークスペースを使用します。試行ごとに専用のワークスペースを使うには、`task.toml` の `[metadata.beeuni]` で `workspace = "fresh"` を設定します。

## 結果と操作

ジョブと試行のページで、スコア、エラー、検証出力を確認できます。結果ファイルは **Files** の `/Evals/<job>/` にも保存されます。比較時にはタスクと採点モデルを揃えます。

| コマンド | 動作 |
| --- | --- |
| `beeuni evals cancel <job-id>` | ジョブをキャンセルし、実行中の試行も停止します。 |

SDK の `planProjectEvalJob` は試行を開始せずに計画を確認します。`startProjectEvalJob` で開始し、`getProjectEvalJob` で進捗を取得します。同じ開始リクエストを再送する際は、同じ `idempotencyKey` を使います。その他の操作は `beeuni evals --help` で確認できます。
