# Evals

Führen Sie Agenten mit wiederholbaren Aufgaben aus und vergleichen Sie ihre Bewertungen.

Canonical page: https://beeuni.ai/docs/de/work/evals

Eine Evaluation lässt einen Agenten Aufgaben bearbeiten und bewertet die Ergebnisse mit Prüfprogrammen. Evals ist experimentell und standardmäßig ausgeschaltet. Aktivieren Sie `evals` unter **Settings → Feature flags** und öffnen Sie **Evals** im Projekt. Der Dateispeicher des Projekts muss verfügbar sein.

## Erster Durchlauf

1. Führen Sie im verknüpften Projekt `beeuni evals init` aus, um eine Beispielaufgabe im Harbor-Format zu erstellen.
2. Ergänzen Sie die folgende Suite in `beeuni.yaml`. Ersetzen Sie `worker` durch einen Projektagenten.
3. Veröffentlichen Sie die Änderungen mit `beeuni ship` und starten Sie die Suite.

```yaml
evals:
  smoke:
    tasks: evals/tasks
    agents: [worker]
```

```bash
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>
```

Eine einstufige Aufgabe enthält `task.toml`, `instruction.md` und das Prüfprogramm `tests/test.sh`. Bei mehrstufigen Aufgaben hat jeder Schritt seine eigene Anleitung und sein eigenes Prüfprogramm unter `steps/<name>/`. Das Prüfprogramm wird nach dem Ende des Agentenlaufs in die Versuchsumgebung kopiert und schreibt `/logs/verifier/reward.txt` oder `reward.json`.

Jeder Versuch verwendet eine eigene Sitzung und Sandbox. Er verbraucht Credits wie andere Sitzungen. Beginnen Sie mit wenigen Aufgaben und Versuchen.

Alle Schritte eines Versuchs verwenden denselben Arbeitsbereich. Standardmäßig laufen die Versuche im Arbeitsbereich des Projekts. Für einen eigenen Arbeitsbereich pro Versuch setzen Sie in `task.toml` unter `[metadata.beeuni]` die Option `workspace = "fresh"`.

## Ergebnisse und Steuerung

Die Job- und Versuchsseiten zeigen Bewertungen, Fehler und Prüfausgaben. Ergebnisdateien finden Sie auch unter `/Evals/<job>/` in **Files**. Vergleichen Sie Durchläufe mit denselben Aufgaben und demselben Bewertungsmodell.

| Befehl | Wirkung |
| --- | --- |
| `beeuni evals cancel <job-id>` | Bricht den Job ab und stoppt laufende Versuche. |

Im SDK prüft `planProjectEvalJob` den Plan ohne Versuchsstart. `startProjectEvalJob` startet den Job, `getProjectEvalJob` liest den Fortschritt. Verwenden Sie bei Wiederholung derselben Startanfrage denselben `idempotencyKey`. Weitere Befehle finden Sie unter `beeuni evals --help`.
