Evals
Führen Sie Agenten mit wiederholbaren Aufgaben aus und vergleichen Sie ihre Bewertungen.
Eine Evaluation lässt einen Agenten Aufgaben bearbeiten und bewertet die Ergebnisse mit Prüfprogrammen. Evals ist experimentell und standardmäßig ausgeschaltet. Aktivieren Sie evals unter Settings → Feature flags und öffnen Sie Evals im Projekt. Der Dateispeicher des Projekts muss verfügbar sein.
Erster Durchlauf
- Führen Sie im verknüpften Projekt
beeuni evals initaus, um eine Beispielaufgabe im Harbor-Format zu erstellen. - Ergänzen Sie die folgende Suite in
beeuni.yaml. Ersetzen Sieworkerdurch einen Projektagenten. - Veröffentlichen Sie die Änderungen mit
beeuni shipund starten Sie die Suite.
evals:
smoke:
tasks: evals/tasks
agents: [worker]
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>
Eine einstufige Aufgabe enthält task.toml, instruction.md und das Prüfprogramm tests/test.sh. Bei mehrstufigen Aufgaben hat jeder Schritt seine eigene Anleitung und sein eigenes Prüfprogramm unter steps/<name>/. Das Prüfprogramm wird nach dem Ende des Agentenlaufs in die Versuchsumgebung kopiert und schreibt /logs/verifier/reward.txt oder reward.json.
Jeder Versuch verwendet eine eigene Sitzung und Sandbox. Er verbraucht Credits wie andere Sitzungen. Beginnen Sie mit wenigen Aufgaben und Versuchen.
Alle Schritte eines Versuchs verwenden denselben Arbeitsbereich. Standardmäßig laufen die Versuche im Arbeitsbereich des Projekts. Für einen eigenen Arbeitsbereich pro Versuch setzen Sie in task.toml unter [metadata.beeuni] die Option workspace = "fresh".
Ergebnisse und Steuerung
Die Job- und Versuchsseiten zeigen Bewertungen, Fehler und Prüfausgaben. Ergebnisdateien finden Sie auch unter /Evals/<job>/ in Files. Vergleichen Sie Durchläufe mit denselben Aufgaben und demselben Bewertungsmodell.
| Befehl | Wirkung |
|---|---|
beeuni evals cancel <job-id> |
Bricht den Job ab und stoppt laufende Versuche. |
Im SDK prüft planProjectEvalJob den Plan ohne Versuchsstart. startProjectEvalJob startet den Job, getProjectEvalJob liest den Fortschritt. Verwenden Sie bei Wiederholung derselben Startanfrage denselben idempotencyKey. Weitere Befehle finden Sie unter beeuni evals --help.