Zum Inhalt springen
Beeuni
Deutsch
Esc
↑↓navigieren↵öffnen⌘Jvorschau
Auf dieser Seite

Evals

Führen Sie Agenten mit wiederholbaren Aufgaben aus und vergleichen Sie ihre Bewertungen.

Eine Evaluation lässt einen Agenten Aufgaben bearbeiten und bewertet die Ergebnisse mit Prüfprogrammen. Evals ist experimentell und standardmäßig ausgeschaltet. Aktivieren Sie evals unter Settings → Feature flags und öffnen Sie Evals im Projekt. Der Dateispeicher des Projekts muss verfügbar sein.

Erster Durchlauf

  1. Führen Sie im verknüpften Projekt beeuni evals init aus, um eine Beispielaufgabe im Harbor-Format zu erstellen.
  2. Ergänzen Sie die folgende Suite in beeuni.yaml. Ersetzen Sie worker durch einen Projektagenten.
  3. Veröffentlichen Sie die Änderungen mit beeuni ship und starten Sie die Suite.
evals:
  smoke:
    tasks: evals/tasks
    agents: [worker]
beeuni evals init
beeuni evals run smoke --attempts 3 --wait
beeuni evals show <job-id>
beeuni evals compare <baseline-job-id> <new-job-id>

Eine einstufige Aufgabe enthält task.toml, instruction.md und das Prüfprogramm tests/test.sh. Bei mehrstufigen Aufgaben hat jeder Schritt seine eigene Anleitung und sein eigenes Prüfprogramm unter steps/<name>/. Das Prüfprogramm wird nach dem Ende des Agentenlaufs in die Versuchsumgebung kopiert und schreibt /logs/verifier/reward.txt oder reward.json.

Jeder Versuch verwendet eine eigene Sitzung und Sandbox. Er verbraucht Credits wie andere Sitzungen. Beginnen Sie mit wenigen Aufgaben und Versuchen.

Alle Schritte eines Versuchs verwenden denselben Arbeitsbereich. Standardmäßig laufen die Versuche im Arbeitsbereich des Projekts. Für einen eigenen Arbeitsbereich pro Versuch setzen Sie in task.toml unter [metadata.beeuni] die Option workspace = "fresh".

Ergebnisse und Steuerung

Die Job- und Versuchsseiten zeigen Bewertungen, Fehler und Prüfausgaben. Ergebnisdateien finden Sie auch unter /Evals/<job>/ in Files. Vergleichen Sie Durchläufe mit denselben Aufgaben und demselben Bewertungsmodell.

Befehl Wirkung
beeuni evals cancel <job-id> Bricht den Job ab und stoppt laufende Versuche.

Im SDK prüft planProjectEvalJob den Plan ohne Versuchsstart. startProjectEvalJob startet den Job, getProjectEvalJob liest den Fortschritt. Verwenden Sie bei Wiederholung derselben Startanfrage denselben idempotencyKey. Weitere Befehle finden Sie unter beeuni evals --help.

War diese Seite hilfreich?