Agent-Qualität systematisch messen — Korrektheit, Halluzinations-Rate, Latenz, Kosten. Laufend, nicht einmalig.
Kategorie · Agentics
Evals sind Tests für KI.
Evaluation beschreibt das systematische Messen von Agent-Qualität — Korrektheit, Konsistenz, Halluzinations-Rate, Latenz, Kosten. Ohne Evals ist Agent-Entwicklung Bauchgefühl-Engineering.
Gute Evals haben kuratierte Test-Sets, klare Metriken, und laufen in CI bei jeder Änderung.
Was Evals von klassischen Tests unterscheidet.
Sie sind probabilistisch. Erfolg ist eine Verteilung, kein binärer Wert. Drift kommt langsam und still. Deshalb gehört zu jedem Production-Agent ein laufendes Eval-Framework — nicht nur ein einmaliger Test vor Live-Gang.
