Evaluation / Evals
Systematisches Messen und Bewerten der KI-Qualität.
Erklärung
Evals sind Tests und Metriken, mit denen die Qualität von KI-Outputs gemessen wird. Sie helfen zu erkennen, ob ein System zuverlässig arbeitet und wo Schwächen liegen.
So funktioniert's
Man definiert Testfälle mit erwarteten Ergebnissen und lässt die KI diese bearbeiten. Automatische und manuelle Bewertungen zeigen, wie korrekt und hilfreich die Antworten sind.
Praxisbeispiel
100 typische Kundenanfragen als Testset definieren. Der KI-Agent beantwortet sie, und die Ergebnisse werden auf Korrektheit, Tonalität und Vollständigkeit geprüft.
Warum es wichtig ist
Ohne Evals fliegt man blind. Systematische Evaluation ist die Grundlage für kontinuierliche Verbesserung und Vertrauen in KI-Systeme.
Was sind Evals? Bedeutung und Arten
Evals, kurz für Evaluations, sind systematische Tests für KI-Systeme. Weil ein Sprachmodell auf dieselbe Frage nicht immer gleich antwortet und es oft mehrere richtige Antworten gibt, reichen klassische Softwaretests allein nicht aus. Evals messen stattdessen, wie gut ein System über viele typische Fälle hinweg abschneidet.
Meist werden drei Arten der Bewertung kombiniert. Regelbasierte Checks prüfen Eindeutiges automatisch: Ist das Format korrekt, stimmt der Betrag, wurde die richtige Quelle zitiert? LLM-as-a-Judge nutzt ein zweites Modell, das Antworten nach definierten Kriterien bewertet, etwa Vollständigkeit oder Tonalität. Menschliche Bewertung durch Fachleute bleibt der Maßstab, gerade am Anfang und für Stichproben.
Wie baut man ein gutes Eval-Set auf?
Grundlage ist ein Testset aus echten Fällen mit bekannten richtigen Ergebnissen, oft Ground Truth genannt. 50 bis 100 sorgfältig ausgewählte Fälle sind ein guter Start, darunter bewusst schwierige Sonderfälle und Fragen, auf die das System mit „weiß ich nicht“ antworten sollte.
Der Nutzen zeigt sich bei jeder Änderung: neuer Prompt, neues Modell, andere Chunk-Größe. Statt nach Gefühl zu entscheiden, läuft das Testset durch und zeigt, ob das System besser oder schlechter geworden ist. Im Betrieb ergänzen Online-Evals das Bild, etwa Nutzerfeedback, Stichproben und die Quote der Fälle, die an Menschen eskaliert werden.
Häufige Fragen
Was ist ein Eval?
Ein Eval ist ein Test, der misst, wie gut ein KI-System eine bestimmte Aufgabe erfüllt, meist über viele Beispielfälle mit bekannten richtigen Ergebnissen hinweg.
Was ist der Unterschied zwischen Evals und Benchmarks?
Benchmarks sind öffentliche, standardisierte Tests, mit denen Modelle allgemein verglichen werden. Evals testen die eigene Anwendung mit eigenen Daten und Anforderungen. Für Unternehmensentscheidungen sind eigene Evals deutlich aussagekräftiger.
Wann sollte man mit Evals anfangen?
So früh wie möglich, idealerweise schon im Pilot. Ein kleines Testset mit echten Fällen verhindert, dass Verbesserungen nur gefühlt sind, und macht spätere Modellwechsel beherrschbar.