Wenn KI-Agenten selbstständig handeln - silicon.de

Mit dem Aufkommen agentischer Systeme verliert die reine Leistungsfähigkeit als alleiniger Bewertungsmaßstab der KI an Relevanz. Viel wichtiger ist, was passiert, wenn KI nicht nur Antworten formuliert, sondern eigenständig Entscheidungen trifft, Tools nutzt und Aktionen in externen Systemen ausführt.

Die aktuellen Berichte über KI-Agenten, die im Rahmen von Sicherheitstests vorgesehene Umgebungen verlassen und auf externe Systeme zugegriffen haben, zeigen die Risiken dieser Entwicklung. Für Unternehmen wird es damit wichtiger, nicht nur die Qualität einzelner Antworten zu prüfen, sondern das Verhalten ihrer Systeme unter realistischen Bedingungen systematisch zu bewerten.

Herr Waldmann, warum sind AI Evals gerade jetzt ein so wichtiges Thema?

Alexander Waldmann: Weil sich der Einsatz von KI verändert. Ein Chatbot, der eine Frage beantwortet, ist etwas anderes als ein Agent, der selbstständig Informationen aus mehreren Systemen abruft, eine Buchung vorbereitet oder einen Prozess anstößt. Mit jedem zusätzlichen Handlungsspielraum steigt die Zahl möglicher Situationen und damit auch das Risiko unerwarteter Ergebnisse.

Unternehmen müssen deshalb besser verstehen, wie sich ein System unter unterschiedlichen Bedingungen, wie unklaren Eingaben, widersprüchlichen Informationen, ungewöhnlichen Nutzerprofilen oder gezielten Manipulationsversuchen, verhält. Die relevantesten Fragen lauten: „Erfüllt das System seine Aufgabe zuverlässig? Hält es seine Grenzen ein und lässt sich sein Verhalten nachvollziehen?“

AI Evals schaffen dafür einen strukturierten Bewertungsrahmen. Sie liefern mehr als ein einzelnes positives oder negatives Nutzerfeedback, weil sie Ergebnisse anhand vorher definierter Kriterien vergleichbar machen.

Was genau ist ein AI Eval?

Alexander Waldmann: Ein AI Eval ist eine strukturierte Qualitäts- und Risikobewertung eines KI-Systems. Dafür werden Testeingaben, Bewertungskriterien und je nach Anwendungsfall Referenzantworten oder erwartete Verhaltensweisen definiert. Anschließend werden die Ausgaben des Systems systematisch bewertet und statistisch ausgewertet.

Dabei kann man unterschiedliche Dimensionen betrachten. Dazu gehören zunächst Leistung und Nutzen. Dabei wird geprüft, ob das System korrekte und relevante Informationen liefert und das Problem löst, für das es eingesetzt wird. Bei einem Agenten kommt die Kontrollierbarkeit hinzu, bei der geprüft wird, ob er innerhalb seiner Berechtigungen bleibt und nur die vorgesehenen Aktionen ausführt.

Weitere Dimensionen sind Sicherheit und Compliance sowie die Nutzererfahrung. Dazu zählen etwa der Umgang mit sensiblen Informationen, die Einhaltung regulatorischer Vorgaben, die Verständlichkeit, die Reaktionszeit und – wenn es für die Marke relevant ist – Tonalität und Sprachstil. Ein Eval ist also kein einzelner Test, sondern ein Messsystem für verschiedene Qualitätsmerkmale.

Wie muss ein solcher Test aussehen, wenn ein Agent nicht nur antwortet, sondern handelt?

Alexander Waldmann: Dann darf man nicht bei der Textausgabe stehen bleiben, sondern den gesamten Ablauf untersuchen. Es stellt sich die Frage, ob der Agent die Situation richtig erfasst, verlässlich handelt und auch dann angemessen reagiert, wenn Informationen fehlen oder eine Anfrage seine zulässigen Grenzen überschreitet.

Wichtig sind auch die Übergänge zwischen einzelnen Schritten. Ein Agent kann beispielsweise zunächst eine korrekte Information finden und anschließend trotzdem eine falsche oder nicht autorisierte Aktion ausführen. Deshalb sollten Evals nicht nur die Qualität der Antwort, sondern auch die Prozesslogik und mögliche Seiteneffekte erfassen.

Zu einem realistischen Testszenario gehören außerdem Fehlersituationen und adversariale Eingaben. Unternehmen sollten prüfen, ob der Agent Grenzen erkennt, Anweisungen aus nicht vertrauenswürdigen Quellen richtig einordnet und bei Unsicherheit eskaliert, statt eigenmächtig weiterzuarbeiten.

Wie lässt sich die Qualität eines solchen Agenten zuverlässig und vergleichbar bewerten?

Alexander Waldmann: Dafür braucht es eine kuratierte Referenz, die typische Testeingaben, erwartete Antworten und klare Bewertungskriterien enthält. Eine solche Grundlage – häufig als Golden Dataset bezeichnet – verhindert, dass die Bewertung zu stark vom individuellen Eindruck der prüfenden Person abhängt.

Dabei sollte das Dataset die tatsächliche Nutzung möglichst realistisch abbilden – also typische Anliegen, unterschiedliche Nutzergruppen, verschiedene sprachliche Formulierungen ebenso wie Grenzfälle und bekannte Fehlermuster.

Bei einem Agenten kommen Szenarien hinzu, in denen mehrere Systeme oder Handlungsschritte beteiligt sind. Außerdem verändern sich Modelle, Prompts, Tools und Nutzerverhalten ständig. Deshalb müssen auch die Testgrundlage und das Golden Dataset regelmäßig überprüft und erweitert werden.

Kann man die Bewertung automatisieren oder braucht es dafür immer Menschen?

Alexander Waldmann: Es gibt hier drei Ansätze, die alle ihre Berechtigung haben, aber unterschiedliche Aufgaben erfüllen.

Code-basierte Prüfer eignen sich für schnelle und deterministische Tests. Man kann damit beispielsweise kontrollieren, ob ein bestimmtes Format eingehalten wird, ob ein Pflichtfeld vorhanden ist oder ob ein Agent eine klar verbotene Aktion ausführt.

Modell-basierte Prüfer, häufig als „LLM-as-a-Judge“ bezeichnet, können offene Antworten anhand einer zuvor definierten Rubrik bewerten. Das ist hilfreich, wenn sehr viele Ergebnisse analysiert werden müssen. Aber auch ein Bewertungsmodell kann sich irren, bestimmte Formulierungen bevorzugen oder einen Fehler des geprüften Modells übersehen.

Menschliche Prüferinnen und Prüfer bleiben allerdings unverzichtbar, insbesondere bei fachlich oder sicherheitskritischen Fragen. Sie entwickeln geeignete Szenarien und Bewertungskriterien, kalibrieren die Modelle und prüfen Fälle, in denen automatisierte Bewertungen widersprüchlich oder unsicher sind. Die sinnvollste Lösung ist in der Regel eine Kombination aus den drei Verfahren.

Warum reicht es nicht, wenn Entwicklungsteams ihr eigenes System bewerten?

Alexander Waldmann: Entwicklungsteams kennen ihr System sehr gut. Genau das kann jedoch zu blinden Flecken führen. Wer über längere Zeit an einem Modell, Prompt oder Produkt arbeitet, bewertet bestimmte Ergebnisse möglicherweise vor dem Hintergrund eigener Annahmen. Eine unabhängige Perspektive kann diese Annahmen herausfordern.

Das gilt besonders bei komplexen oder regulierten Anwendungen. Dort müssen Unternehmen nicht nur zeigen, dass ein System im Durchschnitt gute Ergebnisse liefert. Sie müssen auch nachvollziehbar machen können, welche Szenarien geprüft wurden, nach welchen Kriterien die Bewertung erfolgte und wie mit Fehlern umgegangen wurde.

Wie sollten Unternehmen beginnen, die noch keinen AI-Evals-Prozess haben?

Alexander Waldmann: Sie sollten nicht versuchen, sofort jede denkbare Situation abzudecken. Sinnvoller ist ein risikobasierter Einstieg. Zunächst sollte das Unternehmen festhalten, welche Aufgabe der Agent übernimmt, welche Entscheidungen er treffen darf und welche Aktionen ausgeschlossen sind. Ebenso wichtig ist eine Übersicht über Datenquellen, Tools, Berechtigungen und mögliche Schadensszenarien.

Anschließend kann ein überschaubares Golden Dataset mit realistischen Standard- und Grenzfällen aufgebaut werden. Dazu kommen klare Bewertungskriterien für Nutzen, Sicherheit bzw. Kontrolle, Compliance und Nutzererfahrung. Die Auswertung kann zunächst teilweise manuell erfolgen und später durch modellbasierte Verfahren skaliert werden.

Entscheidend ist, AI Evals nicht als einmalige Abnahme vor dem Launch zu verstehen. Jede relevante Änderung an Modell, Prompt, Tool-Anbindung oder Berechtigungsstruktur kann das Verhalten verändern. Deshalb sollten Unternehmen Evals in den Entwicklungs- und Betriebsprozess integrieren und regelmäßig wiederholen.

Alexander Waldmann

ist Vice President bei Applause.