Menschliche Aufsicht im Zeitalter der KI-Agenten: Gestaltung im Sinne der Rechenschaftspflicht
Die Illusion der Kontrolle
Viele Unternehmen glauben, dass sie ihre KI-Systeme unter menschlicher Aufsicht haben. Sie verfügen über Dashboards. Sie haben Ausnahmeberichte. Sie haben einen Prozess zur Eskalation von Problemen. Was ihnen jedoch oft fehlt, ist eine Aufsicht, die angesichts des Umfangs und der Geschwindigkeit, mit denen moderne agentische KI-Systeme arbeiten, wirklich sinnvoll ist. Die Kluft zwischen dem Anschein von Aufsicht und der tatsächlichen operativen Realität ist eine der größten Herausforderungen im Bereich der Unternehmensführung, mit denen Führungskräfte heute konfrontiert sind.
Das „Agentic AI Risk-Management Standards Profile“ der UC Berkeley äußert sich zu diesem Punkt ganz klar. Es identifiziert die Mensch-Computer-Interaktion und den Kontrollverlust als zwei der acht Hauptrisikokategorien, die für agentische Systeme spezifisch sind. Bei beiden geht es im Wesentlichen darum, was geschieht, wenn die menschliche Aufsicht eher nominell als substanziell wird – wenn das Volumen, die Geschwindigkeit oder die Komplexität der Handlungen der Agenten die praktischen Möglichkeiten menschlicher Prüfer übersteigt, ein fundiertes Urteil darüber zu fällen.
Die Kontrolllücke
Zu verstehen, warum diese Lücke in der Aufsicht besteht, ist der erste Schritt, um sie zu schließen. Dafür gibt es drei Hauptursachen.
Der erste Punkt ist die Größenordnung. Ein KI-Agent, der einen Arbeitsablauf ausführt – also mit Lieferanten kommuniziert, Verträge prüft, Kundenbeschwerden bearbeitet und Finanzdaten analysiert –, kann innerhalb eines Zeitraums Tausende von Folgeaktionen ausführen, was menschliche Prüfer nicht leisten können. Wenn die Kontrolle so konzipiert ist, dass alle Aktionen vor ihrer Ausführung überprüft werden, entsteht entweder ein Engpass, der den Produktivitätsvorteil des Agenten zunichte macht, oder es entsteht ein reiner Abnickprozess, der die Illusion von Kontrolle vermittelt, ohne dass diese tatsächlich stattfindet.
Der zweite Punkt ist Fachwissen. Da agentische Systeme in immer spezialisierteren Bereichen – Recht, Finanzen, Medizin, Technik – zum Einsatz kommen, erfordern die von ihnen ausgeführten Handlungen unter Umständen Fachwissen, über das die dafür zuständige menschliche Kontrollinstanz möglicherweise nicht verfügt. Ein Compliance-Team, das von KI erstellte Rechtsanalysen überprüft, oder ein Betriebsteam, das von KI getroffene technische Entscheidungen überprüft, verfügt möglicherweise nicht über das nötige Wissen, um Fehler zu erkennen, die der Agent in voller Überzeugung begangen hat.
Der dritte Punkt ist der Anthropomorphismus. In der Berkeley-Studie wird dies als konkretes Risiko identifiziert: KI-Agenten, die in natürlicher Sprache kommunizieren, Pronomen der ersten Person verwenden und konsistente Persönlichkeitsmerkmale zeigen, können bei den Nutzern Vertrauen und eine übermäßige Abhängigkeit wecken, die eine kritische Prüfung untergräbt. Menschen neigen dazu, Systemen, die menschlich wirken, übermäßiges Vertrauen zu schenken und Ergebnisse, die mit scheinbarer Selbstsicherheit präsentiert werden, nicht kritisch genug zu hinterfragen.
Eine wirksame Aufsicht gestalten
Der NIST AI RMF behandelt die Anforderungen an die menschliche Aufsicht in mehreren Unterkategorien: So schreibt „Govern 2.1“ vor, dass Rollen, Zuständigkeiten und Kommunikationswege für das KI-Risikomanagement dokumentiert und klar definiert sein müssen, während „Map 3.5“ verlangt, dass Prozesse zur menschlichen Aufsicht definiert, bewertet und dokumentiert werden. Die Berkeley-Studie ergänzt diese Anforderungen durch spezifische Leitlinien für agentische Systeme.
Das zentrale Gestaltungsprinzip lautet, dass die Aufsicht risikoproportional und nicht einheitlich sein sollte. Nicht jede Handlung eines KI-Agenten erfordert das gleiche Maß an menschlicher Überprüfung. Ein gut durchdachtes Aufsichtsrahmenwerk unterscheidet zwischen Handlungen, die automatisch überwacht werden können, Handlungen, die bei Erfüllung bestimmter Bedingungen eine menschliche Überprüfung auslösen sollten, und Handlungen, die vor ihrer Ausführung einer menschlichen Genehmigung bedürfen.
Die Berkeley-Studie, die sich auf Forschungsergebnisse von Kim et al. stützt, schlägt ein dreistufiges Überwachungsmodell vor. Die erste Stufe umfasst routinemäßige Aktionen der Agenten, die von automatisierten Systemen überwacht und nur dann zur Überprüfung als Ausnahme markiert werden können, wenn Anomalien festgestellt werden. Die zweite Ebene umfasst Handlungen, die ungewöhnlich sind, hohe Risiken bergen oder vordefinierte Parameter überschreiten – diese werden automatisch an menschliche Prüfer mit einschlägiger Fachkompetenz weitergeleitet. Die dritte Ebene umfasst die kritischsten Probleme, die möglicherweise eine Eskalation an einen hochrangigen Aufsichtsausschuss oder ein gleichwertiges Leitungsgremium erfordern.
Diese Struktur ermöglicht es, die Überwachung an das Ausmaß der Agentenaktivitäten anzupassen, ohne dass sie zu einem Engpass oder zu einer reinen Formalität wird. Die entscheidende Frage bei der Gestaltung jeder Ebene ist die Definition von Eskalationsauslösern – also den spezifischen Bedingungen, die dazu führen, dass eine Aktion oder eine Abfolge von Aktionen an die nächste Überprüfungsstufe weitergeleitet wird. Diese Auslöser sollten dokumentiert, getestet und regelmäßig überprüft werden, da sich der operative Kontext des Systems weiterentwickelt.
Aufgaben und Zuständigkeiten
Die Norm ISO 42001 schreibt in Abschnitt 5 (Führung) und den zugehörigen operativen Abschnitten vor, dass die Rollen und Verantwortlichkeiten für die KI-Governance klar zugewiesen und verstanden werden müssen. Bei agentischer KI muss dies über die übliche Benennung eines Leiters für die KI-Governance hinausgehen. Es muss definiert werden, wer für die Festlegung der Befugnisgrenzen jedes eingesetzten Agenten verantwortlich ist, wer das Verhalten der Agenten fortlaufend überwacht, wer die Befugnis und die Fähigkeit hat, bei unerwartetem Verhalten eines Agenten einzugreifen oder diesen abzuschalten, und wer für Entscheidungen verantwortlich ist, die ein Agent autonom trifft.
In der Berkeley-Studie wird ausdrücklich darauf hingewiesen, dass agentische KI als ein unter menschlicher Aufsicht stehendes Werkzeug behandelt werden sollte, nicht als gleichrangiger Kollege oder untergeordneter Mitarbeiter. Die Wortwahl ist entscheidend. Wenn Organisationen beginnen, KI-Agenten als KI-Mitarbeiter oder KI-Angestellte zu bezeichnen, untergraben sie damit implizit die Verantwortungsstrukturen, die eine wirksame Steuerung erfordert. Nicht der Agent trägt die Verantwortung, sondern die Organisation.
Praktische Maßnahmen für Führungsteams
Für Führungsteams, die ihre Rahmenbedingungen für die menschliche Aufsicht stärken möchten, sind die folgenden Prioritäten von unmittelbarer Bedeutung. Erstens sollte eine Überprüfung aller derzeit in Betrieb befindlichen agentenbasierten KI-Systeme durchgeführt werden, wobei die jedem System gewährten Befugnisse, die bestehenden Aufsichtsmechanismen und die vorhandenen Eskalationsverfahren zu dokumentieren sind. Zweitens ist zu beurteilen, ob die derzeitigen Aufsichtsmechanismen substanziell oder rein nominell sind – ob die Prüfer über die Zeit, das Fachwissen und die Kapazitäten verfügen, um ein echtes Urteil zu fällen, oder ob die Aufsicht faktisch zu einem Prozess geworden ist, der autonomes Handeln legitimiert. Drittens sollte eine klare Richtlinie zu den Mindestanforderungen an die menschliche Kontrolle für verschiedene Kategorien von KI-Handlungen festgelegt werden, wobei eine höhere Autonomie eine entsprechend strengere Ausgestaltung der Aufsicht erfordert. Viertens muss sichergestellt werden, dass Abschalt- und Eingriffsverfahren getestet werden und dass das dafür zuständige Personal geschult und einsatzbereit ist.
Menschliche Aufsicht schränkt den Wert einer agentenbasierten KI nicht ein. Sie ist vielmehr die Voraussetzung dafür, dass dieser Wert sicher realisiert werden kann.
Relevante Rahmenwerke: NIST AI RMF (Govern 2.1, Map 3.5, Manage 1.1) | ISO 42001, Abschnitte 5, 7, 8 | Berkeley Agentic AI Profile: Govern 2.1, Map 3.5, Manage 1.3 (Kontrollverlust)