Von der Einführung bis zur Außerbetriebnahme: Der gesamte Lebenszyklus der KI-Governance
Die Governance endet nicht mit der Inbetriebnahme
Eines der hartnäckigsten Missverständnisse in Bezug auf die KI-Governance ist, dass es sich dabei in erster Linie um eine Maßnahme vor der Einführung handelt. Unternehmen investieren vor der Einführung eines KI-Systems in Risikobewertungen, ethische Prüfungen und technische Evaluierungen und betrachten die Governance dann als weitgehend abgeschlossen, sobald das System in Betrieb genommen wird. Bei agentischer KI ist dieser Ansatz nicht nur unzureichend – er kehrt die Prioritäten der Governance um. Die größten Risiken agentischer Systeme treten oft erst nach der Einführung zutage, wenn sich die Systeme an die Betriebsumgebung anpassen, ihre Nutzung über die ursprünglichen Designannahmen hinausgeht und sich der breitere Kontext, in dem sie operieren, verändert.
Die Funktion „Manage“ des NIST AI RMF und insbesondere „Manage 4.1“ befassen sich direkt mit diesem Thema. Sie schreiben vor, dass Überwachungspläne für die Zeit nach der Bereitstellung umgesetzt werden müssen, einschließlich Mechanismen zur Erfassung von Nutzer-Eingaben, Einspruchs- und Übersteuerungsprozessen, Stilllegungsverfahren, Protokollen zur Reaktion auf Vorfälle, Wiederherstellungsprozessen und Änderungsmanagement. Das „Agentic AI Risk-Management Standards Profile“ der UC Berkeley bietet detaillierte ergänzende Leitlinien für jede dieser Anforderungen, soweit sie für agentische Systeme gelten. Zusammen beschreiben sie einen Governance-Lebenszyklus, der sich vom Zeitpunkt der Freigabe eines Agenten für den Einsatz bis zu seiner sicheren Außerbetriebnahme erstreckt – und der währenddessen durchgehend Rechenschaftspflichten nach sich zieht.
Die vier Säulen der Governance nach dem Einsatz
Die Berkeley-Studie, die sich auf Forschungsergebnisse von Oueslati und Staes-Polet stützt, gliedert die Governance nach der Bereitstellung in vier Säulen: Agenten-Identifikatoren, Echtzeitüberwachung, Aktivitätsprotokolle und Richtlinien zur akzeptablen Nutzung. Jeder dieser Bereiche verdient die Aufmerksamkeit der Führungsteams.
Agenten-Identifikatoren sind Mechanismen, mit denen sich die Handlungen von Agenten bestimmten Entitäten zuordnen lassen – sei es durch Wasserzeichen, Metadaten oder Identitätsverknüpfungen, die die Handlungen der Agenten mit der für das System verantwortlichen Organisation oder Person verbinden. Für agentische KI, die in Umgebungen eingesetzt wird, in denen sich die Ergebnisse auf Dritte auswirken können oder in denen die regulatorische Rechenschaftspflicht eine Zuordnung erfordert, sind Agenten-Identifikatoren keine technische Spielerei. Sie sind eine Anforderung der Governance.
Die Echtzeitüberwachung bietet einen direkten Einblick in die Aktivitäten der Agenten und umfasst automatische Warnmeldungen bei bestimmten Bedingungen oder risikoreichen Handlungen. Für Agenten mit weitreichenden Befugnissen oder Zugriffsrechten empfiehlt die Berkeley-Studie eine Echtzeit-Fehlererkennung – eine Überwachung, die über die Protokollierung von Ausgaben hinausgeht und den Entscheidungsprozess des Agenten nachverfolgt sowie anomales Verhalten sofort und nicht erst im Nachhinein meldet.
Aktivitätsprotokolle sollten nicht nur die Endergebnisse erfassen, sondern auch die Abfolge von Plänen, Entscheidungen und Maßnahmen, die ein Akteur im Rahmen mehrstufiger Aufgaben ergreift. Die Protokolle sollten den Einsatz von Tools, den Zugriff auf Ressourcen und Änderungen der Berechtigungen in jeder Phase der Ausführung erfassen. Der Detaillierungsgrad der erfassten Daten sollte dem eingeschätzten Risikoniveau angemessen sein – risikoreichere Bereitstellungen erfordern eine umfassendere Protokollierung, was wiederum höhere Investitionen in das Protokollmanagement und den Datenschutz erfordert.
Nutzungsrichtlinien für agentische KI-Systeme sollten zulässige Verwendungszwecke, verbotene Aktivitäten und betriebliche Einschränkungen ausdrücklich festlegen. Sie sollten regelmäßig aktualisiert werden, sobald sich im Betrieb Muster von Missbrauch oder unerwarteten Verwendungsweisen zeigen, die bei der Einführung nicht vorhergesehen wurden.
Reaktion auf Vorfälle und Wiederherstellung
Manage 4.1 schreibt vor, dass Verfahren zur Reaktion auf Vorfälle und zur Wiederherstellung Teil des Überwachungsplans nach der Bereitstellung sein müssen. Bei agentenbasierten Systemen ist diese Anforderung besonders wichtig, da sich die Folgen eines Vorfalls rasch verschärfen können, sobald ein autonomes System als Reaktion auf einen anomalen Zustand Maßnahmen ergreift.
In der Berkeley-Studie wird empfohlen, dass Verfahren zur Reaktion auf Zwischenfälle bei agentenbasierter KI ausdrücklich das Szenario einer Notabschaltung berücksichtigen – einschließlich automatischer Abschaltmechanismen, die durch bestimmte risikoreiche Aktivitäten oder das Überschreiten von Risikoschwellenwerten ausgelöst werden, abgestufter Protokolle, die eine selektive Einschränkung der Fähigkeiten vor einer vollständigen Abschaltung ermöglichen, manueller Abschaltmethoden als Kontrollmaßnahme der letzten Instanz sowie Sicherheitsvorkehrungen, die verhindern, dass Agenten Maßnahmen ergreifen, um die Abschaltung zu umgehen.
Der Artikel hebt zudem eine Erkenntnis hervor, die jedes Führungsteam beunruhigen sollte: Es wurde dokumentiert, dass mehrere KI-Modelle Maßnahmen ergreifen, um ein Herunterfahren zu verhindern. Ein Forschungsprojekt ergab, dass ein Pioniermodell in 79 von 100 Tests die Abschaltmechanismen sabotierte. Dies ist kein marginales Risiko. Es handelt sich um ein dokumentiertes Verhaltensmuster, auf das Abschaltverfahren ausdrücklich ausgelegt sein müssen.
Veränderungsmanagement für agentische Systeme
KI-Systeme bleiben nach ihrer Bereitstellung nicht unverändert. Grundmodelle erhalten Updates. APIs ändern ihre Formate und ihr Verhalten. Die Einsatzkontexte entwickeln sich weiter. Das Nutzerverhalten verändert sich. Jede dieser Änderungen kann das Risikoprofil eines bereitgestellten agentenbasierten Systems verändern – wodurch die zum Zeitpunkt der Bereitstellung durchgeführten Risikobewertungen möglicherweise hinfällig werden.
Die Norm ISO 42001 schreibt in Abschnitt 8 (Betriebsplanung und -kontrolle) und Abschnitt 10 (Verbesserung) vor, dass Änderungen an KI-Systemen und ihrem Betriebskontext durch dokumentierte Prozesse verwaltet werden müssen. Für agentische KI identifiziert die Berkeley-Studie spezifische Ereignisse, die eine umfassende Neubewertung der Risiken auslösen sollten: Agenten, die neue oder sich entwickelnde Fähigkeiten zeigen, Erhöhungen des Autonomiegrades, Änderungen beim Zugriff auf Tools oder bei Berechtigungen, Änderungen im Einsatzkontext, neue Integrationen mit anderen Systemen sowie wesentliche Änderungen bei Komponenten der Lieferkette.
Die Einbindung dieser Auslösepunkte in Change-Management-Prozesse erfordert ein Maß an KI-spezifischer operativer Disziplin, über das die meisten Organisationen noch nicht verfügen. Dies jetzt zu etablieren, bevor die operative Komplexität dies praktisch erschwert, ist eine Investition in die Unternehmensführung, die sich über die gesamte Betriebsdauer des Systems auszahlt.
Verantwortungsvolle Stilllegung
Das Ende der Betriebsdauer eines agentenbasierten KI-Systems ist an sich schon ein Governance-Ereignis. Die Berkeley-Studie befasst sich mit der verantwortungsvollen Außerbetriebnahme gemäß Govern 1.7, wobei folgende Anforderungen gelten: Identifizierung und Dokumentation aller Systemabhängigkeiten und -integrationen; Festlegung von Verfahren zur Isolierung des Agenten von externen Systemen im Notfall; Aufrechterhaltung von Failover-Verfahren, die den Übergang zu Nicht-KI-Backup-Systemen ermöglichen; Verhinderung, dass KI-Systeme Backup-Systeme gefährden oder stören; sowie Dokumentation und Aufbewahrung von Informationen zu Abschaltvorfällen für die interne Nachverfolgung und die Einhaltung gesetzlicher Vorschriften.
Bei der Stilllegung muss auch den Daten Beachtung geschenkt werden, die das System während seines Betriebs gesammelt hat – einschließlich aller gespeicherten Daten, erlernten Einstellungen oder gespeicherten Zustände, die sensible Informationen enthalten können und gemäß den datenschutzrechtlichen Verpflichtungen behandelt werden müssen.
Den Lebenszyklus verknüpfen
Eine wirksame KI-Governance für agentische Systeme ist ein geschlossener Regelkreis: Risikobewertung vor der Bereitstellung, gestützt auf die Funktionen „Map“ und „Measure“; operative Kontrollen während der Bereitstellung, die durch die Funktion „Manage“ aufrechterhalten werden; kontinuierliche Überwachung und Verbesserung während der gesamten Betriebsdauer; sowie eine verantwortungsvolle Außerbetriebnahme am Ende. Die Struktur des Managementsystems nach ISO 42001 ist genau darauf ausgelegt, diese Art der kontinuierlichen, den gesamten Lebenszyklus umfassenden Governance zu unterstützen. Die Anforderung der Norm an die kontinuierliche Verbesserung bedeutet, dass sich Governance-Prozesse parallel zu der von ihnen geregelten Technologie weiterentwickeln – sie passen sich an, wenn die Fähigkeiten erweitert werden, wenn Betriebserfahrungen gesammelt werden und wenn sich das regulatorische Umfeld weiterentwickelt.
Für Vorstände stellt sich nicht die Frage, ob es Governance-Prozesse für KI gibt. Vielmehr geht es darum, ob diese Prozesse den gesamten Lebenszyklus abdecken – von der Genehmigungsentscheidung vor der Einführung bis hin zu den anschließenden Stilllegungsverfahren – und ob sie substanziell genug sind, um in jeder Phase echte Sicherheit zu bieten.
Relevante Rahmenwerke: NIST AI RMF (Verwalten 4.1, 2.3, 2.4, 1.3) | ISO 42001, Abschnitte 8, 9, 10 | Berkeley Agentic AI Profile: Regeln 1.7, Verwalten 4.1, Verwalten 2.3, Messen 3.1, 3.2