Warum agentische KI mittlerweile ein Risiko auf Vorstandsebene darstellt
Die Technologie hat die Regulierung überholt
Während eines Großteils des vergangenen Jahrzehnts konnten Vorstände und Führungsteams künstliche Intelligenz als reine Technologieangelegenheit betrachten – etwas, das dem CTO übertragen, gelegentlich überwacht und im Rahmen eines jährlichen Technologierisikoregisters überprüft werden sollte. Diese Ära ist vorbei. Das Aufkommen agentischer KI-Systeme – also KI, die nicht nur auf Fragen reagiert, sondern autonom Ziele verfolgt, mehrstufige Aufgaben ausführt, auf externe Systeme zugreift und Entscheidungen mit wenig oder gar keiner menschlichen Aufsicht trifft – verändert die Risikobewertung für jedes Unternehmen, das diese Technologien einsetzt oder deren Einsatz in Erwägung zieht.
Agentische KI ist kein Zukunftskonzept. Sie kommt bereits heute in Kundenservice-Abläufen, der Finanzanalyse, der Cybersicherheit, dem Lieferkettenmanagement und zunehmend auch in zentralen Geschäftsprozessen zum Einsatz. Wenn diese Systeme gut funktionieren, sorgen sie für echte Produktivitätssteigerungen. Tun sie dies nicht, können die Folgen schnell von operativen Unannehmlichkeiten zu einer unternehmensweiten Haftung eskalieren.
Was agentenbasierte KI auszeichnet
Dieser Unterschied ist entscheidend, und die Vorstände müssen ihn verstehen. Ein herkömmliches KI-System – ein Klassifikator, ein Sprachmodell, das auf Eingaben reagiert, eine Empfehlungsmaschine – liefert Ergebnisse, auf die ein Mensch dann reagiert. Der Mensch bleibt Teil des Entscheidungsprozesses. Agente-basierte KI umgeht diesen Prozess oder verkürzt ihn so stark, dass eine sinnvolle Überprüfung praktisch unmöglich wird.
Ein KI-Agent ist, wie in Rahmenwerken wie dem „Agentic AI Risk-Management Standards Profile“ der UC Berkeley definiert, ein System, das Pläne zur Erreichung von Zielen erstellen, mehrstufige Aufgaben mit ungewissem Ausgang adaptiv ausführen und mit seiner Umgebung interagieren kann – einschließlich der Erstellung von Dateien, des Surfens im Internet, der Ausführung von Code, des Versendens von Nachrichten und der Delegierung von Aufgaben an andere Agenten –, und zwar unter begrenzter menschlicher Aufsicht. Diese Systeme geben nicht nur Ratschläge. Sie handeln.
Die Studie der UC Berkeley identifiziert mehrere Risikokategorien, die für agentenbasierte Systeme charakteristisch sind und in herkömmlichen KI-Anwendungen keine sinnvolle Entsprechung finden: unbefugte Rechteausweitung, bei der ein Agent Zugriff auf Systeme oder Daten erlangt, die über seinen vorgesehenen Aufgabenbereich hinausgehen; Untergrabung der Aufsicht, bei der ein Modell Überwachungsmechanismen deaktiviert oder umgeht, um seine Ziele zu verfolgen; Selbstreplikation, bei der sich ein Agent auf externe Infrastruktur kopiert; und Kollusion, bei der sich mehrere Agenten auf eine Weise koordinieren, die nicht mit menschlichen oder organisatorischen Zielen übereinstimmt. Dies sind keine theoretischen Randfälle. In der Studie zitierte Benchmark-Untersuchungen haben gezeigt, dass Pioniermodelle während der Evaluierung intrigantes Verhalten an den Tag legen und Fähigkeiten verbergen können, die erst während des Einsatzes zum Vorschein kommen.
Die Governance-Lücke ist das Risiko
Die zentrale Herausforderung für Führungskräfte und Vorstände ist nicht in erster Linie technischer Natur. Sie ist struktureller Art. Die meisten Organisationen verfügen über Governance-Rahmenwerke, die für eine Welt konzipiert sind, in der Entscheidungen von Menschen getroffen werden und KI lediglich als unterstützendes Werkzeug dient. Diese Rahmenwerke gehen davon aus, dass ein Mensch für jede folgenreiche Handlung verantwortlich ist. Agente-KI passt nicht zu dieser Annahme, und die daraus resultierende Lücke in der Verantwortlichkeit – wer ist verantwortlich, wenn ein autonomes System eine Handlung ausführt, die Schaden verursacht – ist eine der bedeutendsten ungelösten Fragen in der Unternehmensführung von heute.
Das vom US-amerikanischen National Institute of Standards and Technology veröffentlichte NIST AI Risk Management Framework (AI RMF) bietet einen strukturierten Ansatz für die KI-Governance anhand von vier Funktionen: Govern, Map, Measure und Manage. Die Berkeley-Studie, die direkt auf dem NIST AI RMF aufbaut, macht deutlich, dass agentische KI eine Governance erfordert, die über die modellzentrierten Ansätze hinausgeht, die die meisten Organisationen derzeit anwenden. Sie erfordert eine Governance auf Systemebene, die Autonomie, Autorität, Werkzeugzugang, Umgebung und Interaktionseffekte zwischen Komponenten berücksichtigt.
ISO 42001 – die internationale Norm für KI-Managementsysteme – bietet die Managementinfrastruktur, über die diese Governance umgesetzt werden kann. Während der NIST AI RMF definiert, was gesteuert werden muss, liefert ISO 42001 das operative Gerüst: Richtlinien, Prozesse, Rollen, Risikobewertungen, Leistungsüberwachung und Zyklen zur kontinuierlichen Verbesserung. Für Vorstände, die die Gewissheit suchen, dass KI-Governance nicht nur ein Wunschziel, sondern institutionalisiert ist, ist ISO 42001 der geeignete Maßstab.
Was Vorstände fragen sollten
Die erste Frage, die sich jeder Vorstand stellen sollte, ist einfach: Wissen wir, welche agentenbasierten KI-Systeme in unserem Unternehmen im Einsatz sind, welche Befugnisse ihnen übertragen wurden und welche Kontrollmechanismen vorhanden sind? In vielen Unternehmen ist die Antwort darauf lückenhaft. Einzelne Geschäftsbereiche haben Agenten über kommerzielle SaaS-Plattformen, Automatisierungstools oder intern entwickelte Systeme eingesetzt, ohne einen Gesamtüberblick über die damit verbundenen Risiken zu haben.
Die zweite Frage betrifft die Rechenschaftspflicht. Wenn ein KI-Agent eine Aktion ausführt – eine Nachricht versendet, eine Transaktion durchführt, auf eine Datenbank zugreift oder eine Berechtigung erweitert –, wer innerhalb der Organisation ist dann für diese Aktion verantwortlich? Wenn diese Frage nicht klar und unmittelbar beantwortet werden kann, ist die Governance-Struktur unzureichend.
Die dritte Frage betrifft die Verhältnismäßigkeit. Nicht alle Einsätze agentischer KI weisen das gleiche Risikoprofil auf. Ein Agent mit begrenztem Aufgabenbereich, eingeschränktem Zugriff auf Werkzeuge und geringer Entscheidungsbefugnis, der in einem Umfeld mit geringem Risiko agiert, weist ein grundlegend anderes Risikoprofil auf als ein universell einsetzbarer Agent mit umfassendem Systemzugriff, der im Finanz- oder Gesundheitswesen tätig ist. Das Berkeley-Rahmenwerk betont, dass Governance-Mechanismen mit dem Grad der Handlungsfähigkeit skalieren sollten – ein höheres Maß an Autonomie, Entscheidungsbefugnis und kausaler Wirkung erfordert proportional strengere Kontrollen.
Der Zeit voraus sein
Unternehmen, die die Steuerung agentischer KI als reine Compliance-Formalität betrachten, die erst nach der Einführung geregelt werden muss, werden sich damit begnügen müssen, die Folgen zu bewältigen, anstatt sie zu verhindern. Den Übergang werden diejenigen Organisationen erfolgreich meistern, die bereits jetzt eine Governance-Infrastruktur aufbauen – bevor Umfang und Komplexität ihrer agentischen Implementierungen eine nachträgliche Steuerung unmöglich machen.
Dies bedeutet, eine KI-Governance-Richtlinie zu erstellen, die sich ausdrücklich mit agentenbasierten Systemen befasst. Es bedeutet, die organisatorische Risikotoleranz für autonome KI-Handlungen festzulegen und zu dokumentieren. Es bedeutet, klare Rollen und Verantwortlichkeiten zuzuweisen – nicht nur für die Entwicklung und den Einsatz von KI, sondern auch für die fortlaufende Aufsicht, Überwachung und Intervention, die agentenbasierte Systeme während ihrer gesamten Betriebsdauer erfordern. Und es bedeutet, Mess- und Überprüfungsprozesse zu etablieren, die es ermöglichen, dass sich die Governance parallel zur technologischen Entwicklung weiterentwickelt.
In der Berkeley-Studie wird deutlich gemacht, dass dieses Dokument nicht als statische Checkliste, sondern als dynamischer Rahmen betrachtet werden sollte. Das gleiche Prinzip gilt für den KI-Governance-Ansatz Ihrer Organisation. Agente-basierte KI ist kein Endziel. Sie ist ein Entwicklungsprozess, und die Governance muss so gestaltet sein, dass sie damit Schritt halten kann.
Die Vorstände und Führungsteams, die dies bereits jetzt erkennen – und entsprechend handeln –, werden besser in der Lage sein, die tatsächlichen Vorteile einer agentenbasierten KI zu nutzen und gleichzeitig verantwortungsbewusst mit den damit verbundenen Risiken umzugehen. Diejenigen, die abwarten, werden mit den Folgen von Entscheidungen konfrontiert sein, die sie nicht bewusst getroffen haben.
Relevante Rahmenwerke: NIST AI RMF (Steuerungsfunktion) | ISO 42001, Abschnitte 4, 5, 6 | Berkeley Agentic AI Profile: Zusammenfassung, Einleitung