ISO 42001 als Grundlage für die Steuerung autonomer KI
Dieser Standard wurde genau für diesen Moment entwickelt
Als die ISO 42001 im Jahr 2023 als weltweit erste internationale Norm für KI-Managementsysteme veröffentlicht wurde, sollte sie Organisationen einen strukturierten, überprüfbaren und skalierbaren Ansatz für die Steuerung der Entwicklung, Einführung und des Betriebs von KI-Systemen in ihrem gesamten Unternehmen bieten. Sie kam genau zum richtigen Zeitpunkt – gerade als KI-Systeme begannen, sich von Hilfsmitteln für den Menschen zu Systemen zu wandeln, die im Namen des Menschen handeln.
Das Aufkommen agentischer KI – autonomer Systeme, die zu zielgerichtetem Handeln, der Ausführung mehrstufiger Aufgaben und der Interaktion mit der realen Welt unter begrenzter menschlicher Aufsicht fähig sind – stellt die Grenzen jedes bestehenden Governance-Rahmens auf die Probe. Die Norm ISO 42001 eignet sich jedoch bei ordnungsgemäßer Umsetzung hervorragend als Governance-Grundlage für Organisationen, die diesen Wandel bewältigen. Und so funktioniert es.
Das Prinzip des Managementsystems
ISO 42001 ist eine Norm für Managementsysteme, was bedeutet, dass sie derselben übergeordneten Struktur folgt wie ISO 9001 (Qualität), ISO 27001 (Informationssicherheit) und ISO 14001 (Umweltmanagement). Diese Struktur ist bewusst gewählt. Sie stellt sicher, dass KI-Governance keine isolierte Compliance-Maßnahme ist, sondern in die Unternehmensstrategie, die Rechenschaftspflicht der Führungsebene, die Ressourcenzuweisung, die betrieblichen Prozesse und die Zyklen der kontinuierlichen Verbesserung eingebettet ist.
Dies ist für die Steuerung agentischer KI von enormer Bedeutung, da die mit autonomen Systemen verbundenen Risiken nicht durch einmalige technische Kontrollen oder regelmäßige Überprüfungen bewältigt werden können. Sie erfordern eine kontinuierliche Überwachung, ein adaptives Risikomanagement und klare Verantwortungsketten – genau das, was ein Managementsystem bietet. Das NIST-Rahmenwerk für das KI-Risikomanagement, auf dem das „Berkeley Agentic AI Risk-Management Standards Profile“ aufbaut, gliedert sich in vier Funktionen: Steuern, Erfassen, Messen und Verwalten. Die Norm ISO 42001 setzt alle vier Funktionen in die Praxis um.
Wie sich die Norm ISO 42001 auf die Anforderungen an die Governance autonomer KI abbildet
Die Funktion „Govern“ im NIST AI RMF verlangt, dass Richtlinien, Prozesse und Vorgehensweisen zur Erfassung, Bewertung und Steuerung von KI-Risiken vorhanden, transparent und wirksam umgesetzt sind – und dass Verantwortungsstrukturen sicherstellen, dass die richtigen Personen befugt und verantwortlich sind. Die Abschnitte 4 (Kontext), 5 (Führung) und 6 (Planung) der ISO 42001 befassen sich direkt mit diesen Anforderungen. Sie verlangen von Organisationen, die internen und externen Faktoren zu verstehen, die die KI-Governance beeinflussen, das Engagement der Führung und die Rechenschaftspflicht auf höchster Organisationsebene zu etablieren sowie KI-Ziele und Risikobehandlungspläne zu entwickeln, die dokumentiert und messbar sind.
Speziell für agentische KI bedeutet dies, dass Ihre Umsetzung der Norm ISO 42001 folgende Punkte ausdrücklich regeln sollte: den Umfang der autonomen Entscheidungsbefugnis, die KI-Systemen gewährt wird, die für die verschiedenen Stufen der Agentenautonomie erforderlichen Mechanismen zur menschlichen Aufsicht, die Eskalationswege bei anomalem Verhalten der Agenten sowie die Abschalt- und Eingriffsverfahren, die vor der Inbetriebnahme eingerichtet sein müssen.
Die „Map“-Funktion im NIST AI RMF erfordert, dass der Kontext festgelegt und verstanden wird – einschließlich der beabsichtigten Zwecke und Einsatzbedingungen von KI-Systemen, der Risikotoleranzen der Organisation sowie der Auswirkungen auf Einzelpersonen und die Gesellschaft. Die Klauseln 6.1 (Maßnahmen zur Bewältigung von Risiken und Chancen) und 8.4 (Bewertung der Auswirkungen von KI-Systemen) der ISO 42001 dienen als Umsetzungsinstrumente hierfür. Eine ordnungsgemäß durchgeführte KI-Folgenabschätzung gemäß ISO 42001 sollte eine Analyse der spezifischen Risiken umfassen, die sich aus den agentischen Fähigkeiten ergeben – das Geschwindigkeitsproblem, das Risiko der Umgehung der Aufsicht, die Dynamik der Interaktion zwischen mehreren Agenten – und nicht nur die herkömmlichen KI-Risiken wie Verzerrung und Datenqualität.
Die Funktion „Messung“ setzt voraus, dass geeignete Methoden und Kennzahlen ermittelt und angewendet werden, um KI-Systeme hinsichtlich ihrer Vertrauenswürdigkeit zu bewerten. ISO 42001, Abschnitt 9 (Leistungsbewertung), behandelt dies durch Anforderungen an Überwachung, Messung, Analyse und Bewertung. Für agentische Systeme bedeutet dies, Messprozesse zu entwickeln, die über Kennzahlen zur Aufgabenerfüllung hinausgehen und die Verhaltensüberwachung, die Erkennung von Anomalien sowie regelmäßige Red-Team-Bewertungen umfassen.
Die „Manage“-Funktion erfordert, dass KI-Risiken priorisiert, darauf reagiert und diese Risiken gesteuert werden – und dass Überwachungspläne für die Zeit nach der Bereitstellung umgesetzt werden. Die Abschnitte 8 (operative Kontrollen) und 10 (Verbesserung) der ISO 42001 befassen sich mit den operativen und korrigierenden Aspekten dieser Anforderungen. Entscheidend ist, dass ein Managementsystem nach ISO 42001 dokumentierte Verfahren zur Reaktion auf Vorfälle erfordert, die für agentische KI speziell die Szenarien umfassen müssen, in denen sich ein Agent unerwartet verhält, sich unbefugten Zugriff verschafft oder die Arten von emergenten Verhaltensweisen zeigt, die in der Berkeley-Studie identifiziert werden.
Der Aspekt der Zertifizierung
ISO 42001 ist eine zertifizierbare Norm. Eine unabhängige Zertifizierung durch eine dritte Partei bestätigt extern, dass das KI-Managementsystem einer Organisation die Anforderungen der Norm erfüllt – und diese Bestätigung erfolgt im Rahmen eines strengen Auditprozesses, bei dem nicht nur die Dokumentation, sondern auch die tatsächliche Umsetzung geprüft wird.
Für Vorstände und Führungskräfte erfüllt die Zertifizierung mehrere wichtige Funktionen. Sie bietet die Gewissheit, dass die Verpflichtungen zur KI-Governance nicht nur auf dem Papier, sondern auch in der Praxis eingehalten werden. Sie schafft Rechenschaftspflicht, indem sie Governance-Prozesse einer externen Überprüfung unterzieht. Und sie sendet ein glaubwürdiges Signal an Aufsichtsbehörden, Kunden, Partner und Investoren, dass das Unternehmen die KI-Governance ernst nimmt.
Da die Regulierung im Bereich der künstlichen Intelligenz weltweit an Fahrt gewinnt – der EU-KI-Gesetzesentwurf ist nun in Kraft getreten, Singapurs Rahmenbedingungen für die KI-Governance entwickeln sich weiter und in zahlreichen Rechtsordnungen entstehen neue Offenlegungspflichten –, dürfte sich die Zertifizierung nach ISO 42001 von einem Wettbewerbsvorteil zu einer grundlegenden Erwartung für Organisationen wandeln, die KI in Bereichen mit hohem Risiko einsetzen.
Umsetzungsschwerpunkte für agentische KI
Für Organisationen, die entweder mit der Umsetzung der Norm ISO 42001 beginnen oder eine bestehende Umsetzung auf agentische KI ausweiten möchten, bietet die Berkeley-Studie detaillierte Leitlinien zu den spezifischen Kontrollmaßnahmen und Überlegungen, die berücksichtigt werden sollten. Dazu gehören: die Definition von Autonomiegraden der Agenten und die Dokumentation der Befugnisse und des Werkzeugzugangs, die jeder Stufe gewährt werden; die Einrichtung rollenbasierter Berechtigungsmanagementsysteme nach dem Prinzip der geringsten Privilegien; die Einrichtung von Kontrollpunkten für die menschliche Aufsicht mit klaren Auslösebedingungen; die Entwicklung von Abschalt- und Eingriffsverfahren, die getestet und nicht nur dokumentiert werden; sowie die Schaffung von Feedback- und Vorfallmeldemechanismen, die sowohl Beinahevorfälle als auch tatsächliche Vorfälle erfassen.
Keine dieser Maßnahmen ist technisch komplex. Sie alle erfordern das Engagement der Organisation und eine konsequente Umsetzung. Genau dafür ist eine Norm für Managementsysteme gedacht: um dies langfristig zu unterstützen und aufrechtzuerhalten.
Relevante Rahmenwerke: ISO 42001 (Abschnitte 4–10) | NIST AI RMF (alle vier Funktionen) | Berkeley Agentic AI Profile: Govern 1.2, 1.4, Map 1.1, 1.5, Measure 1.1, Manage 1.3