Erfassung Ihrer KI-Risikolandschaft: Was das NIST AI RMF verlangt und warum dies wichtig ist
Die Risikokartierung ist keine reine Compliance-Maßnahme
Eines der häufigsten Versäumnisse bei der Governance im Zusammenhang mit dem Einsatz von KI besteht darin, die Risikokartierung als reine Formalität zu betrachten – als ein Dokument, das erstellt wird, um eine politische Vorgabe zu erfüllen, das dann abgelegt und erst dann wieder hervorgeholt wird, wenn etwas schiefgeht. Bei autonomen KI-Systemen ist dieser Ansatz nicht nur unzureichend, sondern sogar gefährlich.
Die „Map“-Funktion des NIST-Rahmenwerks für das Risikomanagement im Bereich KI dient dazu, sicherzustellen, dass Organisationen den Kontext, in dem ihre KI-Systeme betrieben werden, die von diesen Systemen ausgehenden Risiken sowie die potenziellen Auswirkungen auf Einzelpersonen, Gemeinschaften und die Organisation selbst verstehen – und zwar vor der Einführung, nicht erst danach. Das „Agentic AI Risk-Management Standards Profile“ der UC Berkeley, das auf dem NIST AI RMF aufbaut, bietet detaillierte ergänzende Leitlinien dazu, wie die „Map“-Funktion speziell für agentische Systeme umgesetzt werden kann. Die Leitlinien zeigen deutlich, wie viel den meisten Organisationen derzeit noch fehlt.
Den Kontext verstehen: Karte 1.1
Kategorie 1.1 ist eine der Unterkategorien mit hoher Priorität im Berkeley-Rahmenwerk. Sie verlangt, dass die beabsichtigten Zwecke, potenziell vorteilhafte Anwendungsmöglichkeiten, geltende Gesetze und Normen sowie die voraussichtlichen Einsatzumgebungen des KI-Systems erfasst und dokumentiert werden – einschließlich der spezifischen Nutzergruppen, potenzieller positiver und negativer Auswirkungen, Annahmen über die Systemzwecke und der Kennzahlen, die zur Leistungsbewertung herangezogen werden.
In Bezug auf agentische KI identifiziert die Berkeley-Studie acht verschiedene Risikokategorien, die gemäß Map 1.1 bewertet werden sollten: Diskriminierung und Toxizität; Datenschutz und Sicherheit; Fehlinformationen; böswillige Akteure und Missbrauch; Mensch-Computer-Interaktion; Kontrollverlust; sozioökonomische und ökologische Schäden; sowie Sicherheit, Ausfälle und Einschränkungen von KI-Systemen. Jede dieser Kategorien umfasst spezifische Risikounterkategorien, die für agentische Systeme charakteristisch sind und bei einer für herkömmliche KI konzipierten Risikobewertung nicht erfasst würden.
Allein die Kategorie „Kontrollverlust“ – zu der Selbstvermehrung, Selbstmodifikation, Selbstexfiltration, Fehlausrichtung von Agenten, betrügerisches Verhalten und Intrigen, Belohnungs-Hacking, geheime Absprachen sowie langfristige Planung und Zielverfolgung gehören – stellt eine Risikolandschaft dar, für deren Bewertung die meisten Risikomanagement-Rahmenwerke in Unternehmen derzeit nicht ausgerüstet sind. Führungskräfte sollten sich fragen: Erfasst unser derzeitiger Prozess zur KI-Risikobewertung irgendetwas davon? Und wenn die Antwort „nein“ lautet, was bedeutet das für unsere Governance-Strategie?
Kumulatives Risiko in großem Maßstab
Einer der wichtigsten Grundsätze in den Leitlinien des Berkeley-Frameworks für Karten ist die Anforderung, die kumulativen Auswirkungen von Maßnahmen zu bewerten, die in großem Maßstab durchgeführt werden. In dem Papier wird ausdrücklich darauf hingewiesen: Einzelne Maßnahmen, die für sich genommen risikoarm erscheinen, können ein erhebliches Risiko darstellen, wenn sie von autonomen Akteuren wiederholt und in großem Maßstab durchgeführt werden.
Dieser Ansatz zur Risikobewertung unterscheidet sich wesentlich von dem, den die meisten Organisationen anwenden. Bei der herkömmlichen Risikobewertung wird das Risiko eines einzelnen Ereignisses oder einer einzelnen Entscheidung bewertet. Bei der Risikobewertung im Zusammenhang mit agentischer KI muss hingegen das Risiko einer Reihe von Entscheidungen bewertet werden – einschließlich der kumulativen Auswirkungen vieler Maßnahmen, die für sich genommen nur geringe Folgen haben, in ihrer Gesamtheit jedoch erhebliche Auswirkungen haben.
Ein System, das bei 0,1 % der Transaktionen geringfügige Preisfehler verursacht, scheint auf den ersten Blick ein vernachlässigbares Risiko darzustellen, wenn jede Transaktion einzeln betrachtet wird. Bei großem Umfang – also bei der Abwicklung von Millionen von Transaktionen – hat diese Fehlerquote jedoch Folgen, die weder geringfügig noch vernachlässigbar sind. Bei der Festlegung von Risikotoleranzen muss diese kumulative Dimension berücksichtigt werden.
Festlegung von Risikotoleranzen: Karte 1.5
Karte 1.5 – eine weitere Unterkategorie mit hoher Priorität im Berkeley-Rahmenwerk – verlangt, dass die Risikotoleranzen einer Organisation festgelegt und dokumentiert werden. Für agentische Systeme empfiehlt das Rahmenwerk die Festlegung mehrerer Risikostufen unterhalb der unzumutbaren Schwelle, um eine angemessene Reaktionszeit zu gewährleisten, wenn sich ein System unzumutbaren Risikoniveaus nähert.
Die Berkeley-Studie nennt spezifische Aspekte der Risikotoleranz, die für agentische KI charakteristisch sind: unbefugter Zugriff und Ausweitung von Berechtigungen, mangelnde Befolgung von Anweisungen und Kontrollmaßnahmen, das kumulative Risiko von Handlungen mit geringem Risiko in großem Maßstab, die rasche Entwicklung neuer Fähigkeiten sowie das damit verbundene Ausfallrisiko bei Systemen, die sich zugrunde liegende Modelle oder Daten teilen. Für jede dieser Dimensionen sollten Risikotoleranzen festgelegt werden, nicht nur für die Gesamtleistung des Systems.
ISO 42001, Abschnitt 6.1, schreibt vor, dass Organisationen KI-Risiken identifizieren und auf der Grundlage dokumentierter Kriterien entscheiden müssen, wie sie darauf reagieren – ob sie diese akzeptieren, behandeln, übertragen oder vermeiden. Das in Abbildung 1.5 dargestellte Rahmenwerk zur Risikotoleranz liefert die Kriterien, auf denen diese Entscheidungen beruhen sollten. Ohne explizit festgelegte Risikotoleranzen werden Entscheidungen zur Risikobehandlung ad hoc und inkonsistent.
Darstellung der Auswirkungen: Karte 5.1
Karte 5.1 verlangt, dass die Wahrscheinlichkeit und das Ausmaß der identifizierten Auswirkungen – sowohl positive als auch negative – für einzelne Nutzer, Gemeinschaften, Organisationen und die Gesellschaft insgesamt bewertet werden. Bei agentischer KI muss diese Bewertung die spezifischen Eigenschaften des Agenten berücksichtigen – seinen Autonomiegrad, seine Befugnisse, seine Fähigkeit, kausale Auswirkungen zu bewirken, und seinen Umfeldebereich –, da diese Eigenschaften das Ausmaß potenzieller Schäden unmittelbar bestimmen.
Die Berkeley-Studie empfiehlt für diese Bewertung einen dimensionalen Governance-Ansatz: Anstatt ein KI-System lediglich als risikoreich oder risikoarm einzustufen, sollte es anhand mehrerer Dimensionen bewertet werden, darunter Autonomie (von keiner Autonomie bis hin zu vollständiger Autonomie), Befugnisse (der Umfang der Handlungen, die der Agent ausführen kann, und der Grad seiner Integration in andere Systeme), kausale Auswirkungen (von reiner Beobachtung bis hin zur umfassenden Kontrolle der Umgebung) sowie die Komplexität der Umgebung (von simuliert bis physisch). Die Position eines Systems in jeder dieser Dimensionen bestimmt sein Risikoprofil und die erforderlichen Governance-Kontrollen.
Dieser mehrdimensionale Ansatz ist anspruchsvoller als eine binäre Risikoklassifizierung. Er ist zudem genauer und führt zu Governance-Maßnahmen, die verhältnismäßig und nicht pauschal sind.
Risikokartierung in der Praxis nutzbar machen
Damit die „Map“-Funktion ihren Zweck erfüllt, müssen die Ergebnisse der Risikokartierung direkt mit den darauf folgenden Governance-Kontrollen, Bewertungsrahmen und Überwachungsprozessen verknüpft werden. Eine Risikokarte, die zwar vorrangige Risiken identifiziert, aber nicht mit Maßnahmen zur Risikobewältigung oder -steuerung verknüpft ist, ist lediglich ein Dokument und kein Governance-Instrument.
Die Norm ISO 42001 bietet die Struktur für ein Managementsystem, die diese Verbindung gewährleistet. Die Norm schreibt vor, dass Risikobewertungen als Grundlage für Risikobehandlungspläne dienen, dass diese Pläne durch operative Kontrollmaßnahmen umgesetzt werden und dass die Kontrollmaßnahmen überwacht und überprüft werden. Bei ordnungsgemäßer Umsetzung entsteht so ein geschlossener Regelkreis zwischen Risikoidentifizierung und Risikomanagement – genau das, was eine Governance für agentische KI erfordert.
Relevante Rahmenwerke: NIST AI RMF (Abbildungen 1.1, 1.5, 2, 3, 5.1) | ISO 42001, Abschnitte 6.1, 8.4 | Berkeley Agentic AI Profile: Map-Funktion (alle Abschnitte)