Die KI-Lieferkette: Eine Governance-Lücke, die die meisten Vorstände ignorieren
Ihr KI-System ist nicht nur Ihre KI
Wenn ein Unternehmen ein agentenbasiertes KI-System einsetzt, handelt es sich in der Regel um eine komplexe Zusammensetzung von Komponenten, die von verschiedenen Anbietern stammen: ein Grundmodell von einem Anbieter, ein Bereitstellungsframework von einem anderen, Datenquellen von Drittanbietern, externe APIs, vortrainierte Spezialmodelle, Softwarebibliotheken und Cloud-Infrastruktur. Jede dieser Komponenten birgt potenzielle Risiken – und das Unternehmen, das das System einsetzt, trägt letztlich die Verantwortung für das Gesamtrisiko des Systems, unabhängig davon, woher die einzelnen Komponenten stammen.
Dies ist die Herausforderung im Bereich der KI-Lieferketten-Governance, die im „Agentic AI Risk-Management Standards Profile“ der UC Berkeley als vorrangiger Bereich im Rahmen der „Govern“-Funktion des NIST AI RMF identifiziert wird. Für die meisten Organisationen stellt dies eine erhebliche Lücke zwischen dem Umfang ihrer derzeitigen KI-Governance-Rahmenwerke und den tatsächlichen Grenzen ihrer KI-Risikoexposition dar.
Was die Lieferkette umfasst
Die Berkeley-Studie stützt sich auf Forschungsergebnisse von Sheh und Geappen und definiert die KI-Lieferkette als Folgendes umfassend: die Daten, die zum Trainieren und Feinabstimmen von Modellen verwendet werden; die Modelle selbst; die Software-Frameworks und -Bibliotheken, die zu ihrer Bereitstellung und Koordination genutzt werden; die Cloud-Infrastruktur, auf der sie laufen; die APIs und Tools von Drittanbietern, auf die Akteure Zugriff erhalten; sowie alle externen Akteure oder agentenbasierten Systeme, mit denen das bereitgestellte System interagiert.
Jede Ebene dieser Lieferkette stellt eine potenzielle Risikoquelle dar. Trainingsdaten können Verzerrungen, Schwachstellen oder schädliche Inhalte in das Modellverhalten einbringen. Vortrainierte Modelle von externen Anbietern können Fähigkeiten, Einschränkungen oder Ausrichtungsmerkmale aufweisen, die nicht vollständig offengelegt oder nicht vollständig verstanden werden. Softwarebibliotheken können Sicherheitslücken enthalten. Externe APIs können ihre Datenformate oder ihr Verhalten in einer Weise ändern, die dazu führt, dass Agenten ihre Ausgaben falsch interpretieren. Und Agenten von Drittanbietern – die in Multi-Agenten-Architekturen immer häufiger vorkommen – bringen Risiken mit sich, die von den Governance-Standards der Organisationen abhängen, die sie entwickelt haben.
NIST AI RMF Govern 6 und die Reaktion auf ISO 42001
Der NIST AI RMF behandelt das Thema Lieferketten-Governance unter „Govern 6“, wonach Richtlinien und Verfahren vorhanden sein müssen, um KI-Risiken und -Vorteile zu berücksichtigen, die sich aus Software von Drittanbietern, Daten und anderen Lieferkettenproblemen ergeben. Die Leitlinien des Berkeley-Papiers zu Govern 6.1 sind konkret: Governance-Mechanismen für agentische KI müssen Risiken aus Interaktionen mit externen Agenten berücksichtigen, und die Aufsicht darf sich nicht auf das Verhalten einzelner Agenten beschränken, sondern muss den Zustand und die Sicherheit der Interaktionen des Agenten mit externen agentischen Systemen und Tools überwachen.
Die Norm ISO 42001 bietet den Rahmen für ein Managementsystem zur Umsetzung dieser Anforderungen. Abschnitt 8 (Betriebsplanung und -kontrolle) verlangt, dass Kontrollmaßnahmen für die in der Planungsphase identifizierten Risiken umgesetzt werden. Für Risiken in der Lieferkette bedeutet dies: eine dokumentierte Bewertung aller in KI-Systemen verwendeten Komponenten von Drittanbietern; definierte Kriterien für die Auswahl von Lieferanten und Komponenten, die KI-spezifische Risikoüberlegungen beinhalten; eine fortlaufende Überwachung von Komponenten von Drittanbietern auf Änderungen, die das Systemverhalten oder das Risikoprofil beeinflussen könnten; sowie Verfahren zur Reaktion auf Vorfälle in der Lieferkette, einschließlich Schwachstellen bei Komponenten oder Ausfällen von Lieferanten.
Die KI-Stückliste
Eines der in der Berkeley-Studie empfohlenen praktischen Governance-Instrumente zur Gewährleistung der Transparenz in der Lieferkette ist die „AI Bill of Materials“ (AIBOM) – eine formelle Aufstellung der Komponenten, die zum Aufbau, Training, Testen und Einsatz eines KI-Systems verwendet werden. Sie orientiert sich am Konzept der „Software Bill of Materials“ (SBOM), das mittlerweile in der Software-Sicherheits-Governance weit verbreitet ist.
Ein AIBOM ermöglicht es Unternehmen, die Zusammensetzung ihrer KI-Systeme zu verstehen, das Risikoprofil jeder einzelnen Komponente zu bewerten und effizient zu reagieren, wenn eine Schwachstelle oder ein Vorfall, der eine Komponente betrifft, systemübergreifend behoben werden muss. Ohne ein AIBOM verwalten Unternehmen die Risiken ihrer KI-Lieferkette im Dunkeln – sie wissen möglicherweise erst dann, welche ihrer Systeme von einer bekannt gewordenen Schwachstelle in einem häufig verwendeten Modell oder einer Bibliothek betroffen sind, wenn die Folgen bereits sichtbar sind.
Für Vorstände, die Nachweise über den Reifegrad der KI-Governance verlangen, ist die Anforderung eines AIBOM für jeden wesentlichen KI-Einsatz ein sinnvoller und praktischer Ansatzpunkt.
Geistiges Eigentum und eigenverantwortliches Handeln
Ein oft übersehener Aspekt der Governance von KI-Lieferketten sind Risiken im Zusammenhang mit geistigem Eigentum. Autonom agierende KI-Systeme können Maßnahmen ergreifen, die die Rechte Dritter an geistigem Eigentum verletzen – beispielsweise durch die Vervielfältigung urheberrechtlich geschützter Inhalte, die Verwendung proprietärer Daten beim Training oder bei der Feinabstimmung oder die Erzeugung von Ergebnissen, die geschütztes Material ohne Quellenangabe oder Lizenz enthalten.
Die Berkeley-Studie empfiehlt die Implementierung von Inhaltsfiltern, um dieses Risiko zu verringern, sowie besondere Vorsicht bei Systemen, die kontinuierlich aus ihrer Umgebung lernen. Für Organisationen in inhaltsintensiven Branchen – Medien, Verlagswesen, Forschung, professionelle Dienstleistungen – rechtfertigt dieses Risiko eine explizite Risikobewertung und dokumentierte Kontrollmaßnahmen.
Überwachung von Veränderungen in der Lieferkette
In den Leitlinien der Berkeley-Studie zu Govern 1.5 werden mehrere Ereignisse genannt, die eine umfassende Neubewertung des Risikomanagementplans auslösen sollten, darunter die Integration neuer Komponenten in die Lieferkette, die Entfernung bestehender Komponenten sowie Änderungen bei den Akteuren in der Lieferkette. Dies ist eine Governance-Anforderung, die bislang nur wenige Organisationen in ihre operativen KI-Prozesse integriert haben.
In der Praxis bedeutet dies, einen Überwachungsprozess einzurichten, der wesentliche Änderungen in der Lieferkette der eingesetzten KI-Systeme erfasst – Modellaktualisierungen, API-Änderungen, Infrastrukturänderungen, neue Integrationen von Drittanbietern – und bei Eintreten solcher Änderungen Risikoprüfungsverfahren auslöst. Ohne einen solchen Prozess könnte ein Unternehmen feststellen, dass sich das vor sechs Monaten eingesetzte und bewertete KI-System unbemerkt in einer Weise verändert hat, die die frühere Risikobewertung hinfällig macht.
Ein praktischer Ausgangspunkt
Für Führungsteams, die die Governance der KI-Lieferkette als kurzfristige Priorität angehen möchten, sind drei Schritte von unmittelbarer Bedeutung. Erstens: Beauftragen Sie für jeden wesentlichen KI-Einsatz eine Bestandsaufnahme der Lieferkette, in der alle Komponenten, ihre Herkunft und ihre Zugriffsberechtigungen dokumentiert werden. Zweitens: Prüfen Sie, ob bestehende Prozesse zum Lieferantenrisikomanagement KI-spezifische Lieferkettenrisiken angemessen abdecken, darunter Modellschwachstellen, Datenherkunft und Risiken durch autonomes Handeln. Drittens: Richten Sie einen Prozess ein, um wesentliche Veränderungen in der Lieferkette zu überwachen und bei deren Auftreten Risikoprüfungen auszulösen.
Die KI-Lieferkette ist kein rein technisches Thema, das vollständig an die IT-Abteilung und den Einkauf delegiert werden sollte. Es handelt sich um eine Frage der Unternehmensführung, die Risiken auf Unternehmensebene mit sich bringt. Vorstände, die dies entsprechend berücksichtigen, sind besser in der Lage, dieses Thema effektiv zu bewältigen.
Relevante Rahmenwerke: NIST AI RMF (Govern 6, Govern 1.5) | ISO 42001, Abschnitte 6.1, 8.4, 8 | Berkeley Agentic AI Profile: Govern 6.1, Govern 1.5