Multiagentensysteme: Warum das Ganze riskanter ist als die Summe seiner Teile
Die Architektur, die die meisten Unternehmen einsetzen
Zunehmend sind es nicht mehr einzelne, isoliert agierende KI-Agenten, die den größten betrieblichen Nutzen bringen. Es handelt sich vielmehr um Multi-Agenten-Systeme – Architekturen, in denen mehrere KI-Agenten mit jeweils unterschiedlichen Fähigkeiten und Rollen gleichzeitig agieren und miteinander interagieren, um übergeordnete Unternehmensziele zu erreichen. Diese Systeme können außerordentlich leistungsfähig sein. Sie können jedoch auch Risiken mit sich bringen, die sich qualitativ von denen einzelner Komponenten unterscheiden.
Das „Agentic AI Risk-Management Standards Profile“ der UC Berkeley widmet Multi-Agenten-Systemen (MAS) besondere Aufmerksamkeit, da diese eine Herausforderung für die Steuerung darstellen, die durch eine Erweiterung von Risikokonzeptionen für einzelne Agenten nicht angemessen bewältigt werden kann. Die zentrale Erkenntnis lautet: Das Risikoprofil eines Multi-Agenten-Systems ist nicht die Summe der Risikoprofile seiner Komponenten. Es wird durch Interaktionen, Rückkopplungsschleifen und emergente Verhaltensweisen geprägt, die nur entstehen, wenn mehrere Agenten zusammenwirken – und die unsichtbar bleiben, wenn jeder Agent isoliert betrachtet wird.
Neu auftretende Risiken, die isoliert betrachtet nicht vorhersehbar sind
Die Berkeley-Studie führt mehrere dokumentierte Beispiele für neu auftretende Risiken im Zusammenhang mit Multi-Agenten-Systemen an. Eine der größten Sorgen betrifft die Absprache – wenn Agenten unabhängig voneinander Verhaltensweisen entwickeln, die nicht mit den Zielen von Menschen oder Organisationen übereinstimmen, sei es durch explizite Kommunikation oder durch implizites Lernen aus den Handlungen der anderen. Untersuchungen zu autonomen Preissystemen haben gezeigt, dass Agenten, die Anreize zur Maximierung ihrer individuellen Leistung erhalten, spontan koordinierte Preisabsprachen entwickeln können, ohne dass sie dazu ausdrücklich angewiesen wurden.
Ein zweites aufkommendes Risiko ist der Kettenausfall. Die Berkeley-Studie beschreibt, wie sich Fehler, Fehlinterpretationen oder böswillige Eingaben in Multi-Agenten-Systemen auf eine Weise ausbreiten können, die ihre Auswirkungen verstärkt. Eine fehlerhafte Ausgabe eines Agenten, die von einem zweiten Agenten als Eingabe verwendet wird, kann zu einem sich verstärkenden Fehler in der Ausgabe dieses Agenten führen, der dann von einem dritten Agenten weiter verstärkt wird. In einem ausreichend vernetzten System kann ein einziger Fehlerpunkt systemische Folgen nach sich ziehen.
Ein drittes Risiko sind die in der Berkeley-Studie beschriebenen korrelierten Ausfallmodi – die Tendenz, dass Agenten, die sich zugrunde liegende Modelle, Trainingsdaten, Eingabeaufforderungen oder Konfigurationseinstellungen teilen, ein stark korreliertes Verhalten zeigen. Wenn mehrere Agenten gleichzeitig auf dieselbe Weise ausfallen, weil sie eine gemeinsame Schwachstelle aufweisen, ist das Risiko nicht nur additiv. Es kann gleichzeitig systemisch sein.
Die Auswirkungen auf die Unternehmensführung: Eine Bewertung auf Systemebene ist zwingend erforderlich
Die entscheidende Auswirkung der Risiko-Dynamik bei Multi-Agenten-Systemen auf die Governance besteht darin, dass die Risikobewertung auf Systemebene und nicht nur auf Komponentenebene erfolgen muss. Das NIST AI RMF berücksichtigt dies durch die Map-Funktion, wobei Map 5.1 vorschreibt, dass die Wahrscheinlichkeit und das Ausmaß identifizierter Auswirkungen bewertet werden müssen, unter anderem durch die Analyse von Kaskadeneffekten und Wechselwirkungen mit kritischen Systemen. Die Berkeley-Studie ergänzt dies durch konkrete Leitlinien: Die Risikoidentifizierung für Multi-Agenten-Systeme muss eine umfassende Systemabbildung umfassen, die Agenteninteraktionen, Aufgabenausführungsabläufe, gemeinsam genutzte Datenquellen, Kommunikationsprotokolle und Rückkopplungsschleifen untersucht.
Dies ist eine deutlich anspruchsvollere Anforderung, als sie die meisten Organisationen derzeit an ihre KI-Governance-Prozesse stellen. Sie erfordert technisches Fachwissen, funktionsübergreifende Zusammenarbeit und eine Governance-Infrastruktur, die eine Sicht auf Risiken auf Systemebene statt auf Komponentenebene ermöglicht. ISO 42001, Abschnitt 6.1, bietet hierfür den Planungsrahmen: Der darin geforderte Risikobewertungsprozess sollte so gestaltet sein, dass er Risiken aus der Interaktion mehrerer Akteure ausdrücklich erfasst und nicht nur Risiken einzelner KI-Systeme.
Die Bewertung muss der Architektur entsprechen
Ein häufiges Versäumnis bei der Steuerung von Multi-Agenten-Systemen besteht darin, dass Komponenten statt des Systems als Ganzes bewertet werden. In der Berkeley-Studie wird ausdrücklich darauf hingewiesen, dass die Bewertung von Multi-Agenten-Systemen Tests des gesamten Systems unter realistischen Bedingungen umfassen muss – einschließlich der Betriebsumgebung, aller Agenteninstanzen mit ihren tatsächlichen Zielvorgaben und Hilfestellungen, der gemeinsamen Infrastruktur sowie der vorhandenen Steuerungsmechanismen.
Wer Agenten isoliert, in abstrakten oder spielähnlichen Szenarien oder über kurze Zeiträume testet, übersieht wahrscheinlich die Fehlermodi, auf die es tatsächlich ankommt. Der Artikel identifiziert mehrere spezifische Fehlermodi, die gezielte Tests erfordern: kollusives Verhalten unter verschiedenen Anreizstrukturen, die Ausbreitung böswilliger Eingaben über die Kommunikationskanäle der Agenten hinweg sowie anomale Koordinationsmuster, die erst über längere Betriebszeiträume hinweg zutage treten.
Red-Teaming für Multi-Agenten-Systeme sollte gegnerische Stresstests umfassen, die speziell die Koordination der Agenten auf die Probe stellen – darunter Szenarien mit widersprüchlichen Zielen zwischen den Agenten, Informationsasymmetrie, bei der wichtige Informationen vorenthalten werden, sowie die Einbindung fehlerhafter oder feindlicher Agenten in das System.
Kommunikationsprotokolle und Nachvollziehbarkeit
Eine der praktischen Anforderungen an die Steuerung von Multi-Agenten-Systemen ist die Einrichtung überprüfbarer Kommunikationsprotokolle – Mechanismen, die sicherstellen, dass die Kommunikation zwischen den Agenten aufgezeichnet, nachvollziehbar und durch menschliche Kontrollinstanzen überprüfbar ist. Die Berkeley-Studie hebt mehrere neue Standards hervor, die in diesem Zusammenhang relevant sind, darunter das „Model Context Protocol“ (MCP) von Anthropic für Verbindungen zwischen Agenten und Datenquellen sowie das „Agent2Agent Protocol“ von Google für die Kommunikation zwischen Agenten.
Die Anforderung an die Unternehmensführung besteht nicht darin, bestimmte Protokolle vorzuschreiben, sondern sicherzustellen, dass die bestehenden Protokolle eine sinnvolle menschliche Kontrolle ermöglichen. Wenn die Kommunikation zwischen den Agenten in einem Multi-Agenten-System nicht protokolliert und nachprüfbar ist, kann die Organisation keine Absprachen aufdecken, die Ursachen von Fehlern nicht zurückverfolgen und keine Rechenschaft ablegen, wenn etwas schiefgeht.
Was sollten Vorstände verlangen?
Für Vorstände, die Organisationen mit umfangreichen Multi-Agenten-KI-Implementierungen beaufsichtigen, sollten bestimmte Anforderungen als unverhandelbar gelten. Vor der Implementierung sowie in Abständen, die der Leistungsfähigkeit des Systems und der Häufigkeit von Änderungen angemessen sind, sollten Risikobewertungen auf Systemebene durchgeführt werden. Die Überwachung sollte sowohl die Interaktionen zwischen den Agenten als auch das Verhalten einzelner Agenten umfassen. Evaluierungsprogramme sollten nicht nur Benchmarks für einzelne Agenten, sondern auch spezifische Testszenarien für Multi-Agenten-Systeme beinhalten. Und Kommunikationsprotokolle zwischen Agenten sollten so konzipiert und implementiert werden, dass die Nachvollziehbarkeit oberste Priorität hat.
Unternehmen, die sich bereits jetzt mit der Steuerung von Multi-Agenten-Systemen befassen – bevor deren Einsatz ein Ausmaß und eine Komplexität erreicht, die eine nachträgliche Steuerung unpraktikabel machen –, werden sich in einer grundlegend stärkeren Position befinden als diejenigen, die diese Risiken erst durch Betriebsstörungen erkennen.
Relevante Rahmenwerke: NIST AI RMF (Karte 1.1, Karte 5.1, Maßnahme 1.1) | ISO 42001, Abschnitte 6.1, 8.4, 9 | Berkeley Agentic AI Profile: Einleitung, Karte 1.1, Maßnahme 1.1, Management 1.3