Datenschutz- und Sicherheitsrisiken bei agentischer KI: Warum die Angriffsfläche größer ist, als Sie denken
Eine grundlegend vergrößerte Angriffsfläche
Wenn ein KI-System nicht mehr nur auf Anfragen reagiert, sondern eigenständig auf Systeme zugreift, Aufgaben ausführt und mit externen Umgebungen interagiert, verändert sich sein Sicherheits- und Datenschutzrisikoprofil grundlegend. Die Angriffsfläche vergrößert sich. Das Risiko von Datenlecks steigt. Und die Folgen einer Kompromittierung werden deutlich schwerwiegender.
Das „Agentic AI Risk-Management Standards Profile“ der UC Berkeley widmet Datenschutz- und Sicherheitsrisiken als eigenständige und vorrangige Risikokategorie für agentische Systeme besondere Aufmerksamkeit. Für Führungskräfte und Vorstände, die für das unternehmensweite Risikomanagement verantwortlich sind, ist das Verständnis dieser Risiken – und der dafür erforderlichen Governance-Maßnahmen – unabdingbar.
Speicher, Langzeitzustand und Datenlecks
Eines der charakteristischen Merkmale komplexerer agentenbasierter KI-Systeme ist die Einbindung von Gedächtnis – also die Fähigkeit, Informationen über mehrere Interaktionen hinweg zu speichern und abzurufen und so im Laufe der Zeit einen Kontext zu Nutzern, Prozessen und Umgebungen aufzubauen. Diese Fähigkeit steigert den Nutzen des Agenten erheblich. Sie erhöht jedoch auch das Datenschutzrisiko erheblich.
Die Berkeley-Studie identifiziert das Speichervermögen als einen spezifischen Risikofaktor, da agentische Systeme sensible Daten in Kontexten speichern und verarbeiten, die bei der Entwicklung möglicherweise nicht vorhergesehen wurden. Informationen, die einem Agenten in einem Kontext mitgeteilt werden, können erhalten bleiben und in einem anderen Kontext wieder auftauchen. Sensible Daten, deren Speicherung ein Nutzer nicht beabsichtigt hat, können gespeichert und anschließend durch Prompt-Injection-Angriffe oder andere Ausnutzungstechniken offengelegt werden.
In dem Beitrag wird zudem darauf hingewiesen, dass selbst eine umfassende Protokollierung – die an sich eine notwendige Kontrollmaßnahme für agentenbasierte Systeme darstellt – als eine Form der kontinuierlichen Überwachung wirken kann, wenn dabei sensible Nutzeraktivitäten erfasst werden, wodurch Risiken einer Datenüberschreitung entstehen, die Organisationen explizit bewältigen müssen.
„Prompt Injection“ und der verwirrte Stellvertreter
Prompt-Injection ist eines der größten Sicherheitsrisiken, die speziell mit KI-Agenten verbunden sind, und eines der am wenigsten verstandenen Risiken für Führungskräfte ohne technischen Hintergrund. Es tritt auf, wenn böswillige Anweisungen in Inhalte eingebettet werden, die ein Agent verarbeitet – etwa eine E-Mail, ein Dokument oder eine Webseite –, wodurch der Agent diese Anweisungen ausführt, als wären sie legitime Befehle.
Die Auswirkungen sind erheblich. Ein Akteur, der Zugriff auf das E-Mail-System, den Kalender, den Dokumentenspeicher und die Kommunikationswerkzeuge einer Organisation hat, kann durch einen Prompt-Injection-Angriff dazu gebracht werden, sensible Informationen zu entwenden, Dokumente zu verändern, Nachrichten unter Vortäuschung der Identität autorisierter Benutzer zu versenden oder externen Parteien Zugriff zu gewähren. Die Berkeley-Studie führt dokumentierte Fälle an, in denen Prompt-Injection-Angriffe genutzt wurden, um Standortdaten, E-Mail-Inhalte und Kalenderinformationen der Opfer zu sammeln.
Damit verbunden ist das, was in der Berkeley-Studie als „Confused-Deputy-Angriff“ bezeichnet wird – bei dem ein Agent dazu verleitet wird, seine legitime Befugnis zu missbrauchen. Da Agenten häufig Zugriff auf mehrere Systeme haben und von diesen Systemen als Vertreter autorisierter Benutzer angesehen werden, kann ein kompromittierter Agent erheblichen Schaden anrichten, während er scheinbar legitim handelt.
Risiken bei der Ausbreitung durch mehrere Akteure
In Multi-Agenten-Umgebungen verbreiten sich Sicherheitsrisiken auf eine Weise, die von Risikomodellen für einzelne Agenten nicht erfasst wird. Die Berkeley-Studie zieht eine Analogie zu Computerwürmern: Eine bösartige Anweisung, die in einen Agenten eines Netzwerks eingeschleust wird, kann sich auf andere Agenten ausbreiten, während diese kommunizieren und Informationen austauschen, und sich dabei weiterentwickeln und anpassen. Die Studie beschreibt dies als analog zu einem polymorphen Virus, das in der Lage ist, der Erkennung zu entgehen, während es sich durch miteinander verbundene Agentensysteme ausbreitet.
Dies hat direkte Auswirkungen darauf, wie Organisationen Sicherheitsrisiken in Multi-Agenten-Architekturen bewerten. Die Sicherheit eines Multi-Agenten-Systems lässt sich nicht durch die individuelle Bewertung jedes einzelnen Agenten beurteilen. Das System muss als miteinander verbundenes Ganzes betrachtet werden, wobei besonderes Augenmerk auf die Kommunikationsprotokolle zwischen den Agenten, die Vertrauensannahmen, die jeder Agent hinsichtlich der von anderen Agenten empfangenen Anweisungen trifft, sowie auf die Mechanismen zur Erkennung und Eindämmung anomaler Ausbreitung zu legen ist.
Das Prinzip der geringsten Berechtigungen
Die wirksamste Sicherheitsmaßnahme für agentenbasierte KI-Systeme ist eine, die in der Informationssicherheit zwar fest etabliert ist, bei KI-Implementierungen jedoch nur uneinheitlich angewendet wird: das Prinzip der geringsten Berechtigungen. Agenten sollten nur den minimalen Zugriff auf Daten, Systeme und Tools erhalten, der zur Erfüllung ihrer vorgesehenen Funktion erforderlich ist – und nicht mehr.
Dieser Grundsatz wird im NIST AI RMF unter der Funktion „Map“ (Map 3.5) sowie in den Leitlinien zur Risikominderung des Berkeley-Papiers (Manage 1.3) ausdrücklich bekräftigt. Seine Umsetzung erfordert, dass Organisationen für jeden eingesetzten Agenten den Umfang des Datenzugriffs, der Systemberechtigungen und des Zugriffs auf Tools, zu deren Nutzung er berechtigt ist, ausdrücklich definieren – und dass diese Definitionen technisch durchgesetzt werden und nicht nur in Richtlinien festgehalten werden.
Die Norm ISO 42001 bietet den Governance-Rahmen, innerhalb dessen die Prinzipien der geringsten Berechtigungen umgesetzt werden können. Abschnitt 8 (Betriebsplanung und -kontrolle) schreibt vor, dass für identifizierte Risiken betriebliche Kontrollmaßnahmen umgesetzt werden müssen. Für die Sicherheit agentenbasierter KI bedeutet dies Berechtigungsmanagementsysteme, Zugriffsprotokollierung und eine regelmäßige Überprüfung der Agentenberechtigungen, um sicherzustellen, dass diese den aktuellen betrieblichen Anforderungen angemessen bleiben.
Datenschutz durch Technikgestaltung für agentische Systeme
Die Berkeley-Studie empfiehlt datenschutzkonforme Protokollierungsverfahren als konkrete Kontrollmaßnahme für agentenbasierte Systeme: Es sollen nur Informationen protokolliert werden, die für Sicherheit und Nachvollziehbarkeit erforderlich sind; protokollierte Daten sind sowohl während der Übertragung als auch im Ruhezustand zu verschlüsseln; es sind maximale Aufbewahrungsfristen festzulegen, die sich nach dem Bedarf und den gesetzlichen Anforderungen richten; und Daten sind durch das Herausfiltern personenbezogener Informationen zu anonymisieren.
Für Organisationen, die der DSGVO, dem PDPA oder vergleichbaren Datenschutzregelungen unterliegen, sind diese Vorgehensweisen nicht optional – es handelt sich um Verpflichtungen, die für KI-Agenten ebenso gelten wie für andere Datenverarbeitungssysteme. Die Herausforderung besteht darin, dass agentische KI-Systeme oft ohne die gleiche Sorgfalt bei der Datenschutz-Folgenabschätzung eingesetzt werden, wie sie bei einem herkömmlichen Datenverarbeitungssystem angewendet würde. Diese Lücke zu schließen, ist eine unmittelbare Priorität für Compliance- und Risikofunktionen.
Unternehmen, die sich proaktiv mit der Sicherheit und dem Datenschutz bei agentenbasierter KI auseinandersetzen – indem sie Prinzipien der minimalen Berechtigungen, Abwehrmaßnahmen gegen Prompt-Injection, eine Sicherheitsüberwachung durch mehrere Agenten sowie datenschutzkonforme Datenpraktiken in ihre Bereitstellungsrahmen integrieren –, werden deutlich besser aufgestellt sein als solche, die diesen Risiken nur reaktiv begegnen.
Relevante Rahmenwerke: NIST AI RMF (Karte 1.1, Karte 3.5) | ISO 42001, Abschnitte 6.1, 8.4, 8 | Berkeley Agentic AI Profile: Karte 1.1 (Datenschutz und Sicherheit), Verwalten 1.3, Messen 2.7