Risques liés à la confidentialité et à la sécurité dans l'IA agentique : pourquoi la surface d'attaque est plus vaste que vous ne le pensez
Une surface d'attaque considérablement élargie
Lorsqu'un système d'IA passe de la simple réponse à des requêtes à l'accès autonome à des systèmes, à l'exécution de tâches et à l'interaction avec des environnements externes, son profil de risque en matière de sécurité et de confidentialité change radicalement. La surface d'attaque s'étend. Le risque de fuite de données augmente. Et les conséquences d'une compromission deviennent nettement plus graves.
Le profil des normes de gestion des risques liés à l'IA agentique de l'Université de Californie à Berkeley accorde une attention particulière aux risques liés à la confidentialité et à la sécurité, qu'il considère comme une catégorie de risques distincte et hautement prioritaire pour les systèmes agentiques. Pour les dirigeants et les conseils d'administration chargés de la gestion des risques d'entreprise, il est indispensable de comprendre ces risques – ainsi que les mesures de gouvernance qu'ils exigent.
Mémoire, état à long terme et fuite de données
L'une des caractéristiques déterminantes des systèmes d'IA agentique plus sophistiqués réside dans l'intégration d'une mémoire – c'est-à-dire la capacité à conserver et à exploiter des informations d'une interaction à l'autre, afin de constituer progressivement un contexte concernant les utilisateurs, les processus et les environnements. Cette capacité renforce considérablement l'utilité de l'agent. Elle accroît également de manière significative les risques liés à la vie privée.
L'étude de Berkeley identifie la mémoire comme un facteur de risque spécifique, car les systèmes d'agents stockent et traitent des données sensibles dans des contextes qui n'ont peut-être pas été anticipés lors de leur conception. Les informations partagées avec un agent dans un contexte donné peuvent être conservées et réapparaître dans un autre. Des données sensibles qu'un utilisateur n'avait pas l'intention de conserver peuvent être stockées, puis exposées à la suite d'attaques par injection de lignes de commande ou d'autres techniques d'exploitation.
Le document souligne également que même la journalisation exhaustive – qui constitue en soi un mécanisme de contrôle indispensable pour les systèmes autonomes – peut s'apparenter à une forme de surveillance continue lorsqu'elle enregistre des comportements sensibles des utilisateurs, ce qui engendre des risques de collecte excessive de données que les organisations doivent gérer de manière explicite.
L'injection rapide et l'adjoint désorienté
L'injection de commandes est l'un des risques de sécurité les plus importants propres aux agents d'IA, et l'un des moins bien compris par les dirigeants non spécialisés dans les technologies. Elle se produit lorsque des instructions malveillantes sont intégrées dans un contenu traité par un agent – un e-mail, un document, une page web – ce qui amène l'agent à exécuter ces instructions comme s'il s'agissait de commandes légitimes.
Les implications sont considérables. Un agent ayant accès au système de messagerie, à l'agenda, au référentiel de documents et aux outils de communication d'une organisation peut, par le biais d'une attaque par injection de prompt, être chargé d'exfiltrer des informations sensibles, de modifier des documents, d'envoyer des communications en se faisant passer pour des utilisateurs autorisés ou d'accorder l'accès à des tiers. L'article de Berkeley cite des cas avérés où des attaques par injection de prompt ont été utilisées pour collecter les données de localisation, le contenu des e-mails et les informations d'agenda des victimes.
Dans le même ordre d'idées, l'article de Berkeley évoque ce qu'il appelle l'« attaque du mandataire induit en erreur » : un agent est amené par la ruse à abuser de son autorité légitime. Étant donné que les agents ont souvent accès à plusieurs systèmes et que ces derniers leur font confiance pour agir au nom d'utilisateurs autorisés, un agent compromis peut causer des dommages considérables tout en donnant l'impression d'agir de manière légitime.
Risques liés à la propagation multi-agents
Dans les environnements multi-agents, les risques de sécurité se propagent d'une manière que les modèles de risque basés sur un seul agent ne permettent pas de saisir. L'article de Berkeley établit une analogie avec les vers informatiques : une commande malveillante injectée dans un agent au sein d'un réseau peut se propager à d'autres agents à mesure qu'ils communiquent et partagent des informations, évoluant et s'adaptant au fur et à mesure de sa propagation. L'article décrit ce phénomène comme analogue à un virus polymorphe, capable d'échapper à la détection alors qu'il se propage à travers des systèmes d'agents interconnectés.
Cela a des implications directes sur la manière dont les organisations évaluent les risques de sécurité dans les architectures multi-agents. La sécurité d'un système multi-agents ne peut être évaluée en examinant chaque agent individuellement. Le système doit être évalué comme un tout interconnecté, en accordant une attention particulière aux protocoles de communication entre les agents, aux hypothèses de confiance que chaque agent formule concernant les instructions reçues d'autres agents, ainsi qu'aux mécanismes mis en place pour détecter et contenir la propagation d'anomalies.
Le principe du privilège minimal
La mesure de sécurité la plus efficace pour les systèmes d'IA agentique est une mesure bien établie dans le domaine de la sécurité de l'information, mais qui n'est pas systématiquement appliquée aux déploiements d'IA : le principe du moindre privilège. Les agents ne devraient se voir accorder que l'accès minimal aux données, aux systèmes et aux outils nécessaires à l'exécution de leur fonction prévue – et rien de plus.
Ce principe est explicitement repris dans le cadre de référence de gestion des risques liés à l'IA (AI RMF) du NIST, sous la rubrique « Cartographie » (Map 3.5), ainsi que dans les recommandations en matière d'atténuation des risques de l'étude de Berkeley (Manage 1.3). Sa mise en œuvre exige que les organisations définissent explicitement, pour chaque agent déployé, l'étendue de l'accès aux données, les autorisations système et l'accès aux outils dont il est autorisé à disposer – et que ces définitions soient appliquées sur le plan technique, et non pas simplement énoncées dans une politique.
La norme ISO 42001 fournit le cadre de gouvernance permettant de mettre en œuvre les principes du principe du moindre privilège. La clause 8 (planification et contrôle opérationnels) exige que des contrôles opérationnels soient mis en place pour les risques identifiés. En matière de sécurité des IA agentiques, cela implique des systèmes de gestion des autorisations, la journalisation des accès et un réexamen régulier des autorisations accordées aux agents afin de s'assurer qu'elles restent proportionnées aux besoins opérationnels actuels.
La protection de la vie privée dès la conception pour les systèmes autonomes
Le document de Berkeley recommande des pratiques de journalisation respectueuses de la vie privée comme mesure de contrôle spécifique pour les systèmes autonomes : ne consigner que les informations nécessaires à la sûreté, à la sécurité et à la responsabilité ; chiffrer les données journalisées tant en transit qu'au repos ; fixer des durées de conservation maximales en fonction des besoins et des exigences réglementaires ; et anonymiser les données en filtrant les informations permettant d'identifier une personne.
Pour les organisations soumises au RGPD, à la PDPA ou à des régimes de protection des données équivalents, ces pratiques ne sont pas facultatives : il s'agit d'obligations qui s'appliquent aux agents d'IA tout comme elles s'appliquent aux autres systèmes de traitement des données. Le défi réside dans le fait que les systèmes d'IA agentique sont souvent déployés sans faire l'objet de la même rigueur en matière d'analyse d'impact sur la protection des données que celle qui serait appliquée à un système de traitement des données classique. Combler cette lacune constitue une priorité immédiate pour les services chargés de la conformité et de la gestion des risques.
Les organisations qui adoptent une approche proactive en matière de gouvernance de la sécurité et de la protection de la vie privée dans le domaine de l'IA agentique – en intégrant dans leurs cadres de déploiement les principes du « privilège minimal », des mécanismes de défense par injection rapide, une surveillance de la sécurité multi-agents et des pratiques de gestion des données respectueuses de la vie privée – seront nettement mieux placées que celles qui ne font face à ces risques qu'à titre réactif.
Cadres de référence pertinents : NIST AI RMF (Carte 1.1, Carte 3.5) | ISO 42001, clauses 6.1, 8.4 et 8 | Profil Berkeley Agentic AI : Carte 1.1 (Confidentialité et sécurité), Gestion 1.3, Mesure 2.7