Cartographier votre paysage des risques liés à l'IA : ce qu'exige le cadre de gestion des risques de l'IA (AI RMF) du NIST et pourquoi c'est important
La cartographie des risques n'est pas un simple exercice de mise en conformité
L'une des défaillances les plus courantes en matière de gouvernance lors du déploiement de l'IA consiste à considérer la cartographie des risques comme une simple formalité administrative : un document rédigé pour satisfaire à une exigence réglementaire, classé dans un tiroir et ressorti uniquement lorsque quelque chose tourne mal. Pour les systèmes d'IA autonomes, cette approche n'est pas seulement insuffisante. Elle est carrément dangereuse.
La fonction « Map » du cadre de gestion des risques liés à l'IA du NIST a pour objectif de garantir que les organisations comprennent le contexte dans lequel leurs systèmes d'IA fonctionnent, les risques que ces systèmes génèrent et les impacts potentiels sur les individus, les communautés et l'organisation elle-même – avant le déploiement, et non après. Le profil des normes de gestion des risques liés à l'IA agentique de l'université de Berkeley, qui s'appuie sur le cadre de gestion des risques liés à l'IA du NIST, fournit des conseils supplémentaires détaillés sur la manière d'exécuter la fonction « Map » spécifiquement pour les systèmes agentiques. Ces conseils révèlent à quel point la plupart des organisations sont actuellement à la traîne.
Comprendre le contexte : carte 1.1
La sous-catégorie 1.1 est l'une des priorités du cadre de Berkeley. Elle exige que les objectifs visés, les utilisations potentiellement bénéfiques, les lois et normes applicables ainsi que les contextes de déploiement envisagés du système d'IA soient compris et documentés – y compris les populations d'utilisateurs spécifiques, les impacts positifs et négatifs potentiels, les hypothèses relatives aux objectifs du système et les indicateurs qui seront utilisés pour évaluer ses performances.
En ce qui concerne l'IA agentique, l'article de Berkeley identifie huit catégories de risques distinctes qui doivent être évaluées dans le cadre de la carte 1.1 : discrimination et toxicité ; vie privée et sécurité ; désinformation ; acteurs malveillants et utilisation abusive ; interaction homme-machine ; perte de contrôle ; préjudices socio-économiques et environnementaux ; et sécurité, défaillances et limites des systèmes d'IA. Chacune de ces catégories comprend des sous-catégories de risques spécifiques aux systèmes agentiques, qui ne seraient pas prises en compte dans une évaluation des risques conçue pour l'IA conventionnelle.
À elle seule, la catégorie des pertes de contrôle – qui englobe l'auto-prolifération, l'auto-modification, l'auto-exfiltration, le désalignement des agents, les comportements trompeurs et les manœuvres frauduleuses, le piratage des systèmes de récompense, la collusion, ainsi que la planification à long terme et la poursuite d'objectifs – représente un paysage de risques que la plupart des cadres de gestion des risques d'entreprise ne sont actuellement pas en mesure d'évaluer. Les dirigeants devraient se poser la question suivante : notre processus actuel d'évaluation des risques liés à l'IA prend-il en compte l'un de ces aspects ? Et si la réponse est non, qu'est-ce que cela signifie pour notre posture de gouvernance ?
Risque cumulé à grande échelle
L'un des principes fondamentaux des recommandations relatives aux cartes du cadre de Berkeley est l'obligation d'évaluer l'impact cumulatif des actions menées à grande échelle. Le document est clair : des actions individuelles qui semblent présenter peu de risques prises isolément peuvent revêtir un risque important lorsqu'elles sont exécutées de manière répétée par des agents autonomes à grande échelle.
Il s'agit d'une approche de l'évaluation des risques qui diffère sensiblement de celle appliquée par la plupart des organisations. L'évaluation des risques classique porte sur le risque lié à un événement ou à une décision isolée. L'évaluation des risques liés à l'IA agentique doit, quant à elle, porter sur le risque lié à un ensemble de décisions, y compris les effets cumulés de nombreuses actions dont les conséquences sont faibles prises individuellement, mais qui, ensemble, ont un impact significatif.
Un agent qui commet des erreurs mineures de tarification dans 0,1 % des transactions peut sembler présenter un risque négligeable lorsque chaque transaction est considérée individuellement. À grande échelle – avec le traitement de millions de transactions –, ce taux d'erreur entraîne des conséquences qui ne sont ni mineures ni négligeables. Les seuils de tolérance au risque doivent être fixés en tenant compte de cette dimension cumulative.
Définition des seuils de tolérance au risque : Carte 1.5
La carte 1.5 – une autre sous-catégorie hautement prioritaire du cadre de Berkeley – exige que les seuils de tolérance au risque de l'organisation soient déterminés et documentés. Pour les systèmes agents, le cadre recommande de définir plusieurs niveaux de risque en dessous du seuil intolérable, afin de disposer d'un délai de réaction suffisant lorsque le système s'approche de niveaux de risque inacceptables.
L'étude de Berkeley met en évidence des aspects spécifiques liés à la tolérance au risque qui sont propres à l'IA agentique : accès non autorisés et escalade de privilèges, non-respect des instructions et des contrôles, risque cumulatif lié à la multiplication d'actions à faible risque, émergence rapide de capacités et risque de défaillance associé aux systèmes partageant des modèles ou des données sous-jacents. Des seuils de tolérance au risque devraient être définis pour chacune de ces dimensions, et non pas uniquement pour les performances globales du système.
La clause 6.1 de la norme ISO 42001 exige que les organisations identifient les risques liés à l'IA et déterminent leur réponse – accepter, traiter, transférer ou éviter – sur la base de critères documentés. Le cadre de tolérance au risque établi dans la carte 1.5 fournit les critères qui doivent sous-tendre ces décisions. En l'absence de tolérances au risque explicites, les décisions relatives au traitement des risques deviennent ponctuelles et incohérentes.
Caractérisation des impacts : carte 5.1
La carte 5.1 exige que la probabilité et l'ampleur des impacts identifiés soient évaluées, qu'il s'agisse d'impacts bénéfiques ou néfastes, tant au niveau des utilisateurs individuels que des communautés, des organisations et de la société dans son ensemble. Dans le cas de l'IA agentique, cette évaluation doit tenir compte des propriétés spécifiques de l'agent – son niveau d'autonomie, son autorité, sa capacité d'impact causal et son champ d'action environnemental – car ces propriétés déterminent directement l'ampleur des dommages potentiels.
L'étude de Berkeley préconise une approche de gouvernance multidimensionnelle pour cette évaluation : plutôt que de classer un système d'IA simplement comme présentant un risque élevé ou faible, il convient de l'évaluer selon plusieurs dimensions, notamment l'autonomie (allant de l'absence totale d'autonomie à l'autonomie complète), l'autorité (l'éventail des actions que l'agent peut effectuer et son niveau d'intégration avec d'autres systèmes), l'impact causal (allant de la simple observation au contrôle complet de l'environnement) et la complexité de l'environnement (allant d'un environnement simulé à un environnement physique). La position d'un système sur chacune de ces dimensions détermine son profil de risque et les contrôles de gouvernance dont il a besoin.
Cette approche multidimensionnelle est plus exigeante qu'une classification binaire des risques. Elle est également plus précise et permet d'élaborer des mesures de gouvernance proportionnées plutôt que génériques.
Rendre la cartographie des risques utile sur le plan opérationnel
Pour que la fonction de cartographie des risques remplisse son rôle, les résultats de cette cartographie doivent être directement reliés aux contrôles de gouvernance, aux cadres d'évaluation et aux processus de suivi qui en découlent. Une cartographie des risques qui identifie les risques prioritaires mais qui n'est pas reliée aux activités de mesure ou de gestion n'est qu'un simple document, et non un outil de gouvernance.
La norme ISO 42001 définit la structure du système de gestion qui garantit ce lien. Elle exige que les évaluations des risques servent de base aux plans de gestion des risques, que ces derniers soient mis en œuvre par le biais de contrôles opérationnels et que ces contrôles fassent l'objet d'un suivi et d'une révision. Lorsqu'elle est correctement mise en œuvre, cette approche crée une boucle fermée entre l'identification et la gestion des risques – ce qui correspond exactement à ce qu'exige la gouvernance de l'IA agentique.
Cadres de référence pertinents : NIST AI RMF (figures 1.1, 1.5, 2, 3, 5.1) | ISO 42001, clauses 6.1, 8.4 | Profil Berkeley Agentic AI : fonction de correspondance (toutes les sections)