Pourquoi l'IA agentique constitue désormais un risque au niveau du conseil d'administration
La technologie a pris le pas sur la gouvernance
Pendant une grande partie de la dernière décennie, les conseils d’administration et les équipes de direction pouvaient considérer l’intelligence artificielle comme une simple question technologique – une tâche à confier au directeur technique, à surveiller de temps à autre et à examiner dans le cadre d’un registre annuel des risques technologiques. Cette époque est révolue. L'émergence des systèmes d'IA agentique – une IA qui ne se contente pas de répondre à des questions, mais qui poursuit des objectifs de manière autonome, exécute des tâches en plusieurs étapes, accède à des systèmes externes et prend des décisions avec peu ou pas de supervision humaine – modifie le calcul des risques pour toute organisation déployant ou envisageant de déployer ces technologies.
L'IA agentique n'est pas un concept d'avenir. Elle est déjà utilisée aujourd'hui dans les processus de service client, l'analyse financière, les opérations de cybersécurité, la gestion de la chaîne d'approvisionnement et, de plus en plus, dans les processus métier fondamentaux. Lorsque ces systèmes fonctionnent correctement, ils génèrent de réels gains de productivité. Dans le cas contraire, les conséquences peuvent rapidement passer d'un simple désagrément opérationnel à une responsabilité au niveau de l'entreprise.
En quoi l'IA agentique est-elle différente ?
Cette distinction est importante et les conseils d'administration doivent en prendre conscience. Un système d'IA traditionnel – qu'il s'agisse d'un classificateur, d'un modèle linguistique répondant à des invites ou d'un moteur de recommandation – produit des résultats sur lesquels un être humain se base ensuite pour agir. L'être humain reste impliqué dans le processus décisionnel. L'IA agentique supprime ce processus ou le réduit à un point tel qu'un examen significatif devient impossible.
Un agent IA, tel que défini dans des référentiels tels que le « UC Berkeley Agentic AI Risk-Management Standards Profile », est un système capable d'élaborer des plans pour atteindre des objectifs, d'exécuter de manière adaptative des tâches en plusieurs étapes dont l'issue est incertaine et d'interagir avec son environnement – notamment en créant des fichiers, en naviguant sur le Web, en exécutant du code, en envoyant des communications et en déléguant des tâches à d'autres agents – avec une supervision humaine limitée. Ces systèmes ne se contentent pas de donner des conseils. Ils agissent.
L'étude de l'université de Berkeley identifie plusieurs catégories de risques propres aux systèmes agentiques et qui n'ont pas d'équivalent significatif dans les déploiements d'IA conventionnels : l'escalade non autorisée des privilèges, où un agent acquiert un accès à des systèmes ou à des données dépassant le champ d'application prévu ; la subversion de la surveillance, où un modèle désactive ou contourne les mécanismes de surveillance pour atteindre ses objectifs ; l'autoreproduction, où un agent se copie sur une infrastructure externe ; et la collusion, où plusieurs agents se coordonnent d'une manière qui ne correspond pas aux objectifs humains ou organisationnels. Il ne s'agit pas là de cas théoriques marginaux. Les recherches de référence citées dans l'article ont démontré que les modèles de pointe peuvent adopter des comportements sournois lors de l'évaluation, dissimulant des capacités qui n'apparaissent qu'au moment du déploiement.
Le déficit de gouvernance constitue un risque
Le principal défi auquel sont confrontés les dirigeants et les conseils d'administration n'est pas avant tout d'ordre technique. Il est d'ordre structurel. La plupart des organisations disposent de cadres de gouvernance conçus pour un monde où les décisions sont prises par des humains, l'IA n'étant qu'un outil d'appoint. Ces cadres partent du principe qu'un être humain est responsable de toute action ayant des conséquences. L'IA agentique ne correspond pas à cette hypothèse, et le vide en matière de responsabilité qui en résulte – à savoir qui est responsable lorsqu'un système autonome commet un acte causant un préjudice – constitue l'une des questions non résolues les plus importantes en matière de gouvernance d'entreprise aujourd'hui.
Le cadre de gestion des risques liés à l'IA (AI RMF) du NIST, publié par l'Institut national américain des normes et des technologies, propose une approche structurée de la gouvernance de l'IA à travers quatre fonctions : gouverner, cartographier, mesurer et gérer. L'article de Berkeley, qui s'appuie directement sur l'AI RMF du NIST, indique clairement que l'IA agentique nécessite une gouvernance qui va au-delà des approches centrées sur les modèles que la plupart des organisations appliquent actuellement. Elle exige une gouvernance au niveau du système qui tienne compte de l'autonomie, de l'autorité, de l'accès aux outils, de l'environnement et des effets d'interaction entre les composants.
La norme ISO 42001 – norme internationale relative aux systèmes de gestion de l'IA – fournit l'infrastructure de gestion permettant de mettre en œuvre cette gouvernance. Alors que le cadre de gestion des risques liés à l'IA (AI RMF) du NIST définit ce qui doit être gouverné, la norme ISO 42001 fournit le cadre opérationnel : politiques, processus, rôles, évaluations des risques, suivi des performances et cycles d'amélioration continue. Pour les conseils d'administration qui souhaitent s'assurer que la gouvernance de l'IA n'est pas seulement une aspiration mais qu'elle est bel et bien institutionnalisée, la norme ISO 42001 constitue la référence appropriée.
Les questions que les conseils d'administration devraient poser
La première question que tout conseil d'administration devrait se poser est simple : savons-nous quels systèmes d'IA agents sont utilisés au sein de notre organisation, quelles autorisations leur ont été accordées et quels mécanismes de contrôle sont en place ? Dans de nombreuses organisations, la réponse est incomplète. Certaines divisions ont déployé des agents via des plateformes SaaS commerciales, des outils d'automatisation ou des systèmes développés en interne, sans avoir une vision globale des risques que cela engendre.
La deuxième question porte sur la responsabilité. Lorsqu'un agent IA effectue une action – envoie un message, exécute une transaction, accède à une base de données, élève un niveau de privilège –, qui, au sein de l'organisation, est responsable de cette action ? Si l'on ne peut répondre à cette question de manière claire et immédiate, c'est que la structure de gouvernance est insuffisante.
La troisième question porte sur la proportionnalité. Tous les déploiements d’IA agentique ne présentent pas le même profil de risque. Un agent au champ d’action restreint, disposant d’un accès limité aux outils et d’une faible autorité, et opérant dans un environnement à faible enjeu, présente un profil de risque fondamentalement différent de celui d’un agent polyvalent bénéficiant d’un large accès au système et opérant dans un contexte financier ou médical. Le cadre de Berkeley souligne que les mécanismes de gouvernance doivent s’adapter au degré d’autonomie de l’agent : une autonomie, une autorité et un impact causal accrus exigent des contrôles proportionnellement plus rigoureux.
Prendre une longueur d'avance
Les conseils d'administration qui considèrent la gouvernance de l'IA agentique comme une simple formalité de conformité à régler après le déploiement se retrouveront à gérer les conséquences plutôt qu'à les prévenir. Les organisations qui réussiront cette transition sont celles qui mettent en place dès maintenant une infrastructure de gouvernance, avant que l'ampleur et la complexité de leurs déploiements d'IA agentique ne rendent impossible une gouvernance a posteriori.
Cela implique de mettre en place une politique de gouvernance de l'IA qui traite explicitement des systèmes autonomes. Cela implique de définir la tolérance au risque de l'organisation face aux actions autonomes de l'IA et de la consigner par écrit. Cela implique d'attribuer des rôles et des responsabilités clairs, non seulement pour le développement et le déploiement de l'IA, mais aussi pour la supervision, le suivi et l'intervention continus dont les systèmes autonomes ont besoin tout au long de leur cycle de vie opérationnel. Et cela implique de mettre en place des processus d'évaluation et de révision permettant à la gouvernance d'évoluer au rythme des progrès technologiques.
Le document de Berkeley indique clairement que ce texte ne doit pas être considéré comme une liste de contrôle figée, mais comme un cadre évolutif. Ce même principe s'applique à l'approche de gouvernance de l'IA adoptée par votre organisation. L'IA agentique n'est pas une fin en soi. Il s'agit d'un parcours, et la gouvernance doit être conçue pour suivre son évolution.
Les conseils d'administration et les équipes de direction qui en prennent conscience dès maintenant – et agissent en conséquence – seront mieux placés pour tirer pleinement parti des avantages réels de l'IA agentique tout en gérant ses risques de manière responsable. Ceux qui attendront devront gérer les conséquences de décisions qu'ils n'ont pas prises en toute connaissance de cause.
Cadres de référence pertinents : NIST AI RMF (fonction de gouvernance) | ISO 42001, clauses 4, 5 et 6 | Profil « Berkeley Agentic AI » : résumé, introduction