Le contrôle humain à l'ère des agents IA : concevoir pour garantir la responsabilité
L'illusion de la surveillance
De nombreuses organisations pensent exercer un contrôle humain sur leurs systèmes d'IA. Elles disposent de tableaux de bord. Elles reçoivent des rapports d'exception. Elles ont mis en place un processus de remontée des problèmes. Ce qui leur manque souvent, c'est un contrôle réellement efficace à l'échelle et au rythme auxquels fonctionnent les systèmes d'IA agents modernes. Le fossé entre l'apparence du contrôle et sa réalité opérationnelle constitue l'un des défis de gouvernance les plus importants auxquels sont confrontés les dirigeants aujourd'hui.
Le profil des normes de gestion des risques liés à l'IA agentique de l'Université de Californie à Berkeley est très clair sur ce point. Il identifie l'interaction homme-machine et la perte de contrôle comme deux des huit grandes catégories de risques propres aux systèmes agentiques. Ces deux aspects concernent fondamentalement ce qui se passe lorsque la supervision humaine devient purement formelle plutôt que substantielle – c'est-à-dire lorsque le volume, la vitesse ou la complexité des actions des agents dépassent la capacité pratique des évaluateurs humains à exercer un jugement pertinent à leur sujet.
Le manque de contrôle
Comprendre pourquoi ce manque de surveillance existe est la première étape pour y remédier. Il existe trois causes principales.
Le premier facteur est l'échelle. Un agent IA exécutant un flux de travail – communication avec les fournisseurs, examen des contrats, gestion des escalades clients, analyse des données financières – peut effectuer des milliers d'actions en chaîne dans un délai que les vérificateurs humains ne peuvent égaler. Si la supervision est conçue comme un examen de toutes les actions avant leur exécution, elle devient soit un goulot d'étranglement qui annule le gain de productivité de l'agent, soit un processus purement formel qui donne l'illusion d'une supervision sans en avoir la substance.
Le deuxième aspect concerne l'expertise. À mesure que les systèmes autonomes sont déployés dans des domaines de plus en plus spécialisés – juridique, financier, clinique, technique –, les actions qu'ils entreprennent peuvent nécessiter une expertise sectorielle que la fonction de supervision humaine désignée ne possède pas forcément. Une équipe chargée de la conformité qui examine une analyse juridique générée par l'IA, ou une équipe opérationnelle qui vérifie des décisions techniques prises par l'IA, peut ne pas disposer des connaissances nécessaires pour identifier les erreurs commises par l'agent avec une certitude absolue.
Le troisième est l'anthropomorphisme. L'étude de Berkeley identifie cela comme un risque spécifique : les agents d'IA qui communiquent en langage naturel, utilisent des pronoms à la première personne et présentent des traits de personnalité cohérents peuvent susciter chez les utilisateurs une confiance et une dépendance excessives qui nuisent à l'esprit critique. Les gens ont tendance à accorder une confiance excessive aux systèmes qui semblent humains et à ne pas remettre suffisamment en question les résultats présentés avec une assurance apparente.
Concevoir un système de contrôle efficace
Le cadre de gestion des risques liés à l'IA (AI RMF) du NIST traite des exigences en matière de supervision humaine dans plusieurs sous-catégories : la section « Govern 2.1 » exige que les rôles, les responsabilités et les voies de communication pour la gestion des risques liés à l'IA soient documentés et clairs, tandis que la section « Map 3.5 » exige que les processus de supervision humaine soient définis, évalués et documentés. L'article de Berkeley développe ces exigences en proposant des recommandations spécifiques pour les systèmes autonomes.
Le principe fondamental de conception est que la surveillance doit être proportionnée au risque plutôt qu’uniforme. Toutes les actions effectuées par un agent d’IA ne nécessitent pas le même niveau de contrôle humain. Un cadre de surveillance bien conçu établit une distinction entre les actions pouvant être surveillées automatiquement, celles qui doivent déclencher un contrôle humain lorsque certaines conditions sont remplies et celles qui nécessitent une autorisation humaine avant leur exécution.
L'article de Berkeley, s'appuyant sur les travaux de Kim et al., propose un modèle de supervision à trois niveaux. Le premier niveau couvre les actions courantes des agents, qui peuvent être surveillées par des systèmes automatisés et signalées pour un examen manuel uniquement en cas de détection d'anomalies. Le deuxième niveau couvre les actions inhabituelles, à enjeux élevés ou qui dépassent des paramètres prédéfinis ; celles-ci sont automatiquement transmises à des évaluateurs humains possédant l'expertise requise. Le troisième niveau couvre les problèmes les plus critiques, qui peuvent nécessiter une escalade vers un comité de supervision de haut niveau ou un organe de gouvernance équivalent.
Cette structure permet à la supervision de s'adapter au volume d'activité des agents sans devenir ni un goulot d'étranglement ni une simple formalité. La question clé de conception pour chaque niveau réside dans la définition des seuils de basculement, c'est-à-dire les conditions spécifiques qui entraînent le renvoi d'une action ou d'une série d'actions vers le niveau supérieur de contrôle. Ces seuils doivent être documentés, testés et réexaminés régulièrement à mesure que le contexte opérationnel du système évolue.
Rôles et responsabilités
La norme ISO 42001 exige, en vertu de la clause 5 (direction) et des clauses opérationnelles connexes, que les rôles et les responsabilités en matière de gouvernance de l'IA soient clairement attribués et compris. Pour l'IA agentique, cela doit aller au-delà de la simple désignation d'un responsable de la gouvernance de l'IA. Il faut définir qui est chargé de fixer les limites d'autorité de chaque agent déployé, qui surveille en permanence le comportement des agents, qui a l'autorité et la capacité d'intervenir ou de désactiver un agent dont le comportement est inattendu, et qui est responsable des décisions prises de manière autonome par un agent.
Le document de Berkeley indique clairement que l'IA agentique doit être considérée comme un outil placé sous contrôle humain, et non comme un pair ou un subordonné au sein du personnel. Le choix des termes est important. Lorsque les organisations commencent à désigner les agents IA comme des « travailleurs IA » ou des « employés IA », elles sapent implicitement les structures de responsabilité indispensables à une gouvernance efficace. Ce n'est pas l'agent qui assume la responsabilité, mais l'organisation.
Mesures concrètes à l'intention des équipes de direction
Pour les équipes de direction qui souhaitent renforcer leurs dispositifs de contrôle humain, les priorités suivantes méritent une attention immédiate. Premièrement, il convient de procéder à un audit de tous les systèmes d’IA dotés d’autonomie actuellement en service, en répertoriant les pouvoirs accordés à chacun, les mécanismes de contrôle en place et les procédures d’escalade existantes. Deuxièmement, il faut déterminer si les mécanismes de contrôle actuels sont réels ou purement formels : les contrôleurs disposent-ils du temps, de l’expertise et des capacités nécessaires pour exercer un véritable jugement, ou le contrôle est-il devenu, en réalité, un processus qui légitime l’action autonome ? Troisièmement, établissez une politique claire concernant les exigences minimales de contrôle humain pour les différentes catégories d'actions de l'IA, une autonomie plus élevée nécessitant une conception de la supervision d'autant plus rigoureuse. Quatrièmement, veillez à ce que les procédures d'arrêt et d'intervention soient testées et que le personnel qui en est chargé soit formé et prêt à intervenir.
Le contrôle humain ne constitue pas une limite à la valeur de l'IA agentique. C'est la condition nécessaire pour que cette valeur puisse être concrétisée en toute sécurité.
Cadres de référence pertinents : NIST AI RMF (Gouvernance 2.1, Cartographie 3.5, Gestion 1.1) | ISO 42001, clauses 5, 7 et 8 | Profil Berkeley Agentic AI : Gouvernance 2.1, Cartographie 3.5, Gestion 1.3 (Perte de contrôle)