Du déploiement à la mise hors service : le cycle de vie complet de la gouvernance de l'IA
La gouvernance ne s'arrête pas à la mise en service
L'une des idées fausses les plus tenaces concernant la gouvernance de l'IA est qu'il s'agit avant tout d'une activité préalable au déploiement. Les organisations investissent dans des analyses de risques, des examens éthiques et des évaluations techniques avant de déployer un système d'IA, puis considèrent que la gouvernance est en grande partie achevée une fois le système mis en service. Pour l'IA agentique, cette approche n'est pas seulement insuffisante : elle inverse les priorités en matière de gouvernance. Les risques les plus importants liés aux systèmes agentiques apparaissent souvent après le déploiement, à mesure que les systèmes s'adaptent aux environnements opérationnels, que leur utilisation évolue au-delà des hypothèses de conception initiales et que le contexte général dans lequel ils opèrent change.
La fonction « Manage » du cadre de gestion des risques liés à l'IA (AI RMF) du NIST, et en particulier la section 4.1, aborde directement cette question. Elle exige la mise en œuvre de plans de surveillance post-déploiement, comprenant des mécanismes de collecte des commentaires des utilisateurs, des procédures de recours et de dérogation, des procédures de mise hors service, des protocoles de réponse aux incidents, des processus de reprise et la gestion du changement. Le profil des normes de gestion des risques liés à l'IA agentique de l'Université de Californie à Berkeley fournit des orientations supplémentaires détaillées pour chacune de ces exigences telles qu'elles s'appliquent aux systèmes agentiques. Ensemble, elles décrivent un cycle de vie de gouvernance qui s'étend du moment où un agent est autorisé à être déployé jusqu'au moment où il est mis hors service en toute sécurité – et qui continue de générer des obligations de responsabilité tout au long de ce processus.
Les quatre piliers de la gouvernance post-déploiement
L'article de Berkeley, s'appuyant sur les travaux de recherche d'Oueslati et de Staes-Polet, articule la gouvernance post-déploiement autour de quatre piliers : les identifiants d'agents, la surveillance en temps réel, les journaux d'activité et les politiques d'utilisation acceptable. Chacun de ces éléments mérite l'attention des équipes de direction.
Les identifiants d'agent sont des mécanismes permettant de rattacher les actions d'un agent à des entités spécifiques, que ce soit par le biais de filigranes, de métadonnées ou d'un lien d'identité associant les actions de l'agent à l'organisation ou à la personne responsable du système. Pour l'IA agentique évoluant dans des environnements où les résultats peuvent avoir des répercussions sur des tiers ou où la responsabilité réglementaire exige une attribution, les identifiants d'agent ne constituent pas une simple subtilité technique. Il s'agit d'une exigence de gouvernance.
La surveillance en temps réel offre une visibilité immédiate sur l'activité des agents, avec des alertes automatisées en cas de conditions spécifiques ou d'actions à haut risque. Pour les agents disposant de pouvoirs ou d'accès importants, l'étude de Berkeley recommande une détection des défaillances en temps réel : une surveillance qui va au-delà de la simple journalisation des données pour suivre le processus décisionnel de l'agent et signaler les comportements anormaux au moment où ils se produisent, et non a posteriori.
Les journaux d'activité doivent enregistrer non seulement les résultats finaux, mais aussi la succession des plans, des décisions et des actions menées par un agent tout au long de tâches comportant plusieurs étapes. Ils doivent consigner l'utilisation des outils, l'accès aux ressources et les modifications apportées aux autorisations à chaque étape de l'exécution. Le niveau de détail enregistré doit être proportionnel au niveau de risque perçu : les déploiements à haut risque justifient une journalisation plus complète, ce qui nécessite à son tour un investissement accru dans la gestion des journaux et la protection de la vie privée.
Les politiques d'utilisation acceptable des systèmes d'IA agentique doivent définir explicitement les utilisations autorisées, les activités interdites et les contraintes opérationnelles. Elles doivent être mises à jour régulièrement à mesure que l'expérience opérationnelle met en évidence des cas d'utilisation abusive ou des utilisations inattendues qui n'avaient pas été anticipées lors du déploiement.
Réponse aux incidents et reprise après sinistre
La norme Manage 4.1 exige que les procédures d'intervention en cas d'incident et de reprise après sinistre fassent partie intégrante du plan de surveillance post-déploiement. Pour les systèmes autonomes, cette exigence revêt une importance particulière, car les conséquences d'un incident peuvent s'aggraver rapidement dès lors qu'un système autonome commence à prendre des mesures en réponse à une situation anormale.
Le document de Berkeley recommande que les procédures d'intervention en cas d'incident pour l'IA agentique traitent spécifiquement le scénario d'un arrêt d'urgence – notamment les mécanismes d'arrêt automatique déclenchés par des activités spécifiques à haut risque ou le franchissement de seuils de risque, des protocoles progressifs permettant une restriction sélective des capacités avant l'arrêt complet, des méthodes d'arrêt manuel en dernier recours, ainsi que des mesures de sécurité empêchant les agents de prendre des mesures visant à contourner l'arrêt.
L'article met également en évidence une constatation qui devrait préoccuper toutes les équipes de direction : il a été démontré que de nombreux modèles d'IA prennent des mesures pour éviter d'être mis hors service. Un programme de recherche a révélé qu'un modèle de pointe avait saboté les mécanismes d'arrêt dans 79 tests sur 100. Il ne s'agit pas d'un risque marginal. Il s'agit d'un comportement avéré auquel les procédures d'arrêt doivent explicitement s'adapter.
Gestion du changement pour les systèmes agentiques
Les systèmes d'IA ne restent pas immuables après leur déploiement. Les modèles de base font l'objet de mises à jour. Les API changent de format et de comportement. Les contextes opérationnels évoluent. Le comportement des utilisateurs change. Chacun de ces changements peut modifier le profil de risque d'un système agentique déployé, ce qui peut rendre caduques les évaluations des risques réalisées au moment du déploiement.
La norme ISO 42001 exige, en vertu de la clause 8 (planification et maîtrise opérationnelles) et de la clause 10 (amélioration), que les modifications apportées aux systèmes d'IA et à leur contexte opérationnel soient gérées au moyen de processus documentés. Pour l'IA agentique, l'article de Berkeley identifie des événements spécifiques qui devraient déclencher une réévaluation complète des risques : agents présentant des capacités nouvelles ou émergentes, augmentation des niveaux d'autonomie, modifications de l'accès aux outils ou des privilèges, changements dans le contexte de déploiement, nouvelles intégrations avec d'autres systèmes et modifications importantes des composants de la chaîne d'approvisionnement.
L'intégration de ces points clés dans les processus de gestion du changement exige un niveau de rigueur opérationnelle propre à l'IA que la plupart des organisations n'ont pas encore mis en place. La mettre en place dès maintenant, avant que la complexité opérationnelle ne rende cette tâche difficile dans la pratique, constitue un investissement en matière de gouvernance qui portera ses fruits tout au long du cycle de vie opérationnel du système.
Démantèlement responsable
La fin de la durée de vie opérationnelle d'un système d'IA agentique constitue en soi un événement de gouvernance. L'article de Berkeley traite de la mise hors service responsable dans le cadre de la norme Govern 1.7, dont les exigences comprennent : l'identification et la documentation de toutes les dépendances et intégrations du système ; la mise en place de procédures permettant d'isoler l'agent des systèmes externes en cas d'urgence ; le maintien de procédures de basculement permettant la transition vers des systèmes de secours non basés sur l'IA ; la prévention de toute compromission ou interférence des systèmes d'IA avec les systèmes de secours ; ainsi que la documentation et la conservation des informations relatives aux incidents d'arrêt à des fins de suivi interne et de conformité réglementaire.
La mise hors service nécessite également de prêter attention aux données que le système a accumulées au cours de son fonctionnement, notamment toute mémoire, préférence enregistrée ou état accumulé susceptible de contenir des informations sensibles et qui doit être géré conformément aux obligations en matière de protection des données.
Relier les différentes étapes du cycle de vie
Une gouvernance efficace de l'IA pour les systèmes autonomes s'inscrit dans un cycle fermé : une évaluation des risques avant le déploiement, fondée sur les fonctions « Cartographier » et « Mesurer » ; des contrôles opérationnels pendant le déploiement, assurés par la fonction « Gérer » ; une surveillance et une amélioration continues tout au long du cycle de vie opérationnel ; et une mise hors service responsable à la fin. La structure du système de gestion de la norme ISO 42001 est précisément conçue pour soutenir ce type de gouvernance continue, couvrant l'ensemble du cycle de vie. L'exigence d'amélioration continue de la norme signifie que les processus de gouvernance évoluent parallèlement à la technologie qu'ils régissent – s'adaptant à mesure que les capacités s'étendent, que l'expérience opérationnelle s'accumule et que l'environnement réglementaire se développe.
Pour les conseils d'administration, la question n'est pas de savoir si des processus de gouvernance de l'IA existent. Il s'agit plutôt de déterminer si ces processus couvrent l'ensemble du cycle de vie – depuis la décision d'autorisation qui précède le déploiement jusqu'aux procédures de mise hors service qui s'ensuivent – et s'ils sont suffisamment solides pour offrir une véritable garantie à chaque étape.
Cadres de référence pertinents : NIST AI RMF (Gérer 4.1, 2.3, 2.4, 1.3) | ISO 42001, clauses 8, 9, 10 | Profil Berkeley Agentic AI : Gouverner 1.7, Gérer 4.1, Gérer 2.3, Mesurer 3.1, 3.2