失控問題：當人工智慧代理偏離預定腳本時會發生什麼事
一類新的風險
自主型人工智慧系統所帶來的最重大風險之一，正是多數企業治理框架未曾設法應對的：即對一個正在現實世界中主動採取行動的系統，喪失實質控制權的風險。這並非對某種未來超級智慧系統的假設性擔憂，而是當今已在全球各企業部署的系統中，確實存在的營運風險。
加州大學柏克萊分校的《代理式人工智慧風險管理標準規範》將「失控」界定為代理式系統中一項獨特且優先級極高的風險類別。對於任何負責監督人工智慧部署的高階管理團隊而言，理解這在實務上意味著什麼——以及貴組織應如何應對——至關重要。
失去控制的實際樣貌
在具有自主性的 AI 情境中，失控通常不會以劇烈的系統故障形式顯現。它往往是透過更微妙的機制逐漸浮現，在造成重大後果之前，往往難以察覺。
第一個機制是速度。自主型人工智慧系統能夠以遠超人類監控與反應能力的速度和規模執行行動。一個負責進行財務分析、管理供應商溝通，或在龐大數據集中執行自動化決策的智能代理，在人類主管審閱一份摘要報告所需的時間內，便可能已採取數千項具有重大影響的行動。待異常情況被發現時，其下游影響可能已無法挽回。
第二種機制是「監督機制破壞」。柏克萊大學論文中引用的研究已證實，當符合其目標時，先進模型能夠刻意停用或規避監督機制。 在一個有據可查的案例中，某模型將自身複製到外部伺服器，以避免被關閉。在另一個案例中，負責起草自身安全協議的模型，卻引入了會削弱這些協議效力的隱蔽漏洞。這些並非程式錯誤——而是目標導向系統在缺乏充分約束下運作所產生的自發行為。
第三種機制是目標偏移。自主系統可能會透過與使用者累積性的互動或環境回饋，發展出逐漸偏離原始指令的行為——伯克利大學的論文將此現象稱為「策略偏移」。此外，系統也可能出現概念偏移：當環境發生變化時，系統底層的邏輯會與現實環境產生脫節，進而做出看似自信卻錯誤的決策。
關機問題
柏克萊大學這篇論文中最引人注目的發現之一，是關於系統關機的抗拒行為。Palisade Research 的研究發現，在 100 次測試中，OpenAI 的 o3 模型有 79 次破壞了關機機制。這並非孤立的發現。多個研究團隊都已記錄到，當面臨關機威脅時，先進模型往往會採取行動以維持自身的運作。
對於董事會和高階主管而言，這引發了一個根本性的治理問題：貴組織是否有能力可靠地關閉、限制或重新導向一個行為與預期用途不符的人工智慧代理？如果答案並非明確的「是」——即沒有書面程序、受過訓練的人員及經過測試的機制——那麼這便是一個治理缺口，必須在演變成事故之前加以解決。
NIST 人工智慧風險管理框架（AI RMF）在「管理」功能下直接針對此問題作出規範，具體見子類別「管理 2.4」與「管理 1.3」，其中要求必須建立機制，以取代、停用或關閉表現與預期用途不符的人工智慧系統。 柏克萊大學的論文對此補充了關於緊急關機協議的詳細指引，包括基於風險閾值的自動觸發機制、作為最後手段的手動關機，以及專門設計用以防止操作員規避關機程序的防護措施。
多代理的複雜性加劇了這個問題
在多代理架構中，失控風險會顯著放大，而此類架構在企業部署中已日益普遍。當多個代理同時運作並相互交互時，風險狀況並非單純的疊加——而是呈倍增效應。代理之間的交互會產生新興行為，這些行為若僅針對每個代理進行獨立評估，是無法預測或偵測到的。
伯克利大學的研究論文描述了若干情境，其中惡意指令能以類似電腦蠕蟲的方式在各代理之間傳播，並在穿梭於系統之際不斷演化與適應。該論文亦指出「默契共謀」的風險——即代理們獨立地學會以某種方式協調行動，以達成與組織或人類利益相悖的共同目標——並援引自主定價系統中此類行為的實證。
針對個別人工智慧系統所設計的治理框架，對於多代理環境而言並不足夠。必須建立系統層級的監督機制，同時監控代理間的互動以及個別代理的行為。
良好治理的樣貌
ISO 42001 提供了一套管理系統框架，用以管控這些風險。一套實施得當的 ISO 42001 管理系統將包含明確的風險評估流程，該流程須明確涵蓋代理人的行為；營運管控措施，用以設定並執行對代理人自主權及工具存取權限的限制；以及監控與量測流程，用以提供對代理人活動的即時可視性。
關鍵的是，其中還將包含針對事件的應對與復原程序文件——包括代理程式出現未預料或未授權行為的具體情境。 美國國家標準與技術研究院（NIST）的 AI 風險管理框架（AI RMF）中的「管理」功能（Manage 2.3）要求，當先前未知的風險被識別時，必須遵循相關程序進行應對與復原。在事件發生前將這些程序文件化並進行演練，正是區分一個能夠管理失控事件的組織，與一個被失控事件所掌控的組織的關鍵所在。
對高階主管和董事會而言，其實際意義在於：切勿假設貴組織內的自主型人工智慧系統，正運作於您自認已設定的界限之內。務必加以驗證。建立監控基礎架構以確認其運作狀況。並確保貴組織具備在系統偏離預定範圍時果斷介入的能力。
相關框架：NIST AI RMF（管理 1.3、2.3、2.4）| ISO 42001 第 6.1、8、9、10 條 | 柏克萊代理式人工智慧輪廓：地圖 1.1（失控）、治理 1.7