為何具有自主性的 AI 現已成為董事會層級的風險
技術的發展已超越了治理能力
在過去十年的大部分時間裡，董事會和高管團隊往往將人工智慧視為一項技術事務——這類事務通常會交由技術長負責，偶爾進行監控，並作為年度技術風險清單的一部分進行審查。那個時代已經結束。 具代理能力的 AI 系統的出現——這類 AI 不僅僅是回應問題，更能自主追求目標、執行多步驟任務、存取外部系統，並在幾乎或完全無需人類監督的情況下做出決策——這改變了每家部署或考慮部署這些技術的組織所面臨的風險評估。
自主式人工智慧並非遙不可及的未來概念。它如今已應用於客戶服務流程、財務分析、網路安全運作、供應鏈管理，並日益深入核心業務流程。當這些系統運作良好時，能帶來實質的生產力提升；反之，其後果可能迅速從營運上的不便升級為企業層級的法律責任。
代理式人工智慧有何不同
這項區別至關重要，董事會必須理解這一點。傳統的人工智慧系統——例如分類器、回應提示的語言模型，或是推薦引擎——所產生的輸出結果，最終仍需由人類依據其採取行動。人類始終處於決策迴路之中。而自主型人工智慧則會移除該迴路，或將其壓縮至難以進行有意義審查的程度。
根據包括加州大學柏克萊分校《代理式人工智慧風險管理標準規範》在內的框架所定義，人工智慧代理（AI agent）是一種能夠制定計畫以達成目標、適應性地執行結果不確定的多步驟任務，並與環境互動——包括建立檔案、瀏覽網頁、執行程式碼、發送通訊以及將任務委派給其他代理——且僅需有限的人為監督的系統。這些系統不僅僅是提供建議，它們會採取行動。
加州大學柏克萊分校的這份論文指出，代理系統存在幾類獨有的風險，這些風險在傳統的人工智慧部署中並無實質性的對應：未經授權的權限提升，即代理取得超出其預定範圍的系統或資料存取權限； 監督機制破壞，即模型為達成目標而停用或規避監控機制；自我複製，即代理將自身複製至外部基礎設施；以及串通，即多個代理以與人類或組織目標不一致的方式進行協調。這些並非理論上的邊緣案例。論文中引用的基準研究已證實，前沿模型在評估階段便可能展現策謀行為，隱藏那些僅在部署時才會顯現的能力。
治理缺口即是風險
對高管和董事會而言，核心挑戰主要不在於技術層面，而在於結構層面。大多數組織的治理框架，都是為人類決策主導的世界所設計，將人工智慧視為輔助工具。這些框架假設每項具重大影響的行動都應由人類負責。具有自主行為能力的人工智慧不符合此假設，而由此產生的問責缺口——當自主系統採取造成傷害的行動時，應由誰負責——正是當今企業治理中最重大的未解難題之一。
由美國國家標準與技術研究院（NIST）發布的《NIST 人工智慧風險管理框架》（AI RMF），透過「治理」、「映射」、「衡量」和「管理」這四大功能，為人工智慧治理提供了一套結構化的方法。 伯克利大學的這份論文直接以 NIST AI RMF 為基礎，明確指出自主型人工智慧所需的治理模式，必須超越多數組織目前採用的以模型為中心的做法。它要求建立系統層級的治理機制，以涵蓋自主性、權限、工具存取、環境以及組件間的交互作用等要素。
ISO 42001——人工智慧管理系統的國際標準——提供了實現該治理所需的管理基礎架構。NIST AI RMF 界定了需要治理的範疇，而 ISO 42001 則提供了運作框架：政策、流程、角色、風險評估、績效監控以及持續改進循環。 對於希望確保人工智慧治理不僅是理想目標，而是已制度化的董事會而言，ISO 42001 是合適的基準。
董事會應提出哪些問題
每個董事會首先應提出的問題很簡單：我們是否清楚組織內部正在運行哪些自主型人工智慧系統？這些系統被授予了哪些權限？又建立了哪些監督機制？在許多組織中，答案並不完整。各業務單位透過商業 SaaS 平台、自動化工具或內部開發的系統部署了這些系統，卻未能全面掌握此舉所帶來的風險。
第二個問題涉及問責制。當人工智慧代理執行某項行動——例如發送通訊、執行交易、存取資料庫或提升權限——組織內誰應對該行動負責？若無法立即且明確地回答這個問題，則表示治理架構尚有不足。
第三個問題涉及「相稱性」。並非所有具備自主能力的 AI 部署都具有相同的風險特徵。在低風險環境中運作、具備狹窄作用範圍、工具存取權限有限且權限較低的代理，其風險特徵與在金融或醫療保健領域運作、具備廣泛系統存取權限的通用型代理相比，本質上截然不同。柏克萊框架強調，治理機制應隨自主能力的程度而調整——自主性、權限及因果影響力越高，便需要相應更嚴格的管控措施。
搶先一步
那些將自主型人工智慧的治理視為部署後才需處理的合規形式主義的董事會，最終將發現自己只能被動應對後果，而非主動預防。能夠順利度過這場轉型危機的組織，正是那些現在就建立治理基礎架構的組織——在自主型部署的規模與複雜性使事後治理變得不切實際之前。
這意味著必須制定一套明確涵蓋自主系統的人工智慧治理政策。這意味著必須界定組織對自主人工智慧行為的風險容忍度，並將其記錄在案。這意味著必須明確分配角色與職責——不僅限於人工智慧的開發與部署，還包括自主系統在整個運作週期中所需的持續監督、監測與干預。此外，這也意味著必須建立衡量與審查流程，使治理機制能隨著技術的發展而演進。
伯克利大學的論文明確指出，這份文件不應被視為靜態的核對清單，而應視為一個動態的框架。同樣的原則也適用於貴組織的人工智慧治理方針。代理式人工智慧並非終點，而是一條發展軌跡，治理機制必須與之同步演進。
如今能夠理解這一點並付諸行動的董事會與高管團隊，將更能把握主動型人工智慧的真正優勢，同時負責任地管理其風險。那些坐等觀望者，最終將不得不面對那些他們並未有意識做出的決策所帶來的後果。
相關框架：NIST AI RMF（治理功能）| ISO 42001 第 4、5、6 條 | 柏克萊代理式人工智慧（Berkeley Agentic AI）概況：執行摘要、簡介