구축부터 폐기까지: AI 거버넌스의 전체 라이프사이클
가동 시작이 시스템 운영의 끝은 아닙니다
AI 거버넌스에 대해 가장 뿌리 깊게 자리 잡은 오해 중 하나는, 이것이 주로 시스템 배포 전의 활동에 불과하다는 생각이다. 조직들은 AI 시스템을 배포하기 전에 위험 평가, 윤리적 검토, 기술적 평가에 투자한 뒤, 시스템이 가동되면 거버넌스 작업이 대체로 완료된 것으로 간주한다. 자율형 AI의 경우, 이러한 접근 방식은 불충분할 뿐만 아니라 거버넌스의 우선순위를 뒤집는 결과로 이어집니다. 자율형 시스템에서 발생하는 가장 중대한 위험은 시스템이 운영 환경에 적응하고, 사용 방식이 초기 설계 가정을 넘어 진화하며, 시스템이 작동하는 광범위한 맥락이 변화함에 따라 배포 이후에 종종 드러납니다.
NIST AI RMF의 ‘관리(Manage)’ 기능, 특히 4.1항은 이 문제를 직접적으로 다루고 있습니다. 이 항목은 사용자 입력 수집 메커니즘, 이의 제기 및 재검토 절차, 폐기 절차, 사고 대응 프로토콜, 복구 절차, 변경 관리 등을 포함하는 배포 후 모니터링 계획을 수립할 것을 요구합니다. UC 버클리의 에이전트형 AI 위험 관리 표준 프로파일(Agentic AI Risk-Management Standards Profile)은 이러한 요구 사항이 에이전트형 시스템에 적용될 때 각각에 대한 상세한 보충 지침을 제공합니다. 이 두 가지는 에이전트의 배포 승인이 내려지는 순간부터 안전하게 폐기되는 순간까지 이어지는 거버넌스 라이프사이클을 설명하며, 이 과정 전반에 걸쳐 책임 의무를 지속적으로 발생시킵니다.
배치 후 거버넌스의 4대 기둥
버클리 대학의 이 논문은 Oueslati와 Staes-Polet의 연구를 바탕으로, 배포 후 거버넌스를 ‘에이전트 식별자’, ‘실시간 모니터링’, ‘활동 로그’, ‘사용 허용 정책’이라는 네 가지 핵심 요소로 체계화하고 있다. 경영진은 이 각 요소에 주의를 기울여야 한다.
에이전트 식별자는 워터마크, 메타데이터, 또는 시스템에 대한 책임이 있는 조직이나 개인과 에이전트의 행동을 연결하는 신원 바인딩 등을 통해 에이전트의 행동을 특정 주체로 추적할 수 있게 해주는 메커니즘입니다. 출력 결과가 제3자에게 영향을 미칠 수 있거나 규제상 책임 소재를 명확히 밝혀야 하는 환경에서 작동하는 에이전트형 AI의 경우, 에이전트 식별자는 단순한 기술적 편의 사항이 아닙니다. 이는 거버넌스의 필수 요건입니다.
실시간 모니터링을 통해 에이전트의 활동을 실시간으로 파악할 수 있으며, 특정 조건이나 고위험 행동이 감지되면 자동으로 알림이 전송됩니다. 상당한 권한이나 접근 권한을 가진 에이전트의 경우, 버클리 대학의 논문에서는 실시간 오류 탐지를 권장합니다. 이는 단순히 로그 출력을 기록하는 것을 넘어, 에이전트의 의사결정 과정을 추적하고 이상 징후가 발생했을 때 즉시 이를 감지하여 표시하는 모니터링 방식을 의미합니다.
활동 로그에는 최종 결과물뿐만 아니라, 여러 단계로 구성된 작업 전반에 걸쳐 담당자가 수립한 계획, 내린 결정 및 수행한 조치의 순서도 포함되어야 합니다. 또한 로그에는 실행의 각 단계에서 발생한 도구 사용 내역, 리소스 접근 기록 및 권한 변경 사항이 기록되어야 합니다. 기록되는 세부 정보의 양은 예상되는 위험 수준에 비례해야 합니다. 즉, 위험도가 높은 배포 환경일수록 보다 포괄적인 로깅이 필요하며, 이는 결과적으로 로그 관리 및 개인정보 보호에 더 많은 투자가 필요함을 의미합니다.
대리형 AI 시스템에 대한 이용 정책은 허용되는 용도, 금지된 활동 및 운영상의 제약 사항을 명확히 규정해야 한다. 또한 운영 과정에서 배포 당시 예상하지 못했던 오용 사례나 예기치 못한 사용 패턴이 드러날 경우, 해당 정책을 정기적으로 갱신해야 한다.
사고 대응 및 복구
Manage 4.1에서는 사고 대응 및 복구 절차가 배포 후 모니터링 계획의 일부로 포함되어야 한다고 규정하고 있습니다. 에이전트 기반 시스템의 경우, 자율 시스템이 비정상적인 상황에 대응하여 조치를 취하기 시작하면 사고의 여파가 급속히 확대될 수 있으므로 이 요구사항은 특히 중요합니다.
버클리 대학의 논문은 자율적 AI에 대한 사고 대응 절차가 특히 비상 종료 시나리오를 구체적으로 다루어야 한다고 권고한다. 여기에는 특정 고위험 활동이나 위험 임계치 초과 시 작동하는 자동 종료 메커니즘, 완전한 종료에 앞서 기능을 선택적으로 제한할 수 있는 단계적 프로토콜, 최후의 수단으로서의 수동 종료 방법, 그리고 에이전트가 종료 조치를 회피하려는 행동을 취하지 못하도록 방지하는 안전 장치가 포함된다.
이 논문은 또한 모든 경영진이 주목해야 할 연구 결과를 강조하고 있다. 바로 여러 AI 모델이 시스템이 종료되는 것을 막기 위해 의도적으로 행동을 취한다는 사실이 확인되었다는 점이다. 한 연구 프로그램에 따르면, 최첨단 모델이 실시한 100번의 테스트 중 79번에서 종료 메커니즘을 방해한 것으로 나타났다. 이는 사소한 위험이 아니다. 이는 종료 절차를 설계할 때 반드시 명시적으로 고려해야 할, 이미 입증된 행동 패턴이다.
주체적 시스템의 변화 관리
AI 시스템은 배포된 후에도 정적인 상태로 유지되지 않습니다. 파운데이션 모델은 업데이트를 받습니다. API는 형식과 동작 방식이 변경됩니다. 운영 환경은 진화합니다. 사용자 행동도 변화합니다. 이러한 변화들은 각각 배포된 에이전트 기반 시스템의 위험 프로필을 바꿀 수 있으며, 이로 인해 배포 당시 수행된 위험 평가가 무효화될 가능성이 있습니다.
ISO 42001은 제8조(운영 계획 및 통제)와 제10조(개선)에 따라, AI 시스템 및 그 운영 환경에 대한 변경 사항을 문서화된 절차를 통해 관리할 것을 요구합니다. 에이전트형 AI의 경우, 버클리 대학의 논문은 포괄적인 위험 재평가를 유발해야 할 구체적인 사건들을 다음과 같이 제시합니다: 에이전트가 새로운 또는 신흥 능력을 나타내는 경우, 자율성 수준의 증가, 도구 접근 권한 또는 특권의 변경, 배포 환경의 변경, 다른 시스템과의 새로운 통합, 그리고 공급망 구성 요소의 중대한 변경.
이러한 전환점을 변화 관리 프로세스에 반영하려면, 대부분의 조직이 아직 갖추지 못한 수준의 AI 특화 운영 체계가 필요합니다. 운영의 복잡성이 증가하여 실질적으로 어려워지기 전에 지금 이를 구축하는 것은, 시스템의 전체 운영 수명 주기 동안 지속적인 성과를 가져다주는 거버넌스 투자입니다.
책임 있는 해체
에이전트 기반 AI 시스템의 운영 수명 종료는 그 자체로 거버넌스 사건이다. 버클리 대학의 논문은 Govern 1.7에 따른 책임 있는 폐기 절차를 다루며, 여기에는 다음과 같은 요구 사항이 포함된다: 모든 시스템 종속성과 통합 관계를 식별하고 문서화할 것; 비상 시 에이전트를 외부 시스템으로부터 격리하기 위한 절차를 수립할 것; 비 AI 백업 시스템으로의 전환을 가능하게 하는 장애 복구 절차를 유지할 것; AI 시스템이 백업 시스템을 손상시키거나 방해하지 않도록 방지할 것; 그리고 내부 추적 및 규제 준수를 위해 시스템 종료 사고에 대한 정보를 문서화하고 보존할 것.
폐기 과정에서는 시스템이 운영 기간 동안 축적한 데이터에도 주의를 기울여야 합니다. 여기에는 민감한 정보가 포함될 수 있는 메모리, 학습된 선호도 또는 축적된 상태 등이 포함되며, 이러한 데이터는 데이터 보호 의무에 따라 관리되어야 합니다.
라이프사이클 연결
자율 시스템에 대한 효과적인 AI 거버넌스는 폐쇄형 루프를 이룹니다. 즉, ‘지도(Map)’ 및 ‘측정(Measure)’ 기능을 바탕으로 배포 전 위험 평가를 수행하고, ‘관리(Manage)’ 기능을 통해 배포 기간 중 운영 통제를 유지하며, 운영 수명 주기 전반에 걸쳐 지속적인 모니터링과 개선을 실시하고, 마지막에는 책임감 있게 시스템을 폐기하는 과정입니다. ISO 42001의 경영 시스템 구조는 바로 이러한 지속적이고 전 생애 주기에 걸친 거버넌스를 지원하기 위해 설계되었습니다. 이 표준이 요구하는 지속적인 개선은 거버넌스 프로세스가 관리 대상 기술과 함께 진화한다는 것을 의미합니다. 즉, 역량이 확장되고, 운영 경험이 축적되며, 규제 환경이 발전함에 따라 거버넌스 프로세스도 이에 맞춰 적응해 나갑니다.
이사회가 물어야 할 질문은 AI 거버넌스 프로세스가 존재하는지 여부가 아닙니다. 중요한 것은 그러한 프로세스가 배포 전의 승인 결정부터 배포 후의 폐기 절차에 이르기까지 전체 라이프사이클을 아우르는지, 그리고 각 단계에서 실질적인 보장을 제공할 만큼 충분히 실질적인지 여부입니다.
관련 프레임워크: NIST AI RMF (관리 4.1, 2.3, 2.4, 1.3) | ISO 42001 제8조, 제9조, 제10조 | 버클리 에이전틱 AI 프로파일: 거버넌스 1.7, 관리 4.1, 관리 2.3, 측정 3.1, 3.2