AI 공급망: 대다수의 이사회가 간과하고 있는 거버넌스 격차
귀사의 AI 시스템은 단순한 AI 그 이상입니다
조직이 에이전트형 AI 시스템을 도입할 때, 일반적으로 여러 주체가 구축한 복잡한 구성 요소들의 집합을 도입하게 됩니다. 여기에는 한 공급업체의 파운데이션 모델, 다른 공급업체의 배포 프레임워크, 제3자 데이터 소스, 외부 API, 사전 훈련된 전문 모델, 소프트웨어 라이브러리, 클라우드 인프라 등이 포함됩니다. 이러한 각 구성 요소는 잠재적인 위험 요소를 내포하고 있으며, 시스템을 도입하는 조직은 각 구성 요소의 출처와 무관하게 전체 시스템이 초래하는 종합적인 위험에 대해 궁극적인 책임을 져야 합니다.
이것이 바로 AI 공급망 거버넌스 과제이며, UC 버클리의 ‘에이전틱 AI 리스크 관리 표준 프로파일(Agentic AI Risk-Management Standards Profile)’은 이를 NIST AI RMF의 ‘거버넌스(Govern)’ 기능 하에서 최우선 과제로 지목하고 있습니다. 대부분의 조직에게 있어 이는 현재의 AI 거버넌스 프레임워크의 적용 범위와 실제 AI 리스크 노출 범위 사이에 존재하는 상당한 격차를 의미합니다.
공급망이 포함하는 것
버클리 대학의 이 논문은 Sheh와 Geappen의 연구를 바탕으로, AI 공급망이 다음 요소들을 포괄한다고 규정한다: 모델 훈련 및 미세 조정에 사용되는 데이터; 모델 자체; 모델 배포 및 조정에 사용되는 소프트웨어 프레임워크와 라이브러리; 모델이 실행되는 클라우드 인프라; 에이전트가 접근 권한을 부여받는 제3자 API 및 도구; 그리고 배포된 시스템이 상호작용하는 모든 외부 에이전트 또는 에이전트 시스템.
이 공급망의 각 단계는 잠재적인 위험 요인이 될 수 있습니다. 훈련 데이터는 모델의 동작에 편향, 취약점 또는 유해한 콘텐츠를 유발할 수 있습니다. 외부 공급업체의 사전 학습된 모델은 그 기능, 한계 또는 정렬 특성이 완전히 공개되지 않았거나 제대로 이해되지 않은 경우가 있습니다. 소프트웨어 라이브러리에는 보안 취약점이 포함될 수 있습니다. 외부 API는 에이전트가 출력을 잘못 해석하게 만드는 방식으로 데이터 형식이나 동작을 변경할 수 있습니다. 또한 다중 에이전트 아키텍처에서 점점 더 흔해지고 있는 제3자 에이전트는 이를 개발한 조직의 거버넌스 표준에 따라 다양한 위험을 초래합니다.
NIST AI RMF 6판 및 ISO 42001 대응
NIST AI RMF는 ‘Govern 6’ 항목에서 공급망 거버넌스를 다루고 있으며, 이는 제3자 소프트웨어, 데이터 및 기타 공급망 문제에서 발생하는 AI의 위험과 이점을 다루기 위한 정책과 절차를 마련할 것을 요구합니다. 버클리 대학의 논문에서 제시한 Govern 6.1에 대한 지침은 구체적입니다. 즉, 에이전트형 AI에 대한 거버넌스 메커니즘은 외부 에이전트와의 상호작용으로 인한 위험을 고려해야 하며, 감독은 개별 에이전트의 행동에만 국한될 수 없고, 외부 에이전트형 시스템 및 도구와의 상호작용이 정상적으로 이루어지고 안전한지 모니터링해야 합니다.
ISO 42001은 이러한 요구 사항을 이행하기 위한 관리 시스템의 틀을 제공합니다. 제8조(운영 계획 및 통제)는 계획 단계에서 식별된 위험에 대한 통제 조치를 이행할 것을 요구하며, 이는 공급망 위험의 경우 다음을 의미합니다: AI 시스템에 사용되는 모든 제3자 구성 요소에 대한 문서화된 평가; AI 특유의 위험 고려 사항을 포함하는 공급업체 및 구성 요소 선정 기준의 정의; 시스템 동작이나 위험 프로필에 영향을 미칠 수 있는 변경 사항에 대한 제3자 구성 요소의 지속적인 모니터링; 그리고 구성 요소의 취약점이나 공급업체의 실패를 포함한 공급망 사고에 대응하기 위한 절차.
AI 부품 명세서
버클리 대학의 논문에서 공급망 투명성을 위해 권장하는 실질적인 거버넌스 도구 중 하나는 AI 부품 명세서(AIBOM)입니다. 이는 AI 시스템을 구축, 훈련, 테스트 및 배포하는 데 사용된 구성 요소를 공식적으로 기록한 것으로, 현재 소프트웨어 보안 거버넌스 분야에서 널리 채택되고 있는 소프트웨어 부품 명세서(SBOM) 개념을 모델로 삼았습니다.
AIBOM을 활용하면 조직은 자사의 AI 시스템이 어떤 구성 요소들로 이루어져 있는지 파악하고, 각 구성 요소의 위험 프로필을 평가하며, 특정 구성 요소에 영향을 미치는 취약점이나 사고가 발생했을 때 이를 의존하는 모든 시스템에 걸쳐 효율적으로 대응할 수 있습니다. AIBOM이 없다면 조직은 AI 공급망 위험을 어둠 속에서 관리하는 셈입니다. 즉, 널리 사용되는 모델이나 라이브러리의 취약점이 공개되었을 때, 그로 인해 어떤 시스템이 영향을 받는지 결과를 직접 목격하기 전까지는 알 수 없을 수도 있습니다.
AI 거버넌스 성숙도 증명을 요구하는 이사회에게는, 주요 AI 도입 사례마다 AIBOM을 요청하는 것이 합리적이고 실용적인 출발점이 될 수 있습니다.
지적 재산권과 자율적 행동
AI 공급망 거버넌스에서 종종 간과되는 측면은 지적 재산권 위험입니다. 자율적으로 작동하는 에이전트형 AI 시스템은 저작권이 있는 콘텐츠를 복제하거나, 훈련 또는 미세 조정 과정에서 독점 데이터를 사용하거나, 출처 표기나 라이선스 없이 보호 대상 자료를 포함하는 결과를 생성하는 등 제3자의 지적 재산권을 침해하는 행동을 취할 수 있습니다.
버클리 대학의 연구 보고서는 이러한 위험을 줄이기 위해 콘텐츠 필터링을 도입하고, 환경으로부터 지속적으로 학습하는 시스템에 대해서는 각별한 주의를 기울일 것을 권고합니다. 미디어, 출판, 연구, 전문 서비스 등 콘텐츠 중심 산업에 종사하는 조직의 경우, 이러한 위험에 대해 명확한 위험 평가를 수행하고 통제 조치를 문서화해야 합니다.
공급망 변화 모니터링
버클리 대학의 Govern 1.5 관련 지침에서는 새로운 공급망 구성 요소의 통합, 기존 구성 요소의 제거, 공급망 내 주체의 변경 등을 포함하여 위험 관리 계획에 대한 포괄적인 재평가를 촉발해야 하는 여러 가지 상황을 제시하고 있습니다. 이는 아직까지 AI 운영 프로세스에 이를 반영한 조직이 거의 없는 거버넌스 요구사항입니다.
실무적으로 이는 배포된 AI 시스템의 공급망에서 발생하는 중대한 변화(모델 업데이트, API 변경, 인프라 변경, 새로운 제3자 통합 등)를 추적하는 모니터링 프로세스를 구축하고, 이러한 변화가 발생할 경우 위험 검토 절차를 자동으로 실행하는 것을 의미합니다. 이러한 체계가 없다면, 조직은 6개월 전에 배포하고 평가했던 AI 시스템이 이전의 위험 평가를 무효화할 정도로 은밀하게 변경되었음을 뒤늦게야 알게 될 수 있습니다.
실용적인 출발점
AI 공급망 거버넌스를 단기적 우선 과제로 삼고자 하는 경영진이라면, 다음 세 가지 단계에 즉각적인 주의를 기울여야 합니다. 첫째, 주요 AI 도입 사례마다 공급망 현황 조사를 실시하여 모든 구성 요소와 그 출처, 접근 권한을 문서화해야 합니다. 둘째, 기존 공급업체 리스크 관리 프로세스가 모델 취약점, 데이터 출처 추적성, 자율적 실행 리스크 등 AI 특유의 공급망 리스크를 적절히 다루고 있는지 평가해야 합니다. 셋째, 공급망의 중대한 변화를 모니터링하고, 변화가 발생할 경우 리스크 재검토 절차를 자동으로 가동하는 프로세스를 구축해야 합니다.
AI 공급망은 IT 및 조달 부서에 전적으로 맡겨둘 수 있는 기술적 문제가 아닙니다. 이는 기업 차원의 위험을 수반하는 거버넌스 문제입니다. 이를 거버넌스 문제로 인식하는 이사회야말로 이를 효과적으로 관리할 수 있는 유리한 입지를 확보하게 될 것입니다.
관련 프레임워크: NIST AI RMF (Govern 6, Govern 1.5) | ISO 42001 제6.1조, 제8.4조, 제8조 | Berkeley Agentic AI Profile: Govern 6.1, Govern 1.5