Pull the Plug: AI 에이전트를 끌 권한이 누구에게 있는지 모르는 기업들

AI 정책을 만드는 것보다 먼저 정할 일이 있습니다. 에이전트가 이상하게 움직일 때 누가 끌 수 있는지입니다. SmarterX 설문에서 거버넌스 기반 네 가지를 모두 갖춘 조직은 13%뿐이었습니다. AI 결정의 주인이 없거나 누군지 모르는 곳도 약 6분의 1이었습니다. 따라 하려면 에이전트 목록, 에이전트마다 소유자 한 명, 실제로 눌러 본 정지 절차, 이 세 가지부터 갖춰야 합니다.

요약

Forbes 기고가 Joe McKendrick는 AI 에이전트가 업무에 들어오는데 정작 이를 멈출 권한이 누구에게 있는지 모르는 기업이 많다고 짚었습니다. 근거는 두 갈래입니다. 하나는 AI 교육 회사 SmarterX의 「2026 State of AI for Business」 보고서입니다. 2026년 2~4월 2,109명이 응답했고 Forbes는 이를 경영진 2,100명 설문으로 소개했습니다. 보고서는 거버넌스 기반(governance foundations, AI를 안전하게 쓰기 위한 기본 장치)을 네 가지로 봅니다. AI 위원회, 1~2년 AI 로드맵, 생성형 AI 정책, AI 윤리 정책입니다. 넷을 모두 갖춘 곳은 13%, 하나도 없는 곳은 32%였습니다. 로드맵이 있는 곳은 29%에 그쳤습니다.

거버넌스 기반 보유율 (SmarterX 보고서, 0 기준 막대 비례)

다른 하나는 Lopez Research의 Maribel Lopez가 Clarify360 CIO Jo Peterson이 진행한 웨비나에서 한 발언입니다. Lopez는 AI 거버넌스가 법무, HR 같은 부서에 흩어져 있어 누구 일인지 아무도 모른다고 봤습니다. 처방은 단순합니다. 경영자는 AI 업무에 직접 관여하지 않더라도 최소한 기계의 결정을 거부할 권한은 있어야 합니다. 이상하게 움직이는 에이전트를 끌 수단도 있어야 합니다. 보고서 숫자도 같은 방향입니다. 네 기반을 모두 갖춘 곳의 50%가 AI 추진이 가속 중이라고 답했고, 하나도 없는 곳은 19%였습니다. 아래에서는 소유권, 정지 권한, 천천히 시작하는 방법을 개념별로 풀고, 정지 절차를 실제로 만드는 방법과 4주 착수 계획을 덧붙였습니다.

거버넌스 기반 유무별 '가속 중' 응답 비율 (SmarterX 보고서)

핵심 메커니즘

Governance Foundations: 네 가지 기본 장치를 모두 갖췄나

보고서는 거버넌스를 막연한 성숙도로 보지 않고 네 가지 장치가 있는지로 셉니다. 방향을 정하는 AI 로드맵, 부서를 가로질러 결정하는 AI 위원회, 직원이 생성형 AI를 쓰는 규칙인 생성형 AI 정책, 책임 있는 AI 원칙을 담은 윤리 정책입니다. 하나씩 보면 보유율은 29~48%로 낮지 않습니다. 그런데 넷이 한 조직에 모두 있는 경우는 1,852명 중 248명, 13%로 떨어집니다. 규칙은 있는데 방향이 없거나, 위원회는 있는데 정책이 없는 식으로 조각나 있다는 뜻입니다. 규모 차이도 큽니다. 매출 100만 달러 이하 조직의 AI 위원회 보유율은 19%, 10억 달러 이상은 64%입니다. 다만 10억 달러 이상 조직도 로드맵 보유율은 40%에 그쳤습니다.

Governance Foundations: 네 요소를 모두 갖췄는지로 판정

AI Ownership: AI 결정의 주인이 누구인가

보고서는 AI 도입과 통합을 누가 맡는지 복수 선택으로 물었습니다. 경영진(CEO·대표·창업자)이 59%, 기술 리더가 31%, 전담 AI 리더(CAIO, Head of AI)가 22%, 부서 횡단 AI 위원회가 20%였습니다. 소유자가 없다는 답은 13%, 모른다는 답은 약 3%로 합치면 약 6분의 1입니다. 보고서 저자인 SmarterX 연구 책임자 Tayloe Radey는 누군가 앞에서 결정해야 한다고 봤습니다. 어떤 도구를 쓰고, 어떻게 배포하고, 누구를 교육하고, 어떤 가드레일을 둘지입니다. 소유자가 없으면 좋은 의도도 멈추거나 엇나간다는 것이 Radey의 진단입니다.

AI Ownership: 누가 AI 결정을 맡나 (n=2,039, 복수 선택)

Kill Switch: 기계의 결정을 거부하고 끌 권한

Lopez가 가장 강하게 짚은 것은 책임 소재입니다. 정책 초안은 여러 그룹의 의견을 받아 만들되 분명한 권한은 한 사람에게 줘야 한다고 했습니다. Lopez의 말로는 “But somebody needs to be in charge.”입니다. 그 사람이 할 일의 핵심은 에이전트가 예상 밖으로 움직일 때 버튼을 눌러 끄는 것입니다. 원인을 알 때까지 일단 꺼 두는 결정이 가능해야 합니다. Lopez는 AI 환경이 한두 달마다 바뀐다고 봤습니다. 그래서 이런 권한을 사고가 난 뒤가 아니라 시작할 때 설계해야 합니다.

Kill Switch: 이상이 보이면 먼저 끄고 원인을 찾는다 (Lopez 발언을 흐름으로 정리)

Slow Roll: 통제가 이미 있는 SaaS에서 천천히 시작

Lopez는 에이전트를 처음부터 넓게 풀지 말고 천천히 굴리라고 권했습니다. 출발점은 이미 ID, 보안, 권한(permissioning) 통제를 갖춘 SaaS 애플리케이션입니다. 사람 사용자에게 쓰던 접근 통제를 에이전트에도 그대로 넓힐 수 있기 때문입니다. 반대로 권한 체계가 없는 자체 시스템에 에이전트를 먼저 붙이면 에이전트가 무엇에 접근하는지부터 다시 정해야 합니다. 지금 속도로는 에이전트 거래마다 사람이 검토하는 방식이 현실적이지 않다는 점도 이 순서를 뒷받침합니다.

Slow Roll: 이미 통제가 있는 SaaS에서 시작

Leadership Questions: 경영진이 물을 세 가지

Lopez는 AI에 직접 관여하지 않는 경영자도 세 가지는 물어야 한다고 했습니다. AI를 시험했는가, 실제로 작동하는가, 롤백(rollback, 이전 상태로 되돌리기) 정책이 있는가입니다. 이 질문에 답하는 사람이 곧 소유자입니다. 답할 사람이 없다면 보고서의 6분의 1에 해당하는 조직일 가능성이 큽니다.

경영진의 세 질문 (Lopez 발언 기준)

통념과 다른 주장

흔히 이렇게 봅니다에이전트 위험은 사람이 모든 거래를 확인하는 human-in-the-loop로 막을 수 있다.

Lopez는 이렇게 봅니다AI가 너무 빨라 거래마다 사람이 검토할 수는 없습니다. 대신 처음부터 정지, 롤백, 권한 구조를 설계해야 합니다.

근거Lopez는 AI 환경이 한두 달마다 바뀐다고 봤습니다. 그래서 통제가 이미 있는 SaaS에서 천천히 시작하라고 권했습니다.

흔히 이렇게 봅니다AI 거버넌스는 법무, HR, IT가 함께 합의하는 공동 책임이다.

Lopez는 이렇게 봅니다의견은 여러 곳에서 받되 분명한 권한은 한 사람에게 줘야 합니다.

근거지금은 거버넌스가 부서마다 흩어져 아무도 자기 일인지 모릅니다. 보고서에서도 AI 결정의 소유자가 없거나 모른다는 답이 약 6분의 1이었습니다.

흔히 이렇게 봅니다위원회와 정책을 먼저 만들면 AI 도입 속도가 늦어진다.

보고서는 이렇게 봅니다기반을 갖춘 조직이 오히려 더 빨리 나아갑니다.

근거네 기반을 모두 갖춘 조직의 50%가 가속 중이라고 답했고 멈췄거나 시작하지 않았다는 답은 1% 미만이었습니다. 하나도 없는 조직의 가속 응답은 19%였습니다.

통념과 원문의 판단 비교

원문 사례

항목	내용
기사	Forbes, Joe McKendrick, 2026.10.29
설문	SmarterX 「2026 State of AI for Business」, 2026년 2~4월, 응답 2,109명(문항별 n 1,741~2,088), 약 82% 미국
응답자	CEO·대표·창업자 28%, CEO·C레벨·VP 합계 48%, 마케팅 직무 32%, 직원 50명 미만 47%, 5,000명 이상 17%
거버넌스 기반	생성형 AI 정책 48%, 윤리 정책 48%, AI 위원회 39%, 로드맵 29%, 넷 모두 13%, 하나도 없음 32%
규모별	AI 위원회: 매출 100만 달러 이하 19%, 10억 달러 이상 64%. 10억 달러 이상 로드맵 40%
소유권	경영진 59%, 기술 리더 31%, 전담 AI 리더 22%, AI 위원회 20%, 소유자 없음 13%, 모름 약 3%
기반과 속도	네 기반 완비 조직 50% 가속, 기반 없는 조직 19% 가속
교육	AI 교육 제공 46%, 교육 제공 조직 37% 가속 vs 미제공 21%
에이전트	가장 주목하는 흐름으로 에이전트를 꼽은 답 40%, 희망 교육 주제 2위(51%)
Lopez 제언	경영자의 최소 거부권, 권한은 한 사람, 정지 버튼, 시험·작동·롤백 확인, SaaS부터 천천히

원문 사례 한눈에 (Forbes 기사와 보고서 기준)

기술 디테일: 정지 버튼을 실제로 만들려면

이 절과 다음 절의 필드명, 단계, 숫자는 원문에 없는 실행 제안입니다.

Kill Switch를 만들려면 먼저 에이전트 목록(agent registry)이 있어야 합니다. 끌 대상을 모르면 끌 수 없습니다. 에이전트마다 한 줄씩, 누가 소유하고 무엇에 접근하며 어떻게 끄는지를 적습니다. 목록은 IT 자산 관리 도구나 스프레드시트로 시작해도 됩니다. 핵심은 kill_method와 last_drill_at을 비워 두지 않는 것입니다.

{
  "agent_id": "ap-invoice-agent-01",
  "business_owner": "재무운영팀장",
  "exec_sponsor": "CFO",
  "platform": "SaaS 내장 에이전트",
  "service_account": "svc-ap-agent@corp",
  "scopes": ["invoice.read", "invoice.match", "payment.propose"],
  "forbidden_actions": ["payment.execute"],
  "kill_method": ["feature_flag:ap_agent_enabled", "idp:disable_service_account"],
  "rollback_plan": "최근 24시간 매칭 결과 재검토 후 수동 처리",
  "last_drill_at": "2026-10-15",
  "time_to_stop_target_min": 5
}

정지는 세 겹으로 둡니다. 가장 빠른 것은 오케스트레이터나 SaaS 관리 화면의 기능 플래그를 끄는 방법입니다. 플래그가 듣지 않으면 에이전트가 쓰는 도구 권한(API 범위)을 회수합니다. 마지막으로 IdP(ID 관리 시스템)에서 에이전트 서비스 계정을 정지합니다. Lopez가 말한 SaaS의 ID·권한 통제가 바로 이 세 번째 겹입니다. 끈 뒤에는 실행 로그에서 해당 agent_id의 새 호출이 0건인지 확인해야 정지가 끝납니다. 사람 계정과 같은 계정을 쓰는 에이전트는 사람까지 함께 막히므로 에이전트 전용 서비스 계정부터 분리합니다.

정지 버튼을 세 겹으로 만드는 방법 (실행 제안, 원문에 없는 내용)

건별 검토 대신 위험 등급으로 나눕니다. Lopez의 말대로 모든 거래를 사람이 볼 수는 없습니다. 행동을 위험 등급으로 나눠 고위험만 사전 승인을 받고 나머지는 표본으로 봅니다. 등급과 함께 하루 호출 수 상한, 금액 상한 같은 자동 차단선을 두면 사람이 보기 전에 폭주를 멈출 수 있습니다. 차단선에 걸리면 소유자에게 알림이 가고, 소유자가 정지 여부를 정합니다. 차단선 예로는 시간당 호출 수가 지난 4주 평균의 3배를 넘을 때, 한 건 금액이 정해 둔 승인 한도를 넘을 때를 둡니다. 이를 보려면 에이전트의 모든 행동을 agent_id, action, target, amount, approval(auto 또는 approved_by), trace_id 필드로 남깁니다. 정지 확인과 사후 롤백도 이 로그로 합니다.

건별 검토 대신 위험 등급별 검토 (가상 예시)

막히는 경우	증상	대응
에이전트가 사람 계정을 공유	끄면 담당자 업무도 멈춤	에이전트 전용 서비스 계정 분리
정지 훈련을 한 적 없음	실제 상황에서 누가 누를지 다툼	분기 1회 정지 훈련, 걸린 시간 기록
끈 뒤 처리 중이던 작업이 남음	반쯤 처리된 건이 쌓임	롤백 계획에 미완료 건 처리 주체 명시
벤더 SaaS에 정지 기능이 없음	플래그로 끌 수 없음	계약 갱신 때 관리자 정지 기능 요구

현업 실행 디테일: 누가, 언제, 무엇을

역할	맡는 일
CEO·경영진	최종 거부권 보유, AI 책임자 한 명 지명
AI 책임자(한 명)	도구·배포·교육·가드레일 결정, 정지 최종 판단
업무 소유자(부서장)	에이전트별 소유, 이상 징후 1차 판단
IT·보안	서비스 계정, 권한, 정지 수단 운영
법무·HR	정책 초안 의견 제시, 결정권은 없음

운영 리듬. 업무 소유자는 주 1회 15분 동안 자기 에이전트의 차단선 알림과 표본 검토 결과를 봅니다. AI 책임자는 월 1회 전체 목록을 갱신하고, 분기 1회 정지 훈련을 엽니다.

준비물. 현재 쓰는 AI 도구와 에이전트 목록, SaaS별 관리자 권한 보유자, 에이전트가 쓰는 계정 목록, 기존 생성형 AI 정책 문서가 필요합니다. 보고서의 네 기반 중 무엇이 있는지 표로 먼저 점검합니다.

4주 착수 계획 (가상 예시)

현업에 물을 것.

지금 우리 회사에서 돌고 있는 에이전트는 몇 개이고 각각 누가 켰나요?
그중 하나가 오늘 밤 잘못된 메일을 보내기 시작하면 누가 몇 분 안에 끌 수 있나요?
끄고 나면 처리 중이던 건은 누가 마무리하나요?
AI 관련 결정을 한 사람이 내린다면 그 사람은 누구인가요?

진행 판정 기준(예시). 4주 뒤 세 조건을 채우면 에이전트 확대를 승인합니다. 운영 중인 에이전트 100%에 소유자와 정지 방법이 적혀 있어야 합니다. 정지 훈련에서 목표 시간(예: 5분) 안에 멈췄어야 합니다. 경영진이 시험, 작동, 롤백 세 질문에 답을 받았어야 합니다. 하나라도 빠지면 새 에이전트 배포를 멈추고 빈칸부터 채웁니다.

AX 적용 제언. 고객사 AX 진단에서 보고서의 네 기반을 그대로 점검표로 쓸 수 있습니다. 넷 중 몇 개가 있는지보다 넷이 한 사람에게 연결돼 있는지를 봅니다. 위원회는 의견을 모으는 곳으로 두고 결정과 정지 권한은 한 사람에게 줍니다. 에이전트 도입 순서는 Lopez의 제언대로 이미 ID·권한 체계가 있는 업무용 SaaS의 내장 에이전트부터 시작합니다. 자체 개발 에이전트는 정지 훈련을 한 번 통과한 뒤에 붙이는 편이 안전합니다. 이사회나 경영회의에는 에이전트 수, 소유자 지정률, 최근 정지 훈련 결과를 분기 지표로 올립니다.

핵심 개념

AI council: 부서를 가로질러 AI 도입과 규칙을 논의하는 위원회. 보고서 응답자의 39%가 있다고 답했습니다.
AI roadmap: 향후 1~2년의 AI 도입 방향과 순서를 담은 계획. 보고서에서 보유율이 가장 낮은 기반(29%)입니다.
CAIO: Chief AI Officer. AI 전략과 실행을 전담하는 임원입니다.
veto power: 기계가 내린 결정을 사람이 거부하고 뒤집을 수 있는 권한입니다.
rollback: 문제가 생긴 시스템이나 결정을 이전 상태로 되돌리는 절차입니다.
permissioning: 사용자나 에이전트가 어떤 데이터와 기능에 접근할 수 있는지 정하는 권한 체계입니다.

내 메모

TODO: 내 생각 추가

원문은 Forbes에 실린 Joe McKendrick의 「As Companies Deploy AI Agents, Who Has The Power To Pull The Plug?」(2026.10.29)이며, 설문 수치는 SmarterX 「2026 State of AI for Business」 보고서 원문으로 확인해 보강했습니다. 요약, 핵심 메커니즘, 통념과 다른 주장, 원문 사례 표는 기사와 보고서 내용을 AX Review가 다시 정리했습니다. 기술·현업 실행 디테일, JSON 예시, 위험 등급표, 4주 계획과 판정 기준, 인포그래픽은 원문에 없는 내용으로 새로 작성했으며 그 안의 필드명과 숫자는 가상 예시입니다. 전체 내용은 원문 기사와 보고서에서 볼 수 있습니다.