AX Implementation

CLEAR: 에이전트 도입 성과 숫자를 남이 검증할 수 있게 만드는 다섯 가지 시험

여행·크루즈 그룹에서 운영 에이전트 25개를 18개월 돌린 책임자가 성과 숫자를 다섯 가지 시험(CLEAR)에 다시 걸었습니다. 1차 상담 이관 34% 감소는 대체로 남았고 온보딩 23일→3일은 밀린 일 정리 효과가, 예약 전환 24% 상승은 동시에 진행된 가격·마켓플레이스 변경이 섞여 약해졌습니다.

출처
CIO.com · Naren Gangavarapu
원문 제목
Your agentic AI results can't be checked. Here's how to fix that
유형
아티클
읽은 날
2026.11.21
원문 발행
2026.11.18

에이전트 도입 효과로 발표되는 숫자는 대부분 남이 확인할 수 없습니다. 같은 기간에 함께 바뀐 것, 결과를 보고 고른 측정 기간, 밀린 일이 섞인 기준선, 움직인 분모가 숫자를 부풀리기 때문입니다. 저자는 이를 거르는 다섯 가지 시험 CLEAR를 내놓고 자기 성과 셋에 직접 적용했습니다. 따라 하려면 측정 기간과 분모를 결과 전에 적어 두고 사람이 에이전트를 멈춘 기록부터 남겨야 합니다.

요약

공공·사모펀드·규제 산업에서 25년 넘게 디지털 전환을 맡아 온 호주의 CIO Naren Gangavarapu가 2026년 11월 18일 CIO.com 1인칭 칼럼에 쓴 글입니다. 저자는 대형 여행·크루즈 그룹(회사명은 밝히지 않음)에서 운영 에이전트 25개를 18개월 동안 배포했습니다. 에이전트 성과를 다룬 공개 사례는 이관 감소, 처리 시간 단축, 전환율 상승을 말하지만 회의적인 독자가 검증할 만큼 측정 방법을 밝히지 않습니다. 저자는 이유를 거짓말이 아니라 공통 기준이 없는 데서 찾습니다. 그래서 측정이 스스로 오염되는 다섯 가지 경로를 정리하고 그 경로를 하나씩 막는 시험 다섯 개에 CLEAR(Concurrent changes, Locked window, Evidentiary custody, Attributable baseline, Reference volume)라는 이름을 붙였습니다.

C 동시 변화같은 기간에함께 바뀐 것L 고정 기간결과 전에기간 확정E 증거 관리집계 시스템정의자·검토자A 기준선재설계 몫밀린 일 몫R 기초 물량분모가그대로였나
성과 숫자 하나를 다섯 질문에 차례로 거는 구조

저자는 사내 투자 승인에 썼던 자기 숫자 셋을 CLEAR에 다시 걸었습니다. 1차 상담 이관(Tier 1 escalation) 34% 감소는 성수기를 포함해 미리 정한 6개월, 전년과 같은 문의량, 재무팀 검토를 갖춰 대체로 살아남았습니다. 운영사 온보딩 23일→3일은 원래 23일 안에 밀린 대기열 시간이 섞여 있어 같은 조건 비교로는 약합니다. 예약 전환 24% 상승은 마켓플레이스 재구축과 동적 가격 도입이 같은 기간에 돌아 가장 약했습니다. 저자는 이 셋보다 더 근본적인 실패도 털어놓습니다. 현업 관리자가 90초 안에 에이전트를 멈출 수 있게 했지만 그 개입을 기록하지 않아, 에이전트 통계가 사람이 어려운 건을 이미 걷어 낸 모집단 위에서 계산됐다는 점입니다. 아래에서는 다섯 시험과 개입 기록의 작동 방식을 풀고 우리 조직에서 다음 보고 주기부터 적용할 기술·현업 디테일을 덧붙입니다.

이관 34%↓L 통과R 통과E 대체로 통과온보딩 23→3일A 실패기준선에 대기열예약 전환 24%↑C 실패가격·마켓 동시
저자가 원문에서 밝힌 판정만 표시, 빈칸은 원문에서 다루지 않음

핵심 메커니즘

측정이 스스로 오염되는 다섯 경로

무엇인가. 에이전트를 배포하는 과정 자체가 성과 숫자를 왜곡하는 길이 다섯 가지 있다는 진단입니다. CLEAR의 다섯 글자는 이 경로에 하나씩 대응합니다.

어떻게 작동하나. 첫째, 분모가 움직입니다. 조용한 분기에는 에이전트가 나아지지 않아도 이관율이 떨어집니다. 둘째, 기간을 결과를 본 뒤 고릅니다. 꾸준히 좋아지는 에이전트는 최근 어느 구간을 잘라도 좋아 보이고 결과 셋을 서로 다른 기간으로 보고했다면 기간을 결과에 맞췄다는 신호입니다. 셋째, 기준선에 여유분(slack)이 들어 있습니다. 자동화와 함께 밀린 일을 치우면 처리 속도 개선과 한 번뿐인 대기열 해소가 한 숫자에 섞입니다. 넷째, 변화는 혼자 오지 않습니다. 에이전트를 넣는 조직은 대개 플랫폼 재구축, 가격 개편, 조직 개편도 함께 합니다. 다섯째, 정의가 회사 고유입니다. “Tier 1 이관” 같은 내부 분류는 다른 회사 숫자와 비교되지 않습니다.

언제 쓰나. 에이전트 성과를 투자 심의, 이사회, 외부 발표에 올리기 전에 이 다섯 경로를 점검표로 씁니다.

분모 이동→ R 기초 물량사후 기간 선택→ L 고정 기간기준선 여유분→ A 기준선 분리동시 변화→ C 동시 변화 등록고유 정의→ E 증거 관리
오염 경로마다 막는 시험이 하나씩 있음

Concurrent changes registered: 같은 기간에 바뀐 것을 모두 적는다

무엇인가. 측정 기간에 에이전트 말고 무엇이 바뀌었는지, 그것만으로 같은 결과가 나올 수 있는지를 묻는 시험입니다.

어떻게 작동하나. 입력은 측정 기간의 변경 목록(가격, 화면, 조직, 프로모션, 시스템 교체)입니다. 처리는 변경마다 “이것만으로도 결과 지표가 움직일 수 있나”를 판정하는 일입니다. 출력은 성과 숫자에 붙는 동시 변화 주석입니다. 겹치는 변화가 있으면 숫자를 버리지 않고 에이전트 몫으로 단정하지 않는다고 밝힙니다.

원문의 예. 예약 전환 24% 상승은 AI 기반 검색 기능이 대부분을 이끌었다고 봤지만 마켓플레이스 재구축과 선택형 동적 가격이 같은 기간에 돌았습니다. 저자는 이 주석이 없으면 셋 중 가장 인상적이고 가장 정보가 적은 숫자라고 판정합니다.

결과예약 전환24% 상승동시 변화마켓플레이스 재구축선택형 동적 가격판정C 실패에이전트 몫 단정 불가
원문 사례, 겹친 변화가 결과를 혼자서도 설명할 수 있음

Locked window: 결과를 보기 전에 기간을 못 박는다

무엇인가. 측정 기간을 결과가 나오기 전에 정하고 그 기간에 가장 힘든 영업 조건을 넣으라는 시험입니다. 저자는 다섯 가운데 이 시험이 대부분의 일을 한다고 봅니다.

어떻게 작동하나. 나머지 넷은 밝히기만 하면 되므로 비용이 적습니다. L만 미리 약속해야 하고 약속한 기간의 숫자가 나빠도 그대로 보고해야 하므로 비쌉니다. 그 비용이 곧 신뢰의 근거입니다. 여행업이라면 성수기를 기간에 넣어야 물량이 몰릴 때도 에이전트가 버티는지 보입니다.

원문의 예. 이관 34% 감소는 성수기를 포함하도록 미리 정한 6개월 기간으로 쟀습니다.

사후에 고른 기간Locked window· 결과를 본 뒤 구간 선택· 지표마다 다른 기간· 비수기만 포함 가능· 결과 전에 기간 확정· 모든 지표 같은 기간· 성수기 포함(원문 6개월)
다섯 시험 중 유일하게 미리 약속해야 하는 시험

Evidentiary custody: 숫자를 누가 세고 누가 정의하고 누가 봤나

무엇인가. 숫자를 만든 시스템, 분류를 정의한 사람, 숫자를 검토한 사람을 밝히는 시험입니다.

어떻게 작동하나. 에이전트 팀이 자기 대시보드에서 센 숫자는 이해관계가 섞입니다. 공식 기록 시스템(system of record)에서 뽑고 에이전트 팀이 아닌 조직이 검토하면 숫자의 출처가 분리됩니다. 다만 분류 정의가 회사 고유면 절대값을 다른 회사와 비교할 수 없다는 점은 남으므로 그 사실도 함께 적습니다.

원문의 예. 이관 수치는 공식 기록 시스템에서 뽑았고 에이전트 팀이 아닌 재무팀이 검토했습니다. “Tier 1”은 회사 자체 분류라 절대값 비교에는 한계가 있다고 저자가 직접 밝혔습니다.

집계공식 기록 시스템정의Tier 1회사 자체 분류검토재무팀에이전트 팀 아님
원문 사례, 세는 곳과 보는 곳을 분리

Attributable baseline: 재설계 효과와 밀린 일 정리 효과를 가른다

무엇인가. 개선분 가운데 프로세스를 다시 설계해서 얻은 몫과 쌓여 있던 대기열을 치워서 얻은 몫을 나누라는 시험입니다.

어떻게 작동하나. 리드타임 기준선이 “대기 시간 + 실제 처리 시간”이면, 자동화 직후에는 대기열이 비면서 두 몫이 한꺼번에 줄어듭니다. 대기열 해소는 한 번뿐이라 이후에는 반복되지 않습니다. 그래서 기준선을 대기와 처리로 쪼개 보고하거나, 대기열이 정상 수준으로 돌아온 뒤의 기간으로 다시 재야 같은 조건 비교가 됩니다.

원문의 예. 운영사 온보딩은 23일에서 3일로 줄었지만 원래 23일에는 상시 대기열에 머문 시간이 들어 있었습니다. 저자는 이 숫자를 재설계한 프로세스와 없앤 대기열이 합쳐진 결과로 봅니다.

도입 전대기열 시간 포함23일도입 후재설계 + 대기열 해소3일023일
원문 수치, 0 기준 막대. 23일 안의 대기열 몫은 원문에서 밝히지 않음

Reference volume: 분모가 그대로였는지 밝힌다

무엇인가. 측정 기간에 기초 물량(문의 수, 예약 수, 신청 수)이 유지됐는지, 그 사실을 밝혔는지 묻는 시험입니다.

어떻게 작동하나. 비율 지표는 분모가 줄면 저절로 좋아질 수 있습니다. 같은 기간 전년 물량과 비교해 분모가 비슷하면 “수요가 줄어서”라는 설명이 빠집니다. 물량 절대값이 영업 비밀이면 비교 기준(전년 대비 증감률)만 공개해도 됩니다. 저자도 물량은 감추고 비교 기준은 밝혔습니다.

원문의 예. 이관 34% 감소 기간에 문의량은 전년과 같았습니다.

분모를 밝히지 않으면Reference volume· 이관율 하락· = 에이전트 개선?· = 조용한 분기?· 문의량 전년 수준· 수요 감소 설명 제거· 절대값 대신 비교 기준 공개
원문의 이관 사례를 기준으로 정리

Override logging: 사람이 멈춘 기록이 없으면 다른 시험이 무의미해진다

무엇인가. 사람이 에이전트를 멈추거나 결정을 뒤집은 일을 기록하는 장치입니다. 저자가 다섯 시험보다 앞선다고 본 실패가 여기서 나왔습니다.

어떻게 작동하나. 저자의 조직에서는 도매 데스크부터 크루즈 운영 현장까지 어느 현업 관리자든 티켓이나 승인 없이 90초 안에 에이전트를 멈출 수 있었습니다. 잘못 멈추면 한 시간 정도 처리량을 잃고 다음 재조정 회의에서 다루면 됐고 늦게 멈추면 고객을 잃을 수 있었습니다. 장치는 설계대로 돌았지만 개입을 기록하지 않았습니다. 그러자 에이전트 통계는 사람이 어려운 건을 먼저 걷어 낸 모집단 위에서 계산됐습니다. 이관은 사람이 먼저 가로채 줄었고 확신도 점수는 낮은 건이 손으로 빠져 높아 보였고 예외 보고서는 깨끗해 보였습니다. 조직은 에이전트가 실제보다 낫다고 믿게 되고 근거가 남지 않아 그 믿음을 반증할 수도 없습니다. 저자는 이를 Lisanne Bainbridge가 1983년에 말한 자동화의 역설(ironies of automation)과 연결합니다.

원문의 예. 25개 에이전트 가운데 7개는 확인 없이 실행할 수 있었고 13개는 확인이 필수이거나 외부와 자율 소통이 막혀 있었습니다. 나머지 5개는 원문에서 밝히지 않았습니다.

어려운 건관리자가90초 안에 중단기록 없음개입 로그남지 않음통계 왜곡이관 감소확신도·예외 양호결과실제보다 좋게 보임반증 불가
원문 사례, 사람이 걷어 낸 건이 분모에서 사라짐

통념과 다른 주장

흔히 이렇게 봅니다에이전트 성과가 부풀려지는 것은 일부 업체나 담당자가 숫자를 과장하기 때문입니다.

저자는 이렇게 봅니다대부분은 정직한 보고입니다. 문제는 공통 보고 기준이 없어 성수기 결과와 비수기 결과를 독자가 구분할 수 없다는 데 있습니다.

근거저자 자신이 투자 승인에 쓴 숫자 셋 가운데 둘이 CLEAR를 거치자 약해졌습니다. 의도한 과장 없이도 동시 변화와 대기열 해소가 숫자에 섞였습니다.

흔히 이렇게 봅니다사람이 언제든 에이전트를 멈출 수 있으면 통제는 충분합니다.

저자는 이렇게 봅니다멈춘 기록이 없으면 통제가 잘 돌수록 에이전트 통계가 더 좋아 보이고 허용 범위가 잘못 잡혔다는 증거도 사라집니다.

근거90초 중단 장치는 설계대로 쓰였지만 기록되지 않아, 이관율·확신도·예외 보고가 사람이 걸러 낸 뒤의 모집단으로 계산됐습니다.

흔한 생각저자의 주장· 과장이 문제· 중단 버튼이면 통제 충분· 기준 부재가 문제· 중단 기록이 없으면 통계가 부풀려짐
원문 주장 정리

저자가 든 사례

1차 상담 이관 34% 감소: 대체로 남은 숫자

구분내용
상황1차 상담에서 상위 단계로 넘기는 이관을 줄이려 함
한 일에이전트 도입. 성수기를 포함해 미리 정한 6개월로 측정, 공식 기록 시스템 집계, 재무팀 검토
결과이관 34% 감소, 문의량 전년 수준 유지. 저자는 대체로 살아남는다고 판정
연결Locked window, Reference volume, Evidentiary custody(Tier 1은 회사 고유 분류라는 한계 명시)
상황1차 상담 이관한 일6개월 고정 기간재무팀 검토결과이관 34% 감소문의량 전년 수준
원문 수치

운영사 온보딩 23일→3일: 대기열 해소가 섞인 숫자

구분내용
상황운영사(operator) 온보딩에 23일 걸림, 그 안에 상시 대기열 시간 포함
한 일프로세스 재설계와 에이전트 도입
결과3일로 단축. 저자는 재설계와 대기열 제거가 합쳐진 결과로, 같은 조건 비교로는 약하다고 판정
연결Attributable baseline

예약 전환 24% 상승: 가장 약한 숫자

구분내용
상황예약 전환율을 높이려 함
한 일AI 기반 검색 기능 도입. 같은 기간에 마켓플레이스 재구축과 선택형 동적 가격 도입
결과전환 24% 상승. 저자는 동시 변화 주석 없이는 가장 인상적이고 가장 정보가 적은 숫자라고 판정
연결Concurrent changes registered

기록되지 않은 90초 중단

구분내용
상황운영 에이전트 25개(7개 무확인 실행, 13개 확인 필수 또는 외부 자율 소통 금지, 5개는 원문에서 밝히지 않음)
한 일현업 관리자 누구나 티켓·승인 없이 90초 안에 중단 가능, 잘못 멈춘 건은 다음 재조정 회의에서 논의
결과개입이 기록되지 않아 에이전트 통계가 실제보다 좋아 보이고 반증할 수 없게 됨
연결Override logging
확인 없이 실행자율 실행 허용7개확인 필수·외부 소통 금지사람 확인 단계13개원문 미기재구분 밝히지 않음5개025개
원문 수치, 0 기준 막대(최대 25개)

기술 디테일: 성과 숫자와 개입 기록을 남는 데이터로 만든다면

아래는 원문에 없는 내용으로, 같은 시험을 실제로 돌릴 때 필요한 것을 정리했습니다. 필드명과 수치는 모두 가상 예시입니다.

Locked window를 지키려면 측정 계획을 결과 전에 저장하고 고칠 수 없게 합니다. 에이전트마다 지표 하나에 측정 계획 레코드를 만들고 기간 시작 전에 커밋해 해시나 타임스탬프로 잠급니다. 계획에는 기간, 분모 정의, 집계 쿼리, 동시 변화 목록, 검토 조직을 넣습니다. 보고서를 만들 때는 이 레코드의 쿼리를 그대로 돌려 숫자를 뽑고 계획과 다른 기간이 들어오면 보고 생성을 막습니다. 원문의 이관 사례처럼 성수기를 넣었는지는 includes_peak 필드로 남깁니다.

{
  "metric_id": "tier1_escalation_rate",
  "agent_id": "support-triage-03",
  "window": {"start": "2027-01-01", "end": "2027-06-30", "includes_peak": true},
  "locked_at": "2026-12-15T09:00:00+09:00",
  "denominator": {"name": "inbound_contacts", "source": "crm_system_of_record", "yoy_change_pct": null},
  "definition_owner": "고객센터 운영팀",
  "reviewer": "재무팀",
  "concurrent_changes": [
    {"id": "CHG-0412", "what": "FAQ 화면 개편", "start": "2027-02-10", "could_move_metric": true}
  ],
  "baseline_split": {"queue_days": null, "process_days": null}
}

yoy_change_pct와 baseline_split은 기간이 끝난 뒤 채웁니다. could_move_metric이 true인 변화가 하나라도 있으면 보고서에 C 주석을 자동으로 붙입니다. 동시 변화 목록은 사람이 기억으로 쓰지 않고 변경 관리 시스템(ITSM 변경 요청, 가격 변경 이력, 배포 기록)에서 같은 기간 항목을 끌어와 후보로 띄운 뒤 담당자가 판정합니다.

측정 계획기간·분모·쿼리결과 전 커밋잠금locked_at수정 불가동시 변화변경 이력 자동 수집담당자 판정보고같은 쿼리 실행C·A·R 주석 자동
가상 예시 파이프라인

Override logging은 중단 버튼과 같은 화면에서 한 번에 남깁니다. 90초 안에 멈추는 장점을 지키려면 기록이 중단을 늦추면 안 됩니다. 버튼을 누르는 순간 override_id, agent_id, case_id, actor, timestamp, agent_confidence, agent_proposed_action은 시스템이 자동으로 채우고 사람은 사유 코드 하나만 고릅니다(예: 고객 위험, 정책 위반 의심, 데이터 오류, 판단 불가). 자유 메모는 선택으로 둡니다. 재조정 회의 전에는 이 로그를 붙여 지표를 두 번 계산합니다. 한 번은 지금처럼, 한 번은 사람이 걷어 낸 건을 에이전트 실패로 되돌려 넣은 값입니다. 둘의 차이가 원문이 말한 부풀림의 크기입니다.

{
  "override_id": "OVR-2027-00318",
  "agent_id": "booking-change-07",
  "case_id": "BK-88123",
  "actor": "크루즈 운영 관리자",
  "timestamp": "2027-03-04T14:22:31+09:00",
  "agent_confidence": 0.61,
  "agent_proposed_action": "일정 변경 확정 메일 발송",
  "reason_code": "customer_risk",
  "restarted": true,
  "reviewed_in_recalibration": null
}
지금 계산하는 값되돌려 넣은 값· 사람이 걷어 낸 건 제외· 이관율 낮게· 확신도 높게· override 건을 에이전트 실패로· 이관율 재계산· 차이 = 부풀림 크기
가상 예시 계산 방식

Attributable baseline은 리드타임을 상태 변경 이벤트로 쪼개서 잽니다. 온보딩 같은 절차형 업무는 접수, 대기 시작, 처리 시작, 완료 시각을 워크플로 로그에서 뽑아 queue_days와 process_days로 나눕니다. 대기열이 도입 전 평소 수준으로 돌아온 뒤 4~8주를 따로 재면 재설계 효과만 남습니다. 로그에 대기 시작 시각이 없으면 처음 2주 동안 상태 값을 추가하는 일부터 합니다.

실패하는 경우와 대응. 관리자가 급해서 사유 코드를 건너뛰면 reason_code를 unspecified로 저장하고 그 비율이 주간 20%를 넘으면 화면을 고칩니다. 동시 변화 후보가 너무 많이 올라오면 지표와 같은 채널·고객군에 닿는 변경만 남기도록 필터를 둡니다. 측정 계획을 잠근 뒤 에이전트를 바꿔야 하면 계획을 고치지 않고 변경 자체를 동시 변화 목록에 추가합니다.

Reference volume과 Evidentiary custody는 보고서 머리에 고정 칸으로 둡니다. 분모의 전년 동기 증감률, 집계 시스템 이름, 분류 정의 문서 버전, 검토 조직을 칸으로 박아 두면 비어 있는 칸이 바로 보입니다. 물량 절대값을 감춰야 하면 증감률만 채웁니다.

현업 실행 디테일: 누가, 언제, 무엇을

역할맡는 일
AX 추진 리드지표별 측정 계획 작성과 잠금, CLEAR 점검표 운영
현업 관리자(운영·상담·예약)중단 시 사유 코드 입력, 재조정 회의 참석
재무 담당숫자 검토, 분모와 비교 기준 확인
변경 관리 담당측정 기간의 동시 변화 목록 제공
데이터 엔지니어공식 기록 시스템 쿼리, override 로그와 이중 계산
에이전트 제품 책임자허용 범위(tolerance) 조정, 에이전트 변경 동결 기간 관리

시작 전 준비물. 보고 중인 에이전트 성과 숫자 목록, 지표마다 분모 정의와 집계 위치, 최근 6개월 변경 이력(가격·화면·조직·시스템), 지금 쓰는 중단·개입 장치 목록과 로그 존재 여부입니다.

기간할 일산출물
1주차개입 로그가 실제로 쌓이는지 로그 자체를 열어 확인, 없는 에이전트 표시에이전트별 로그 현황표
2주차중단 화면에 사유 코드 추가, 지표별 측정 계획 작성사유 코드 4~6개, 측정 계획 레코드
3주차다음 보고 주기 기간 잠금, 동시 변화 목록 확정, 재무 검토자 지정잠긴 측정 계획
4주차 이후기존 성과 숫자를 CLEAR로 재판정, 매월 재조정 회의에서 override 이중 계산 검토재판정표, 월간 재조정 기록
1주2주3주4주~1주차로그 확인2주차사유 코드·계획3주차기간 잠금4주차~재판정·재조정
가상 예시 일정

운영 리듬. 원문이 기록을 지키는 관행으로 든 여섯 가지를 그대로 일정에 넣습니다. 아침 5분 야간 에이전트 활동 점검, 기술자가 아니라 운영 조직용으로 쓴 주간 성적표(완료, 이관율, 결정 확신도), 에이전트가 불확실하다고 표시한 건부터 묻는 예외 우선 문화, 사람이 뒤집을 때·따를 때·기록하는 방법을 정한 협업 규칙, 운영 조직이 맡는 가장 흔한 실패 10가지 대응 플레이북, 허용 범위를 사고 데이터에 대조하는 월간 재조정 회의입니다. 저자는 이 중 협업 규칙의 비중이 가장 크다고 봅니다.

확인 질문. 지난 보고서의 숫자 셋은 같은 기간으로 쟀나? 기간은 결과 전에 정했나, 성수기가 들어 있나? 그 기간에 가격·화면·조직 중 무엇이 바뀌었나? 기준선에 밀린 일이 얼마나 있었나? 분모는 전년과 비교해 어땠나? 사람이 멈춘 건은 몇 건이고 그 건은 지표에서 어떻게 처리됐나? 이 숫자를 믿지 않을 이유를 우리가 먼저 적었나?

진행 판정 기준(가상 예시). 외부·이사회 보고에 올리는 숫자는 C·L·R 칸이 모두 채워지고 재무 검토를 거친 것만 씁니다. override 이중 계산의 차이가 지표의 10%를 넘으면 해당 에이전트의 허용 범위를 다음 재조정 회의 안건으로 올립니다. 에이전트를 매주 바꾸는 단계라 잠글 기간이 없으면 저자 권고대로 이동 비교(rolling comparison)로 보고하고 그 사실을 적습니다.

AX 적용 제언. 국내 기업에서 에이전트 성과는 대개 PoC 보고서와 투자 심의 자료로 처음 정리됩니다. 이때 CLEAR 칸이 빈 숫자가 그대로 다음 해 예산 근거가 되면, 가격 개편이나 조직 개편 효과까지 에이전트 몫으로 잡히고 확대 후 기대에 못 미치게 됩니다. 그래서 CFO와 AX 추진 조직이 함께 측정 계획 양식을 정하고 심의 자료에 붙이게 하는 것이 첫 단계입니다. 상담·예약·주문 변경처럼 사람이 자주 개입하는 업무부터 override 로그를 먼저 붙이면, 확대 결정 전에 에이전트의 실제 성능을 볼 수 있습니다. 다른 기준과의 관계도 정리해 둡니다. 저자는 CLEAR를 NIST AI RMF와 ISO/IEC 42001 아래에서 보고 단계만 맡는 기준으로 봅니다. 기존 AI 거버넌스 체계가 있다면 그 안의 성과 보고 절차로 넣으면 됩니다.

1단계측정 계획 양식CFO·AX 추진 합의2단계개입 잦은 업무override 로그3단계심의 자료에CLEAR 칸 첨부4단계거버넌스 체계의보고 절차로 편입
가상 예시 순서

원문 사례

항목내용
글CIO.com 1인칭 칼럼, Naren Gangavarapu, 2026.11.18
배경대형 여행·크루즈 그룹(회사명 비공개), 운영 에이전트 25개, 18개월 배포
CLEARConcurrent changes registered, Locked window, Evidentiary custody, Attributable baseline, Reference volume
비용 구분넷은 공개만 하면 되는 시험, L만 사전 약속이 필요
이관1차 상담 이관 34% 감소, 성수기 포함 6개월, 문의량 전년 수준, 재무팀 검토. 대체로 남음
온보딩운영사 온보딩 23일 → 3일, 기준선에 대기열 시간 포함. A 실패
예약 전환24% 상승, AI 기반 검색. 마켓플레이스 재구축·선택형 동적 가격과 겹침. C 실패, 가장 약함
자율성7개 무확인 실행, 13개 확인 필수 또는 외부 자율 소통 금지, 5개 원문 미기재
중단 장치현업 관리자 누구나 90초 안에 중단, 티켓·승인 불필요, 개입 기록 없음
관행 여섯아침 점검, 주간 성적표, 예외 우선, 협업 규칙, 실패 10가지 플레이북, 월간 재조정
적용 안 되는 경우매주 바뀌는 에이전트(이동 비교로 보고), 전에 없던 업무(해당 없는 시험을 명시), 공개 비용(물량 대신 비교 기준 공개), 엄격한 보고자가 약해 보이는 조정 문제
월요일 할 일개입 로그를 직접 열어 확인, 다음 주기 기간·분모·동시 변화 기록, 숫자마다 믿지 않을 이유 적기
관련 기준NIST AI RMF, ISO/IEC 42001 아래 보고 기준. CONSORT-AI, REFORMS와 비교. 타당성 기준은 아님

핵심 개념

Tier 1 escalation
1차 상담 창구가 직접 처리하지 못하고 상위 담당에게 넘기는 일로, 원문 회사에서는 자체 분류입니다.
System of record
해당 데이터의 공식 원장 역할을 하는 업무 시스템으로, 에이전트 팀 대시보드와 분리된 집계 출처입니다.
Slack
기준선 안에 들어 있는 여유분이나 밀린 일로, 한 번 치우면 다시 생기지 않는 개선 몫입니다.
Tolerance band
에이전트가 스스로 처리해도 되는 범위를 정한 허용 한계로, 월간 재조정 회의에서 사고 데이터와 대조합니다.
Ironies of automation
Lisanne Bainbridge(1983)가 짚은 문제로, 사람이 자동화가 못 하는 일을 맡지만 그 판단이 설계에 되돌아가지 않는 현상입니다.
Rolling comparison
고정 기간 대신 일정 길이 구간을 계속 밀며 비교하는 방식으로, 에이전트가 자주 바뀔 때 저자가 권하는 보고법입니다.
CONSORT-AI · REFORMS
의료 AI 임상시험과 ML 기반 연구의 보고 항목을 정한 기준으로, 저자가 CLEAR와 비교한 선례입니다.

내 메모

TODO: 내 생각 추가

원문은 CIO.com에 실린 Naren Gangavarapu의 칼럼 「Your agentic AI results can’t be checked. Here’s how to fix that」(2026.11.18)입니다. 저자는 이 일을 두고 “The measurement was the work.”라고 적었습니다. 요약, 핵심 메커니즘의 원문 예, 통념과 다른 주장, 사례와 원문 사례 표는 원문이 전한 사실을 AX Partners가 다시 정리했고 메커니즘의 작동 설명, 기술·현업 디테일(필드명, JSON, 일정, 판정 기준), 인포그래픽, 표는 새로 작성했습니다(디테일 절의 수치와 일정은 가상 예시). 전체 내용은 원문에서 볼 수 있습니다.

Related

함께 읽으면 좋은 노트

AX Implementation아티클

Business Agent Foundry: AT&T가 업무를 통째로 다시 짜고 정확도로 자율 실행을 허락하는 방식

SiliconANGLE · Paul Gillin

AT&T는 에이전트 워크플로 약 500개를 운영 중이고 내년에 3배로 늘릴 계획입니다. 업무 하나가 아니라 프로세스 전체를 다시 짜고 모든 워크플로를 사람 감독으로 시작해 정확도가 90% 중후반에 이르면 자율 실행으로 넘깁니다. 고객에 닿는 워크플로는 Business Agent Foundry의 보안·개인정보·컴플라이언스 심사를 거칩니다.

CIO·CTOAX 추진CEO
#사례#에이전트 2026.11.15 ↗
AX Implementation아티클

Agentic AI Investigator: Starling Bank의 17초 자금세탁 경보 조사 에이전트, 무엇으로 믿을 수 있나

QA Financial · Michiel Willems

영국 Starling Bank는 거래 모니터링 경보 1건을 조사하고 기록을 남겨 결정까지 내리는 에이전트를 코어뱅킹 안에 넣어 17초에 처리한다고 밝혔습니다. QA Financial은 속도와 별개로 놓친 증거, 상향 보고 시점, 기록의 충실도, 장애 때의 행동을 시험해야 신뢰할 수 있다고 봅니다.

CIO·CTO법무현업 리더
#사례#에이전트 2026.11.14 ↗
AX Implementation아티클

Custom Guardrails: Orange가 요금·계정 상담 AI 에이전트마다 대화 범위와 비용 상한을 따로 거는 방식

Business Wire · Algolia

Orange는 26개 넘는 나라의 B2B·B2C 요금·계정 상담에 Algolia Agent Studio 에이전트를 넣기 시작했습니다. 에이전트마다 다룰 주제와 실행 비용 상한을 따로 정하고, 답은 청구 기록·요금제·정책으로 거슬러 확인되게 묶었습니다.

CIO·CTO현업 리더AX 추진
#사례#에이전트 2026.11.14 ↗