Autonomy Within Bounds: Barclays의 첫 CAIO 임명과 에이전트를 묶어 두는 권한·관측·kill switch

Barclays는 사업 조율을 맡아 온 그룹 비서실장을 첫 CAIO로 세워 AI 도입 속도를 올립니다. 속도를 버티려면 에이전트마다 관측 기록, 허용 권한, 코드로 거는 kill switch를 배포 전에 갖추고, 배포 여부와 확대 여부를 증거로 판정하는 절차가 함께 있어야 합니다.

요약

QA Financial의 Michiel Willems는 2026년 10월 30일, Barclays가 Anita Tanna를 첫 Chief AI Officer(CAIO, 최고AI책임자)로 임명했다고 전했습니다. Tanna는 2021년 기업·투자은행(CIB) 부문의 EMEA equity sales 총괄로 입사했고, 2024년부터 그룹 비서실장(group chief of staff)을 맡아 왔습니다. 새 임무는 그룹 전체의 AI 도입을 앞당기고 가치가 가장 큰 쓰임새를 찾는 일입니다. 올해 HSBC, Bank of Ireland, ANZ도 첫 CAIO를 두었습니다. 3분기 실적 발표에서 C.S. Venkatakrishnan CEO는 AI를 대규모로 쓰겠다고 밝혔습니다. 올해 약 5,000명 감원 가운데 60%가 지원 부서이고, 여기에는 AI로 생산성이 오르며 줄어드는 개발자도 들어갑니다.

Anita Tanna의 경력과 CAIO 임무 (기사 기준)

기사의 관심은 임명 자체보다 그다음입니다. 도입이 빨라지면 테스트, 운영 감시, 운영 통제에 걸리는 부담이 커집니다. 기자는 Barclays의 Principal AI Engineer Andy McMahon이 팟캐스트에서 한 말을 다시 꺼냅니다. 에이전트를 운영에 올리려면 먼저 관측(observability)이 있어야 하고, 에이전트는 허용된 범위 안에서만 자율로 움직여야 하며, kill switch는 코드로 걸 수 있어야 한다는 내용입니다. Barclays는 사내 애플리케이션부터 시작했고 이제 고객용 기능 일부를 내보내기 시작했습니다. 기사는 직함만으로는 배포 결정이 어떻게 내려지는지 드러나지 않는다고 봅니다. 그래서 품질 엔지니어링이 두 질문에 답해야 한다고 정리합니다. 배포해도 될 만큼 믿을 만한가, 운영 성과가 사용 확대를 정당화하는가입니다. 아래에서는 이 구조를 다섯 메커니즘으로 풀고, 실제로 돌릴 때 필요한 기록 필드, 통제 단계, 일정과 판정 기준을 덧붙였습니다.

기사가 정리한 품질 조직의 두 질문 (기사 기준)

핵심 메커니즘

Chief AI Officer: 사업·기술·리스크를 한곳에서 맞추는 자리

CAIO는 회사 전체의 AI 도입 방향과 속도를 책임지는 임원입니다. 기사는 은행들이 AI를 조직 전체의 책임으로 보기 시작했고, 그래서 사업 우선순위, 기술 전달, 리스크 관리 사이의 조율이 필요해졌다고 설명합니다. 입력은 부서마다 올라오는 AI 과제이고, CAIO는 가치가 큰 곳을 고르고 순서를 정합니다. 출력은 어디에 먼저 쓰고 무엇을 미룰지에 대한 결정입니다. Barclays가 기술 책임자가 아니라 그룹 비서실장을 이 자리에 앉힌 점이 눈에 띕니다. 비서실장은 원래 부서 사이의 우선순위를 맞추는 자리입니다. 과제가 여러 부서에 흩어져 있고 서로 경쟁할 때 이런 자리가 힘을 씁니다. 기사는 Tanna의 가치 중심 임무가 AI 프로젝트가 넘쳐 난다는 McMahon의 지적과 맞닿는다고 봅니다.

Chief AI Officer의 조율 범위 (기사 기준)

Agent Observability: 에이전트가 무엇을 왜 했는지 남기는 기록

에이전트가 운영 중에 한 일을 metrics(수치), logs(기록), traces(호출 경로)로 남기는 체계입니다. McMahon은 에이전트를 운영에 올릴 때의 세 가지 핵심 걱정 가운데 이것을 첫째로 꼽았습니다. 기사의 설명은 이렇습니다. 통제된 테스트를 통과한 에이전트도 낯선 입력, 다른 시스템과의 의존 관계, 처음 보는 행동 순서를 만나면 다르게 움직일 수 있습니다. 텔레메트리가 있어야 배포 전 평가와 운영 중 행동을 이어 볼 수 있습니다. trace가 없으면 엔지니어는 에이전트가 왜 그렇게 결정했는지 설명하지 못하고, 실패를 되짚기도 어렵습니다. McMahon은 발표 뒤 만난 많은 사람들이 이미 에이전트를 잔뜩 배포한 다음에야 관측을 고민하기 시작했다고 전했습니다. 기사는 이것이 Barclays가 아니라 그가 만난 조직들 이야기라고 밝힙니다.

Agent Observability의 역할 (기사 기준)

Bounded Autonomy: 허용된 범위 안에서만 움직이는 자율

에이전트에게 전권을 주지 않고 맡은 업무에 필요한 도구와 시스템에만 접근하게 하는 원칙입니다. McMahon은 이것을 “autonomy within bounds”라고 불렀습니다. 범위는 권한 구조(permission structure)로 정합니다. 그는 에이전트에도 identity(신원)가 필요하다고 봅니다. 에이전트가 다른 사람이나 시스템을 대신해 움직이기 때문입니다. 기사는 여기서 테스트 과제를 끌어냅니다. 에이전트가 권한을 지키는지, 허용된 workflow 안에 머무는지, 접근이 거부되거나 상황이 바뀌었을 때 제대로 반응하는지 확인해야 한다는 것입니다. 가상 예시로, 계좌 조회 에이전트가 이체 API를 부르려 하면 권한 검사에서 막히고, 에이전트는 사람에게 넘기는 응답을 내야 합니다.

두 운영 방식 비교 (McMahon 발언 기준, 셋째 줄은 기사 설명을 정리)

Programmatic Kill Switch: 코드로 거는 정지 장치

kill switch는 에이전트를 즉시 멈추는 장치입니다. McMahon은 에이전트에 여러 단계의 통제를 어떻게 걸지, kill switch를 어떻게 프로그램으로 구현할지를 핵심 질문으로 들었습니다. 기사는 이것을 비상 버튼이 아니라 설계 요소로 다룹니다. 확인해야 할 것은 세 가지입니다. 에이전트를 멈출 수 있는가, 멈추기 전까지 무엇을 했는지 알 수 있는가, 중간에 끊긴 workflow를 처리할 수 있는가입니다. 그리고 이 통제는 정상 운영 때가 아니라 실패 조건에서 작동하는지로 검증해야 합니다. 프롬프트에 “멈춰라”라고 적어 두는 방식으로는 이 조건을 맞출 수 없습니다. 정지는 에이전트 바깥의 실행 계층에서 걸어야 합니다.

Programmatic Kill Switch가 갖출 세 가지 (기사 기준)

Staged Rollout: 사내 앱에서 고객용으로 넓히는 배포 순서

위험이 낮은 곳부터 배포하고 증거가 쌓이면 범위를 넓히는 방식입니다. McMahon은 사내 애플리케이션이 가장 쉽고 위험이 낮아 출발점이 된다고 말했고, Barclays는 이제 고객용 기능 일부를 내보내기 시작했습니다. 이 순서는 기존 품질 엔지니어링 위에 놓입니다. Barclays의 성능 엔지니어링 글로벌 리드 Manik Sikka는 테스트를 개발 초기로 당기는 shift-left를 강조했고, 성능 테스트를 자동화하고 관측을 엔지니어링 관행에 넣어 왔다고 말했습니다. McMahon도 컨테이너, Kubernetes, ID 공급자처럼 쓰던 기술을 그대로 쓴다고 했습니다. 에이전트 운영은 새 학문이 아니라 기존 규율의 연장이라는 뜻입니다. 그는 만들 수 있는지보다 만들어야 하는지를 먼저 물어야 한다고도 했습니다.

Staged Rollout과 기존 품질 엔지니어링 (기사 기준)

통념과 다른 주장

흔히 이렇게 봅니다CAIO는 AI 기술을 가장 잘 아는 사람이 맡는다.

기사는 이렇게 봅니다AI는 조직 전체의 책임이 됐고, CAIO의 몫은 사업 우선순위와 기술 전달, 리스크 관리를 맞추는 조율이다.

근거Barclays는 CIB 영업 출신으로 그룹 비서실장을 지낸 Tanna를 앉히고, 임무를 도입 가속과 가치 발굴로 정했습니다.

흔히 이렇게 봅니다테스트를 통과한 에이전트는 배포하고, 모니터링은 쓰면서 붙인다.

McMahon은 이렇게 봅니다관측이 운영의 첫 조건이다. 테스트를 통과해도 운영 환경에서는 다르게 움직일 수 있다.

근거그가 만난 많은 조직이 에이전트를 대거 배포한 뒤에야 관측을 고민했습니다. 기사는 텔레메트리가 배포 전 평가와 운영 행동을 잇는 고리라고 설명합니다.

흔히 이렇게 봅니다에이전트는 혁명이라 기술 스택을 새로 짜야 한다.

McMahon은 이렇게 봅니다같은 기술에 새 변형이 붙었을 뿐이다. 처음부터 다시 만들지 않는다.

근거Barclays는 여전히 컨테이너, Kubernetes, ID 공급자를 쓰고, 기존의 shift-left 테스트와 성능 테스트 자동화 위에 에이전트 통제를 얹습니다.

저자가 든 사례

Barclays: 그룹 비서실장을 첫 CAIO로

상황	한 일	결과	연결
올해 HSBC, Bank of Ireland, ANZ가 첫 CAIO를 둠. CEO는 AI를 대규모로 쓰겠다고 밝힘	그룹 비서실장 Anita Tanna를 첫 CAIO로 임명. 본인이 LinkedIn에 알림	임무는 그룹 전체 도입 가속과 가치 큰 쓰임새 찾기. 시작일, 보고 라인, 검증 권한 범위는 원문에서 밝히지 않음	Chief AI Officer

사례 1: Barclays의 CAIO 임명 (기사 기준)

같은 실적 발표에서 나온 감원 계획은 이 임명이 놓인 배경입니다. 올해 약 5,000명을 줄이고 그 60%가 지원 부서입니다. 기사는 생산성 향상분을 운영에 올라가는 결과물의 품질, 복원력과 함께 따져야 한다고 짚습니다.

올해 약 5,000명 감원의 부서별 비중 (실적 발표 기준, 0 기준 길이 비례)

Andy McMahon: 에이전트를 운영에 올리는 조건

상황	한 일	결과	연결
많은 조직이 에이전트를 대거 배포한 뒤 관측을 고민	관측(metrics·logs·traces), 권한 구조와 identity, 단계별 통제와 kill switch를 운영 조건으로 제시	Barclays는 사내 앱에서 시작해 고객용 기능 일부를 내보내기 시작. 수치는 원문에서 밝히지 않음	Observability, Bounded Autonomy, Kill Switch, Staged Rollout

사례 2: Andy McMahon의 에이전트 운영 원칙 (기사 기준)

Manik Sikka와 FCA AI Live Testing: 기존 규율과 규제 시험장

상황	한 일	결과	연결
출시 전에 문제를 잡아야 함	Sikka 팀은 테스트를 개발 초기로 당기고 성능 테스트를 자동화하며 관측을 관행에 넣음	에이전트 통제가 이 위에 놓임	Staged Rollout
운영 환경의 AI를 규제와 함께 시험할 자리가 필요	2월 FCA의 AI Live Testing에 UBS, Lloyds Banking Group과 함께 참여	거버넌스, 평가, 사람의 감독, 운영 통제를 실환경에서 다룸. 결과는 원문에서 밝히지 않음	Kill Switch, Observability

기술 디테일: 에이전트 통제를 직접 만든다면

아래 필드명, 단계, 수치는 원문에 없는 가상 예시입니다.

관측(Agent Observability)을 돌리려면 에이전트가 도구를 부를 때마다 한 줄씩 남깁니다. 단위는 대화가 아니라 도구 호출입니다. 한 작업 안의 모든 호출을 같은 trace_id로 묶어야 나중에 실패를 되짚을 수 있습니다. 표준은 OpenTelemetry의 span 구조를 그대로 쓰면 기존 관측 도구에 바로 붙습니다. 모델 응답 원문은 개인정보가 섞일 수 있으니 해시와 요약만 남기고, 원문은 접근이 제한된 저장소에 따로 둡니다.

{
  "trace_id": "tr-20261105-0412",
  "span_id": "sp-07",
  "agent_id": "acct-inquiry-agent@v1.3",
  "on_behalf_of": "customer:masked / staff:emp-1182",
  "tool": "core_banking.get_balance",
  "permission_scope": ["accounts:read"],
  "decision": "allowed | denied | escalated",
  "control_level": "L0",
  "input_hash": "sha256:…",
  "output_summary": "잔액 조회 1건",
  "latency_ms": 840,
  "model": "model-name@version",
  "eval_tag": "pre_deploy_case_23"
}

Bounded Autonomy를 돌리려면 권한을 프롬프트가 아니라 manifest(권한 명세 파일)로 적고, 실행 계층이 도구 호출마다 이 파일과 대조합니다. 에이전트마다 서비스 계정을 따로 만들어 기존 ID 공급자에 등록합니다. 그래야 on_behalf_of로 누구를 대신했는지 남습니다. 허용 목록에 없는 도구는 부르는 순간 denied로 기록하고 사람에게 넘깁니다. 시험할 때는 정상 케이스 외에 권한 밖 도구를 부르게 유도하는 케이스를 전체의 20% 이상 넣습니다.

Kill Switch를 돌리려면 통제 단계를 실행 계층의 설정값(feature flag)으로 두고, 에이전트는 도구를 부르기 전에 이 값을 읽습니다. 단계를 올리면 다음 호출부터 바로 적용됩니다. L3에서는 서비스 계정의 자격 증명까지 회수해, 에이전트 코드가 플래그를 무시해도 시스템에 닿지 못하게 합니다.

통제 단계 설계 (가상 예시)

실패하는 경우	대응 (가상 예시)
정지 신호를 보냈는데 진행 중이던 호출이 끝까지 실행됨	쓰기 호출은 2단계(준비 → 확정)로 나누고, 확정 직전에 통제 단계를 다시 읽음
멈춘 뒤 어디까지 처리됐는지 모름	`trace_id`별 마지막 성공 span을 조회하는 화면을 미리 만들어 둠
끊긴 workflow가 반쯤 반영된 채 남음	작업마다 되돌리기(compensation) 절차를 정의하고 L3 훈련 때 실제로 실행
테스트에선 멀쩡한데 운영에서 행동이 달라짐	운영 trace 가운데 매주 50건을 뽑아 평가 세트에 추가하고 같은 입력으로 5회 반복 실행해 결과가 갈리는 건을 따로 봄

현업 실행 디테일: 누가, 언제, 무엇을

역할	맡는 일 (가상 예시)
CAIO	과제 우선순위, 배포·확대 판정 회의 주재
업무 오너	에이전트가 맡을 업무 범위와 허용 행동 정의, 결과 책임
플랫폼 엔지니어	서비스 계정, 권한 manifest, 텔레메트리 연결, 통제 단계 구현
QE·테스트 리드	권한 거부 케이스, 실패 조건 시험, kill switch 훈련 설계
리스크·컴플라이언스	통제 단계 전환 조건 승인, 규제 보고 자료 검토

시작 전 준비물: 운영 중이거나 준비 중인 에이전트 목록(이름, 업무 오너, 쓰는 도구, 쓰기 권한 여부), 기존 관측 도구의 계정, 업무별 되돌리기 절차 초안.

8주 실행 계획 (가상 예시)

업무 오너에게 물을 질문: 이 에이전트를 꼭 만들어야 하나, 사람이 하던 방식으로는 왜 안 되나? 에이전트가 절대 하면 안 되는 행동 세 가지는? 멈췄을 때 누가 넘겨받고 몇 분 안에 처리해야 하나? 중간에 끊기면 무엇을 되돌려야 하나?

진행 판정 기준(가상 예시): 배포 판정은 권한 거부 케이스 통과율 100%, kill switch 훈련에서 정지까지 1분 이내, 정지 후 30분 안에 처리 내역 재구성을 모두 만족할 때입니다. 확대 판정은 사내 운영 4주 동안 L2 이상 전환이 0건이고, 업무 오너가 정한 성과 지표가 목표를 넘을 때입니다. 하나라도 못 맞추면 범위를 넓히지 않고 사내 운영을 연장합니다.

AX 적용 제언: 한국 기업도 CAIO나 AX 총괄을 세우는 흐름입니다. 임명 직후 90일 안에 할 일을 하나만 고르라면 에이전트 목록과 권한 manifest부터 만드는 것을 권합니다. 무엇이 어떤 권한으로 돌고 있는지 모르면 가치가 큰 곳을 고를 수도, 멈출 수도 없기 때문입니다. 첫 배포는 Barclays처럼 사내 업무(문서 검색, 내부 문의 응대)로 하고, 배포와 확대를 따로 판정하는 회의를 CAIO가 직접 맡게 하면 직함이 실제 결정 권한으로 이어집니다.

원문 사례

항목	내용
원문	QA Financial, Michiel Willems, 2026.10.30
인사	Anita Tanna, 첫 CAIO. 2021년 입사(CIB EMEA equity sales 총괄), 2024년부터 그룹 비서실장
임무	그룹 전체 AI 도입 가속, 가치 큰 쓰임새 찾기
동종 은행	HSBC, Bank of Ireland, ANZ가 올해 첫 CAIO 임명
경영 배경	CEO C.S. Venkatakrishnan, 3분기 실적 발표에서 AI 대규모 활용. 올해 약 5,000명 감원, 60%가 지원 부서(개발자 감소 포함)
엔지니어링 원칙	Andy McMahon(Principal AI Engineer): 관측 우선, 범위 안의 자율, 권한 구조, 단계별 통제, 코드로 거는 kill switch
배포 순서	사내 애플리케이션에서 시작, 고객용 기능 일부 출시 시작
품질 엔지니어링	Manik Sikka(성능 엔지니어링 글로벌 리드): shift-left 테스트, 성능 테스트 자동화, 관측 내장
규제	2월 FCA AI Live Testing 참여(UBS, Lloyds Banking Group과 함께)

핵심 개념

group chief of staff: 그룹 경영진의 의제와 부서 사이의 우선순위를 조율하는 자리입니다.
telemetry: 운영 중인 시스템이 스스로 내보내는 수치, 기록, 호출 경로를 묶어 부르는 말입니다.
trace: 한 요청이 여러 단계와 도구를 거친 경로를 순서대로 이은 기록입니다.
agent identity: 에이전트를 하나의 주체로 등록해 권한을 주고, 누구를 대신해 움직였는지 남기게 하는 방식입니다.
shift-left: 테스트를 개발 뒤쪽이 아니라 앞쪽으로 당겨 문제를 일찍 잡는 방식입니다.
FCA AI Live Testing: 영국 금융행위감독청(FCA)이 기업과 함께 실제 운영 환경의 AI를 시험하는 프로그램입니다.

내 메모

TODO: 내 생각 추가

원문은 QA Financial의 「Barclays names AI chief as testing challenges grow」(Michiel Willems, 2026.10.30 게재)입니다. McMahon의 발언 일부(identity, 컨테이너·Kubernetes·ID 공급자 언급)는 같은 매체의 「Barclays on AI testing, telemetry and kill switches」(2026.8.11)에서 확인했습니다. 요약, 핵심 메커니즘의 기사 내용, 통념과 다른 주장, 사례, 원문 사례 표는 기사 내용을 AX Review가 다시 정리했습니다. 기술·현업 실행 디테일, JSON 예시, 통제 단계, 실패 대응 표, 일정과 판정 기준, 인포그래픽은 원문에 없는 내용으로 새로 작성했고 그 안의 필드명과 숫자는 가상 예시입니다. 기사 전문은 원문 페이지에서 볼 수 있습니다.