Retest When Models Change: 기술 리더 7명이 말한 AI 에이전트 통제와 모델 변경 재시험
Travelers, Sedgwick 등 기술 리더 7명이 2027년에 대비할 AI 과제를 말했습니다. 벤더가 모델을 바꾸면 처음 인수 시험을 다시 돌리고 에이전트에는 권한·지출 한도·에스컬레이션·사람의 무효화 장치를 핵심 업무 투입 전에 갖추라는 것이 공통 조언입니다.
AI 위험 관리는 도구를 승인할 때 끝나지 않습니다. 벤더가 모델을 바꾸거나 현업이 에이전트에 결재를 맡기는 순간 다시 시작되므로, 시스템마다 모델·버전을 기록하고 바뀔 때마다 처음 인수 시험을 다시 통과시켜야 합니다.
요약
TechTarget의 Tim Murphy 기자가 2026년 11월 20일에 쓴 기사입니다. 기술 리더 일곱 명에게 기업이 2027년에 대비할 AI 과제를 물었습니다. 응답자는 World Insurance Associates CIO Michael Corrigan, Travelers 최고기술운영책임자 Mojgan Lefebvre, DoubleTrack 최고혁신책임자 Andy Boettcher, Contraco CEO Frank Meltke, Sedgwick 글로벌 플랫폼·디지털 솔루션 CIO Sean Safieh, JA Worldwide 글로벌 기술 책임자 Boris Kolev, The Zebra 최고AI책임자 Daniel Herrington입니다. 기사의 출발점은 이렇습니다. 출시 전에는 CIO가 도구로 풀 문제와 성과 판단 기준을 정해야 합니다. 출시 뒤에도 벤더가 시험했던 모델을 바꾸거나, 현업 팀이 에이전트에게 거래 승인을 맡길 수 있습니다.
조언은 두 갈래로 모입니다. 하나는 도입 전 준비입니다. 투자를 특정 업무 문제와 측정 가능한 결과에 묶습니다(Corrigan). 데이터의 품질·분류·이해를 먼저 갖추고(Lefebvre) 어떤 데이터를 어느 모델로 보낼지 미리 정합니다(Boettcher). 다른 하나는 운영 중 통제입니다. 모델이 바뀌면 다시 시험합니다(Meltke). 에이전트를 기업 ID처럼 다루고(Safieh) 행동 한도와 사람의 개입 장치를 먼저 설계하며(Kolev), synthetic evaluation(합성 데이터로 에이전트 동작을 확인하는 평가)에 투자합니다(Herrington). 이유는 AI가 답을 내는 단계에서 데이터를 고치고 거래를 일으키는 단계로 넘어가면서 오류 하나가 나쁜 답이 아니라 운영 사고가 되기 때문입니다. 경영진이 정할 것은 두 가지로 좁혀집니다. 모델 변경을 누가 받아들일지, 에이전트의 자율 범위를 누가 넓힐지입니다. 아래에서 이 통제를 하나씩 풀고 실제로 돌리는 방법을 덧붙입니다.
핵심 메커니즘
Model Change Control: 모델이 바뀌면 처음 승인 시험을 다시 돌린다
무엇인가. 운영 중인 AI 시스템이 어떤 모델과 버전으로 도는지 기록하고, 바뀌면 다시 검증하는 절차입니다. Contraco의 Meltke가 권했습니다.
어떻게 작동하나. Meltke의 진단은 승인된 시스템 밑의 모델이 아무 승인 없이 바뀔 수 있다는 것입니다. 벤더는 모델을 계속 갱신하고 교체합니다. 봄에 시험해 승인한 비서나 에이전트가 가을에는 다르게 움직일 수 있습니다. 이름도 권한도 업무 속 위치도 그대로인데 말입니다. 그래서 그는 세 가지를 권합니다. 시스템마다 모델과 버전을 기록합니다. 벤더에게는 모델 변경 전에 알리게 합니다. 변경이 생기면 원래 인수 시험을 다시 돌립니다.
언제 쓰나. 기사는 특히 스스로 승인·구매·기록 변경을 하는 시스템을 꼽습니다. 사람이 결과를 매번 읽는 요약 도구보다 자율 실행 에이전트에서 먼저 씁니다.
원문의 예. Meltke는 모델 변경을 새 검토의 계기로 보는 기업이 아직 드물다고 봅니다.
Agent as Enterprise Identity: 에이전트를 직원 계정처럼 관리한다
무엇인가. 에이전트를 다른 기업 ID와 같은 방식으로 다루는 원칙입니다. 정해진 권한, 알맞은 감독, 믿을 수 있는 감사 기록을 붙입니다. Sedgwick의 Safieh가 권했습니다.
어떻게 작동하나. 사람이 결정하면 책임 소재가 분명합니다. 에이전트가 결정하면 네 가지를 따로 정해야 합니다. 누가 접근을 허락했나, 에이전트가 어떤 행동을 할 수 있나, 그 행동을 어떻게 감시하나, 그 행동을 감사하고 설명할 수 있나. Sedgwick은 AI 거버넌스를 IT 통제만이 아닌 경영 규율로 봅니다. 그래서 에이전트에게 자율을 더 주기 전에 사업·리스크 책임자와 함께 책임을 정합니다.
언제 쓰나. 에이전트가 정보 요약과 추천에서 업무 배분이나 거래 실행으로 넘어갈 때입니다. Safieh는 복잡한 대기업 환경일수록 이 전환이 다른 수준의 운영 위험을 만든다고 봅니다.
원문의 예. Sedgwick은 보험 청구 관리 회사입니다. 기사는 이 회사의 에이전트 수나 적용 업무는 밝히지 않았습니다.
Agent Guardrails: 지출 한도, 에스컬레이션, 사람의 무효화 장치
무엇인가. 에이전트가 할 수 있는 일의 범위를 미리 묶어 두는 장치 묶음입니다. JA Worldwide의 Kolev는 ID 관리, 권한, 감사 기록, 지출 한도, 에스컬레이션 규칙, 사람의 무효화(override) 장치를 꼽았습니다.
어떻게 작동하나. 에이전트가 데이터 수정, 거래 시작, 외부 연락, 다른 시스템 호출까지 할 수 있게 되면 AI 오류는 운영 위험이 됩니다. 지출 한도는 피해의 상한을 정합니다. 에스컬레이션은 조건을 넘는 건을 사람에게 넘깁니다. 무효화 장치는 사람이 에이전트를 멈추고 결과를 되돌릴 수 있게 합니다.
언제 쓰나. Kolev는 시점을 강조합니다. 자율 시스템이 핵심 업무에 깊이 박히기 전에 설계해야 합니다. 나중에 붙이려면 이미 돌아가는 업무를 멈춰야 하기 때문입니다.
원문의 예. JA Worldwide는 청소년 교육 비영리 단체입니다. 기사는 이 단체의 구현 방식은 밝히지 않았습니다.
Synthetic Evaluations: 합성 데이터로 에이전트의 데이터 처리를 시험한다
무엇인가. 실제 고객 데이터 대신 만들어 낸 데이터로 에이전트가 데이터를 제대로 다루는지 확인하는 평가입니다. The Zebra의 Herrington은 여기에 투자하지 않은 조직은 뒤처졌고 규모를 키워야 한다고 말합니다.
어떻게 작동하나. 입력은 시나리오별 합성 데이터입니다. 에이전트를 돌려 결과를 정답이나 규칙과 대조하고 데이터를 잘못 다룬 건을 찾아냅니다. 이 평가 세트는 위의 인수 시험 재실행에도 그대로 쓰입니다.
언제 쓰나. Herrington은 2단계 인증이나 CAPTCHA 같은 기존 방어가 에이전트에는 부족하다고 봅니다. 보안 플랫폼이 쫓고 쫓기는 싸움에서 결국 진다는 견해입니다. 그래서 막는 장치보다 에이전트 동작 자체를 시험하는 쪽에 무게를 둡니다.
Model Routing: 데이터 분류에 따라 외부 모델과 자체 모델에 나눈다
무엇인가. 요청마다 분류 규칙을 보고 알맞은 모델로 보내는 구조입니다. DoubleTrack의 Boettcher는 2027년 기업이 큰 frontier 모델과 직접 호스팅하는 open 모델을 섞어 쓸 것으로 봅니다.
어떻게 작동하나. 라우터가 요청의 데이터 분류를 읽고 외부 모델로 보낼지 자체 모델에 둘지 정합니다. Boettcher 자신도 자기 컴퓨터에서 open 모델 세 개를 frontier 모델과 함께 돌리며 open 모델이 바짝 따라왔다고 말합니다.
언제 쓰나. 지금 할 일은 어떤 데이터와 질문을 어느 모델로 보낼지 정해 두는 것입니다. 가장 민감한 작업이 조직 밖으로 나가지 않게 하기 위해서입니다. Travelers의 Lefebvre가 말한 데이터 분류가 이 라우팅의 전제가 됩니다.
통념과 다른 주장
흔히 이렇게 봅니다AI 도구는 도입 심사를 통과하면 위험 검토가 끝나고, 이후에는 운영만 하면 됩니다.
저자는 이렇게 봅니다승인 뒤에도 벤더의 모델 교체와 현업의 권한 확대로 위험이 다시 생깁니다. 모델 변경은 새 검토의 계기여야 합니다.
근거Meltke는 봄에 승인한 에이전트가 이름과 권한이 그대로인 채 가을에 다르게 움직일 수 있다는 예를 듭니다.
흔히 이렇게 봅니다AI 거버넌스의 핵심 질문은 출력을 믿을 수 있느냐입니다.
저자는 이렇게 봅니다에이전트 시대의 질문은 Kolev의 말대로 "What are we willing to let the AI do?"입니다.
근거에이전트가 데이터 수정, 거래 시작, 외부 연락, 다른 시스템 호출을 할 수 있게 되면 오류는 나쁜 답이 아니라 운영 위험이 됩니다.
저자가 든 사례
Contraco: 승인 뒤 바뀌는 모델
| 구분 | 내용 |
|---|---|
| 상황 | 벤더가 승인 없이 모델을 갱신·교체해, 봄에 승인한 에이전트가 가을에 다르게 움직일 수 있음 |
| 한 일 | 시스템별 모델·버전 기록, 벤더 사전 통보 요구, 변경 시 인수 시험 재실행을 권함 |
| 결과 | 수치는 원문에서 밝히지 않음 |
| 연결 | Model Change Control |
Sedgwick: 추천에서 실행으로
| 구분 | 내용 |
|---|---|
| 상황 | 에이전트가 요약·추천에서 업무 배분·거래 실행으로 넘어감 |
| 한 일 | 에이전트를 기업 ID처럼 관리, 사업·리스크 책임자와 책임을 먼저 정함 |
| 결과 | 수치는 원문에서 밝히지 않음 |
| 연결 | Agent as Enterprise Identity |
JA Worldwide: 무엇을 하게 둘 것인가
| 구분 | 내용 |
|---|---|
| 상황 | 답하는 AI에서 행동하는 AI로 넘어감 |
| 한 일 | ID·권한·감사 기록·지출 한도·에스컬레이션·사람의 무효화 장치를 핵심 업무 전에 설계하라고 권함 |
| 결과 | 수치는 원문에서 밝히지 않음 |
| 연결 | Agent Guardrails |
기술 디테일: 모델이 바뀐 것을 알고, 다시 시험하고, 판정한다
아래는 원문에 없는 내용으로, Meltke가 권한 세 가지(버전 기록, 사전 통보, 인수 시험 재실행)를 실제로 돌릴 때 필요한 것을 정리했습니다. 필드 이름과 수치는 모두 가상 예시입니다. 에이전트 권한을 게이트웨이에서 집행하고 레지스트리로 관리하는 설계는 같은 날 노트 BMW 에이전트 거버넌스에서 다루므로 여기서는 모델 변경에 집중합니다.
버전 기록에는 모델만이 아니라 승인 당시 기준선을 함께 남깁니다. 운영 중인 AI 시스템마다 한 행을 두고 모델·버전, 라우터 규칙, 인수 시험 세트, 승인 당시 업무 지표(Corrigan이 말한 측정 가능한 결과)를 묶습니다. 재시험과 사후 확인이 모두 이 행을 기준으로 돌기 때문입니다. Boettcher가 말한 라우터의 규칙을 바꿔 요청이 다른 모델로 가게 되는 것도 모델 변경으로 기록합니다.
{
"system_id": "AP-INVOICE-AGENT",
"vendor": "벤더 A",
"model_id": "vendor-a-large",
"model_version": "2026-05-14",
"version_pinned": true,
"router_rule": "data_class=internal",
"change_notice_days": 30,
"acceptance_suite": "AP-ACC-v3",
"baseline_kpi": {"auto_match_rate": 0.81, "rework_per_100": 4.2},
"autonomy": "approve_under_limit",
"change_owner": "재무운영팀장"
}
모델이 바뀐 것을 아는 길은 세 가지입니다. 첫째는 계약상 벤더 통보입니다. 둘째, API가 응답에 모델 이름이나 버전을 돌려주면 매 호출 로그에 남기고 기록과 다르면 경보를 냅니다. 별칭 대신 날짜가 붙은 버전 이름으로 고정(pin)할 수 있으면 고정합니다. 셋째, 버전을 볼 수 없는 SaaS 내장 기능은 매주 같은 질문 20개를 던지는 카나리 점검을 돌립니다. 응답의 행동 필드가 지난주와 3건 넘게 달라지면 변경 의심으로 등록합니다. 봄에 승인한 에이전트가 가을에 다르게 움직이는 Meltke의 상황을 통보 없이도 잡으려는 장치입니다.
재시험은 구 버전과 신 버전을 같은 세트로 나란히 돌립니다. 승인 때 쓴 시험을 골든 세트(정답과 허용 행동이 붙은 시험 사례 묶음)로 보관합니다. 예를 들어 실제 업무에서 뽑은 200건 가운데 140건은 흔한 사례, 60건은 금액 한도 직전·신규 거래처·서류 불일치 같은 경계 사례로 둡니다. 출력은 JSON으로 고정해 decision, action, amount, evidence 필드를 정답과 기계적으로 대조합니다. 같은 건을 temperature 0으로 3회씩 돌려, 3회 결과가 서로 다른 건은 따로 셉니다. 비교는 통과율만 보지 않고 행동이 바뀐 건수(action_diff)를 함께 봅니다. 통과율이 같아도 결재하던 건을 보류로 돌리기 시작했다면 현업 흐름이 바뀝니다. Herrington이 말한 synthetic evaluation은 이 세트를 넓히는 방법입니다. 실제 개인정보 대신 합성 거래와 합성 고객 기록으로 민감 데이터 취급 규칙까지 시험합니다.
| 판정 | 조건(가상 예시) | 조치 |
|---|---|---|
| 수용 | 통과율 하락 1%p 이하, 금지 행동 0건, 행동 차이 5건 이하 | 전환 후 7일 업무 지표 확인 |
| 조건부 수용 | 통과율 하락 1%p 초과 2%p 이하, 또는 행동 차이 6~15건 | 차이 건을 오너가 검토하고 서명, 지출 한도를 절반으로 낮춰 2주 운영 |
| 보류 | 통과율 하락 2%p 초과, 행동 차이 16건 이상, 금지 행동 1건 이상, 3회 불일치 10건 초과 중 하나 | 이전 버전 유지 요청, 불가하면 자율 실행을 끄고 추천 모드로 내림 |
변경 한 건은 이벤트 하나로 남깁니다. 언제 알았고, 무엇으로 시험했고, 누가 무엇으로 판정했는지가 한 레코드에 있어야 Safieh가 말한 감사와 설명이 됩니다. 에이전트 행동 로그에도 model_version을 함께 남겨, 전환 뒤 생긴 이상을 이 이벤트와 바로 잇습니다.
{
"change_id": "MC-2026-0912",
"system_id": "AP-INVOICE-AGENT",
"from_version": "2026-05-14",
"to_version": "2026-09-01",
"detected_by": "vendor_notice",
"notice_received": "2026-09-02",
"vendor_cutover": "2026-10-02",
"suite_result": {"pass_rate_old": 0.965, "pass_rate_new": 0.950, "forbidden_actions": 0, "action_diff": 7},
"decision": "accept_with_watch",
"decided_by": "재무운영팀장",
"kpi_check_due": "2026-10-09"
}
실패하는 경우와 대응. 벤더가 구 버전을 종료일 이후 더는 제공하지 않으면 보류가 불가능합니다. 이때를 대비해 자율 실행을 끄고 사람이 결재하는 추천 모드로 내리는 스위치를 미리 만들어 둡니다(Kolev가 말한 사람의 무효화 장치). 골든 세트가 오래돼 지금 업무를 대표하지 못하는 경우도 흔합니다. 분기마다 실제 처리 건에서 20건씩 새로 뽑아 바꿉니다. 시험은 통과했는데 업무 지표가 떨어질 수도 있습니다. 그래서 전환 후 7일 동안 승인 당시 기준선(baseline_kpi)과 비교합니다. Lefebvre가 강조한 데이터 분류가 없으면 라우터 규칙도 재시험 대상도 정할 수 없으므로, 분류 라벨이 없는 요청은 가장 높은 등급으로 취급합니다.
현업 실행 디테일: 누가, 언제, 무엇을
| 역할 | 맡는 일 |
|---|---|
| CIO(오너) | 운영 AI 목록 확정, 모델 변경 정책 승인 |
| 구매·벤더 관리 | 통보 조항 협상, 벤더 통보 접수 창구 |
| 현업 프로세스 오너 | 모델 변경 판정 서명, 업무 지표 사후 확인 |
| 리스크·컴플라이언스 | 판정 기준 승인, 변경 이벤트 기록 감사 |
| AI 플랫폼 엔지니어 | 버전 기록, 카나리 점검, 골든 세트 재시험 자동화 |
시작 전 준비물. 운영 중인 AI 기능 목록(SaaS에 들어 있는 기능 포함), 벤더 계약서, 처음 도입 때 쓴 시험 결과, 승인 당시 업무 지표입니다. 시험 결과가 남아 있지 않은 시스템은 지금 버전으로 골든 세트를 새로 만들어 기준선으로 삼습니다.
계약에 넣을 통보 조항(가상 예시). 모델·버전 변경 30일 전 서면 통보, 변경 내용 요약과 벤더 측 평가 결과 제공, 구 버전 최소 30일 병행 제공, 통보 없이 바뀐 경우의 해지·보상 조건입니다. 통보를 받는 이메일 주소는 개인이 아닌 팀 주소로 정합니다.
확인 질문. 지금 운영 중인 AI 시스템이 각각 어떤 모델·버전으로 도는지 답할 수 있나? 지난 6개월 동안 벤더가 모델을 바꾼 적이 있고, 우리는 언제 알았나? 처음 승인 때 쓴 시험 세트와 업무 지표가 남아 있나? 스스로 결재·구매·기록 변경을 하는 시스템은 몇 개이고, 모델 변경을 누가 받아들이나? 구 버전이 종료되면 추천 모드로 내리는 데 몇 분 걸리나?
4주 착수 계획(가상 예시). 1주차에 플랫폼 엔지니어가 운영 AI 목록과 모델·버전 기록을 채웁니다. 2주차에 구매가 계약서의 통보 조항을 점검해 빠진 계약 목록을 냅니다. 3주차에 현업 오너와 엔지니어가 자율 실행 시스템마다 골든 세트 200건과 업무 기준선을 만듭니다. 4주차에 시스템 하나로 모의 변경을 D-30부터 D+7까지 압축해 처리하고 판정 기준을 고칩니다.
진행 판정 기준(가상 예시). 4주 안에 운영 AI 시스템의 100%에 모델·버전 기록이 있고, 자율 실행 시스템 전부에 골든 세트와 통보 조항이 있고, 모의 변경 한 건을 D-30부터 D+7까지 실제로 처리해 보면 다음 단계로 갑니다. 하나라도 못 미치면 자율 범위 확대 요청은 보류합니다.
AX 적용 제언. 국내 기업의 AI 기능은 대부분 SaaS와 벤더 API 안에 있어 모델 교체를 직접 막기 어렵습니다. 그래서 순서는 계약과 기록이 먼저입니다. 올해 갱신하는 계약부터 통보 조항을 넣고, 결재·구매·고객 응대처럼 스스로 행동하는 시스템부터 골든 세트를 만듭니다. 모델 변경 판정에는 IT가 아니라 현업 프로세스 오너가 서명하게 합니다. Sedgwick이 거버넌스를 경영 규율로 보는 것과 같은 이유로, 바뀐 모델이 업무에 맞는지는 업무 책임자가 가장 잘 압니다.
원문 사례
| 인물 | 소속 | 핵심 조언 |
|---|---|---|
| Michael Corrigan | World Insurance Associates CIO | AI 투자를 특정 업무 문제와 측정 가능한 결과에 묶고 이전 방식과 비교 |
| Mojgan Lefebvre | Travelers 최고기술운영책임자 | 데이터 품질·분류·이해를 먼저 갖추고 업무 맥락으로 옮길 수 있게 |
| Andy Boettcher | DoubleTrack 최고혁신책임자 | frontier 모델과 자체 호스팅 open 모델 혼합, 분류 규칙 라우터, 데이터별 모델 경계 사전 결정 |
| Frank Meltke | Contraco CEO | 모델·버전 기록, 벤더 사전 통보, 변경 시 인수 시험 재실행 |
| Sean Safieh | Sedgwick 글로벌 플랫폼·디지털 솔루션 CIO | 에이전트를 기업 ID로 관리, 권한·감독·감사 기록, 거버넌스는 경영 규율 |
| Boris Kolev | JA Worldwide 글로벌 기술 책임자 | ID·권한·감사 기록·지출 한도·에스컬레이션·무효화 장치를 핵심 업무 전에 |
| Daniel Herrington | The Zebra 최고AI책임자 | synthetic evaluation 투자 확대, 2단계 인증·CAPTCHA만으로는 부족 |
핵심 개념
- Acceptance test
- 시스템을 운영에 넣기 전에 요구한 대로 움직이는지 확인하는 인수 시험입니다.
- Frontier model
- 대형 AI 회사가 외부 서비스로 제공하는 최신 대형 모델입니다.
- Open model
- 가중치를 받아 기업이 자기 서버에서 직접 돌릴 수 있는 모델입니다.
- Escalation rule
- 금액이나 조건이 기준을 넘으면 에이전트가 멈추고 사람에게 넘기게 하는 규칙입니다.
- Human override
- 사람이 에이전트의 행동을 멈추거나 결과를 되돌리는 장치입니다.
- Golden set
- 정답과 허용 행동이 붙은 시험 사례 묶음으로, 모델이 바뀔 때마다 같은 기준으로 다시 돌립니다.
내 메모
TODO: 내 생각 추가
원문은 TechTarget에 실린 Tim Murphy의 기사 「Rein in AI agents and retest when models change, IT leaders warn」(2026.11.20)입니다. 요약, 핵심 메커니즘의 원문 예, 통념과 다른 주장, 저자가 든 사례, 원문 사례 표는 기사에 실린 일곱 명의 발언을 AX Review가 다시 정리한 것입니다. 기술 디테일과 현업 실행 디테일의 필드 이름, 수치, 일정, 판정 기준, 인포그래픽과 표는 이 노트에서 새로 작성한 가상 예시입니다. 전체 내용은 원문에서 볼 수 있습니다.