AX Implementation

Screen Before You Serve: Nubank는 가상 고객에게 먼저 시험해 상담 에이전트 개정 주기를 21.2일에서 4.4일로 줄였다

Nubank는 카드 상담 에이전트의 개정판을 실제 고객 대신 AI가 연기하는 가상 고객과 먼저 대화시켜 걸렀습니다. 버전 하나를 내는 데 걸린 시간이 평균 21.2일에서 4.4일로 줄었습니다. 이렇게 다듬은 에이전트는 A/B 테스트에서 이전 에이전트보다 tNPS가 36.69점 높았습니다.

출처
arXiv · Nubank AI Research
원문 제목
Screen Before You Serve: Simulation for Production Customer Experience AI Agents at 140M Scale
유형
논문
읽은 날
2026.11.16
원문 발행
2026.11.05

Nubank는 상담 에이전트를 고칠 때마다 실제 고객에게 내보내기 전에 가상 고객과 먼저 대화시켜 나은 후보만 A/B 테스트로 보냈습니다. 그 결과 버전 하나를 내는 주기가 21.2일에서 4.4일로 줄었습니다. 따라 하려면 시뮬레이터를 실제 대화와 먼저 맞춰 보고 바꿀 때마다 가설과 통과 기준을 미리 적어 두는 운영 규칙이 필요합니다.

요약

브라질 디지털 은행 Nubank의 AI 연구팀과 시뮬레이션 도구 회사 Guardrails AI가 함께 쓴 논문입니다. 대상은 브라질에서 상담 건수가 가장 많은 채팅 에이전트인 Card Management와, 그 전신인 Card Delivery입니다. 두 에이전트는 카드 배송 조회, 재발급, 배송 주소 변경을 처리합니다. 팀은 에이전트를 고칠 때마다 Snowglobe라는 시뮬레이터로 가상 고객(synthetic persona, LLM이 연기하는 고객 역할)을 만들어 여러 턴 대화를 시켰습니다. 에이전트가 카드 상태 조회 같은 도구를 부르면, 실제 시스템 대신 시뮬레이터가 그 가상 고객의 상황에 맞는 응답을 돌려줬습니다. 고객도 은행 시스템도 건드리지 않고 에이전트의 실제 행동을 끝까지 돌려 본 셈입니다. Nubank는 11월 5일 보도자료로 이 결과를 알렸고 같은 날 논문 개정판을 arXiv에 올렸습니다.

예전 방식손으로 쓴 테스트또는 실제 고객 A/B가상 고객 시험후보마다 가상 대화 묶음LLM 심판이 채점통과한 후보만실제 고객 A/B 테스트결과 확인 후 배포
논문이 제안한 배포 전 거르기 단계의 위치를 다시 그린 개념도

결과는 두 갈래로 나왔습니다. 먼저 속도입니다. 시뮬레이션 없이 개발한 Card Delivery는 10개 버전에 212일이 걸려 버전당 21.2일이었습니다. 시뮬레이션으로 거른 Card Management는 5개 버전을 22일에 내 버전당 4.4일이었습니다. 다음은 성과입니다. 시뮬레이션으로 다듬은 Card Management는 실제 고객 A/B 테스트에서 Card Delivery를 앞섰습니다. 자가 해결률(SSR, 사람 상담원을 찾지 않고 끝난 세션 비율)이 4.90%p, 상담 직후 추천 점수(tNPS)가 36.69점 높았습니다. 팀은 이어 오픈 웨이트 모델 29개 구성을 1만 6,000건 넘는 가상 대화로 훑어 Qwen3.5-122B-A10B를 골랐습니다. 이 모델로 바꾸자 실제 A/B에서 SSR이 8.82%p 더 올랐고 p95 지연(느린 쪽 5% 응답의 대기 시간)은 25% 줄었습니다. 저자들은 시뮬레이터가 실제 고객을 똑같이 흉내 내지 못해도 후보 사이의 우열만 맞게 가리면 충분하다고 봅니다. 아래에서는 이를 가능하게 한 다섯 가지 장치와, 실제로 돌릴 때 필요한 설계와 일정을 정리합니다.

시뮬레이션 없이Card Delivery 10개 버전, 212일21.2일가상 고객으로 거름Card Management 5개 버전, 22일4.4일025일
논문 5.2절 기준. 0 기준 막대, 4.8배 차이

핵심 메커니즘

Tool-boundary Mocking: 도구 호출 하나하나만 가짜로 답한다

상담 에이전트는 말만 하지 않고 도구를 부릅니다. 카드 상태를 조회하고 주소를 바꾸고 재발급을 신청합니다. 이 상태로 시험하려면 실제 계좌와 카드 데이터가 필요해지는데, 테스트에서 운영 시스템을 건드릴 수는 없습니다. Snowglobe는 가짜 백엔드나 데이터베이스를 통째로 만들지 않습니다. 에이전트가 도구를 부르는 순간 그 호출만 가로채, 대화 중인 가상 고객에게 넘깁니다. 가상 고객은 자기 몫의 부분 상태(예: 배송 주소, 카드 상태)를 봅니다. 여기에 agent profile(도구 사이의 관계와 응답 형태를 정리한 규칙)을 더해 스키마에 맞는 응답을 만들어 돌려줍니다. 공유하는 세계 상태가 없으니 대화 하나가 샌드박스 하나가 됩니다. 같은 기록을 두 번 조회했는데 중간에 아무 행동이 없었다면 값이 바뀌면 안 된다는 일관성 규칙도 이 프로필이 지킵니다.

언제 맞나: 에이전트의 판단과 도구 사용 순서를 시험할 때 맞습니다. 백엔드 자체의 동작, 지연, 영구 저장, 부작용은 이 방식으로 시험하지 않는다고 저자들이 범위를 정했습니다. 지식 베이스 검색처럼 읽기만 하는 도구는 실제로 연결해 둘 수 있습니다. 논문 그림 1의 예가 이 차이를 보여 줍니다. 손으로 쓴 테스트는 “배송 완료” 상태만 다뤘지만 실제 고객은 “상태 없음”이 나오는 상황을 만났습니다. 가상 고객은 자기 상황에 맞는 도구 응답을 만들어 내므로 이런 경우를 미리 드러냅니다.

가상 고객페르소나 + 부분 상태고객 메시지 작성시험 대상 에이전트운영 프롬프트 그대로도구 호출Mock 도구 층호출 하나만 응답스키마·일관성 규칙실제 백엔드호출하지 않음DB·서비스 그대로
Tool-boundary mocking의 흐름을 다시 그린 그림

Persona Seeds와 Coverage Planning: 상황 조합을 먼저 짜고 고객을 만든다

가상 고객을 무작위로 만들면 쉬운 경우만 반복되기 쉽습니다. Snowglobe는 먼저 에이전트 설명과 도구 정의를 읽고 이 에이전트가 처리하는 use case(상담 유형)와 고객의 말투·태도(style)를 뽑습니다. 오케스트레이터가 use case와 style을 곱한 M개 칸을 만들고 칸마다 N명의 페르소나를 만들며 페르소나마다 K번 대화를 시킵니다. 페르소나 하나는 말투, 상황 사실(seed facts), 꺼낼 주제, 대화를 어떻게 끌고 갈지에 대한 trajectory plan을 함께 들고 갑니다. 과거 상담 기록을 넣으면 오프라인에서 상담 유형과 말투의 분포를 뽑아 이후 실행에 반영합니다. simulation prompt를 넣으면 특정 상담 유형만 골라 집중 시험할 수 있습니다.

대화는 고객의 목표가 이뤄졌을 때, 이룰 수 없다고 판단됐을 때, 턴 수나 도구 호출 한도에 닿았을 때 끝납니다. 논문의 예시 페르소나는 처음 Nubank 카드를 받는 34세 바쁜 직장인으로, 짧고 명확한 답을 원합니다. 팀은 LLM 두 개(고객 역, 도구 응답 역)를 프롬프트만으로 돌린 비교군도 같은 조건에서 만들었습니다. 이 비교군은 버전 순위를 제대로 맞히지 못했습니다(아래 Simulator Characterization 참고).

입력에이전트 설명·도구 정의선택: 과거 대화, 지시문커버리지 계획use case × styleM개 칸페르소나칸마다 N명상황 사실·주제·경로대화페르소나마다 K번M×N×K건
Snowglobe의 대화 생성 순서를 다시 그린 개념도

Hypothesis-driven Screening: 바꾸기 전에 가설과 통과 기준을 적는다

시뮬레이션을 많이 돌린다고 결정이 쉬워지지는 않습니다. 논문은 거르기 절차를 짧은 알고리즘으로 고정합니다. 현재 운영 중인 에이전트 A를 정해진 시뮬레이터 설정 S로 돌려 기준 대화 묶음을 만듭니다. 바꿀 후보 A′(A에 변경 하나를 더한 것)를 같은 S로 돌립니다. 두 묶음을 같은 평가 묶음 E로 채점하고 미리 정한 통과 기준 C를 만족하면 실제 A/B 테스트 자격을 줍니다. 못 미치면 변경을 다시 고쳐 같은 A와 비교합니다. A는 후보가 실제로 운영 버전이 될 때만 바뀝니다.

이 절차의 요점은 세 가지입니다. 변경마다 반증할 수 있는 가설이 하나 있어야 합니다. 새 평가자를 추가하면 기준 대화도 그 평가자로 다시 채점해야 합니다. 차이가 작거나 애매한 후보는 시뮬레이션에서 결론을 내지 않고 실제 A/B로 넘깁니다. Card Management에서는 “사람 상담원 연결이 불필요했나”라는 이진 판정 하나를 가설로 삼아, 후보마다 실패율을 첫 버전과 비교했습니다.

기준 A운영 버전설정 S로 시뮬레이션후보 A′A + 변경 하나같은 S로 시뮬레이션같은 평가 E두 묶음 모두 채점가설 판정 포함기준 C 판정통과: A/B 자격미달: 고쳐서 재시험
논문의 Algorithm 1을 다시 그린 흐름도

Simulator Characterization: 시뮬레이터부터 실제 대화와 맞춰 본다

시뮬레이터를 믿으려면 먼저 시뮬레이터를 시험해야 합니다. 팀은 Card Delivery의 실제 대화 8,000건을 개발용과 시험용으로 반씩 나누고 운영했던 네 버전마다 실제 대화 1,000건과 가상 대화 250건을 비교했습니다. 진단은 네 가지입니다. P1은 대화 길이, P2는 대화 전체를 임베딩했을 때 실제 대화 묶음과의 거리, P3는 평가자 점수로 매긴 버전 순위가 실제와 같은지, P4는 전문가가 가상 대화를 알아보는지입니다.

결과는 고르지 않았습니다. 가상 고객은 실제 고객보다 훨씬 길게 말했습니다. 고객 메시지 단어 수 중앙값이 실제 19개, 가상 111개였고 턴 수 중앙값도 3번과 6번이었습니다. 그래도 임베딩 거리에서는 네 버전 모두 가상 대화가 무관한 대화 묶음보다 실제 대화에 가까웠고 가장 가까운 경우 코사인 거리가 0.035였습니다. 버전 순위는 실제와 Pearson r 0.74, Kendall τ 0.67로 맞았고 가장 좋은 버전과 가장 나쁜 버전을 정확히 가렸습니다. 구조 없는 LLM 비교군은 r −0.09로 순위를 뒤집었습니다. 전문가 7명은 블라인드로 실제 대화 84%, 가상 대화 70%를 맞혔고 가상 대화 15건을 실제로 착각했습니다.

Snowglobe실제 버전 순위와의 Pearson r0.74구조 없는 LLM 비교군r −0.09, 순위가 사실상 뒤집힘−0.0901
논문 부록 E 표 5. 비교군의 음수 값은 0선에 표시

Open-weight Configuration Sweep: 고객 노출 없이 모델 설정을 훑는다

가상 고객은 얼마든지 불러올 수 있으니, 사람이 감으로 정하던 설정을 전부 시험할 수 있습니다. 후보 모델은 GPT-OSS-120B, Nemotron-3-Super-120B-A12B, Qwen3.5-122B-A10B, Qwen3.6-35B-A3B 네 가지였습니다. 팀은 Card Management에 이 모델들을 바꿔 끼우고 추론 강도와 수치 형식(양자화)을 바꿔 가며 29개 구성을 1만 6,000건 넘는 가상 대화로 채점했습니다. 평가 항목은 필요한 정보를 제대로 물었나(Input), 재발급이 타당했나(Reissue), 상태 조회를 했나(Status), 대화를 끝맺었나(Complete) 네 가지입니다.

모든 항목에서 이긴 구성은 없었습니다. 추론의 효과도 모델과 항목마다 달랐습니다. Nemotron에서는 추론을 켜자 고객 기록을 찾아오는 비율이 16%에서 94%로 올라 종합 점수가 42.9에서 31.3으로 좋아졌습니다(낮을수록 좋음). 양자화 형식 세 가지(nvfp4, fp8, bf16)는 같은 구성을 6번 반복했을 때의 흔들림(표준편차 2.2점)과 구별되지 않았습니다. 팀은 Input 실패율이 0.4%로 가장 낮은 Qwen3.5-122B-A10B(추론 켬)를 골랐습니다. Status 실패율이 35.2%로 기존 모델(2.4%)보다 높다는 약점이 보여, 프롬프트 최적화로 이를 줄인 뒤 실제 A/B에 올렸습니다.

후보 29개 구성모델 4종추론 강도·양자화가상 대화 1만 6천 건+4개 항목 채점Input·Status 등후보 선택Qwen3.5-122B-A10B약점(Status) 보완실제 A/BSSR +8.82%pp95 지연 −25%
논문 4.2절, 5.3절, 표 2를 다시 그린 흐름도

통념과 다른 주장

흔히 이렇게 봅니다시뮬레이터가 실제 고객과 똑같이 말해야 그 결과를 믿을 수 있다.

저자는 이렇게 봅니다거르기 단계의 일은 후보 사이의 우열을 맞게 가리는 것입니다. 실제 지표를 그대로 재현할 필요는 없습니다.

근거가상 고객은 실제보다 몇 배 길게 말했지만 버전 순위는 실제와 r 0.74로 맞았고 시뮬레이션으로 고른 버전이 실제 A/B에서도 이겼습니다.

흔히 이렇게 봅니다고객 상담처럼 민감한 운영에는 가장 큰 상용 모델을 그대로 두는 편이 안전하다.

저자는 이렇게 봅니다설정을 넓게 훑어 고른 오픈 웨이트 모델이 만족도를 지키면서 자가 해결률과 응답 속도를 함께 높일 수 있습니다.

근거Qwen3.5-122B-A10B로 바꾼 A/B에서 SSR은 8.82%p 올랐고 tNPS 변화는 통계적으로 유의하지 않았으며 p95 지연은 25% 줄었습니다.

흔한 기대Nubank의 결과· 실제 고객과 똑같이 말하는 시뮬레이터· 상용 대형 모델을 그대로 유지· 말투는 달라도 버전 순위는 r 0.74· 오픈 웨이트로 SSR +8.82%p, 지연 −25%
논문 5.1~5.3절 수치로 정리

저자가 든 사례

Card Management 개정: 불필요한 상담원 연결을 줄인다

구분내용
상황Card Delivery를 대체할 Card Management(GPT-5.2 기반) 첫 버전의 불필요한 사람 상담원 연결 실패율이 22.4%
한 일다섯 버전을 시뮬레이션으로 비교. 프롬프트 수동 수정, 구조 변경을 거쳐 ReAct(추론과 도구 호출을 번갈아 하는 에이전트 구성) 방식으로 돌아가고 가상 대화 예시로 프롬프트를 고친 V5를 채택
결과불필요한 연결 실패율 22.4%에서 16.0%로. 실제 A/B에서 Card Delivery 대비 SSR +4.90%p, tNPS +36.69점. 이후 브라질 고객 전체에 배포
연결Hypothesis-driven Screening, Tool-boundary Mocking
V1 기준ReAct, 첫 버전22.4%V2 · V4프롬프트 수동 수정34.0%V3다른 구조28.8%V5 채택ReAct, 가상 대화로 프롬프트 수정16.0%040%
논문 5.2절. 낮을수록 좋음. 0 기준 막대

Card Delivery: 시뮬레이터를 믿을 수 있는지 먼저 확인

구분내용
상황시뮬레이터가 실제 고객 대화와 얼마나 비슷한지 모르고는 결과를 믿기 어려움
한 일운영했던 네 버전(GPT-4.1에서 GPT-5.2까지)마다 실제 대화 1,000건과 가상 대화 250건을 네 가지 진단(P1~P4)으로 비교
결과길이는 크게 다름(단어 중앙값 19 대 111). 순위는 r 0.74, τ 0.67로 일치. 전문가가 가상 대화 15건을 실제로 착각
연결Simulator Characterization, Persona Seeds와 Coverage Planning
상황시뮬레이터 신뢰도확인 전한 일4개 버전 × 실제 1,000건가상 250건, P1~P4결과순위 r 0.74최고·최저 버전 일치
Card Delivery 사례 재구성

모델 교체: 오픈 웨이트 모델로 바꿔도 되는지

구분내용
상황Card Management의 기존 모델을 오픈 웨이트 모델로 바꿀 수 있는지 판단해야 함
한 일29개 구성을 1만 6,000건 넘는 가상 대화로 채점, Qwen3.5-122B-A10B(추론 켬)를 고르고 Status 약점을 프롬프트 최적화로 보완
결과실제 A/B(n 8,400)에서 SSR +8.82%p로 Nubank에서 관측된 최고치. tNPS −1.21점은 유의하지 않음. p95 지연 25% 감소
연결Open-weight Configuration Sweep
기존 모델(GPT-5.2)Qwen3.5-122B-A10B(추론 켬)· Status 실패율 2.4%· Input 실패율 3.6%· Input 실패율 0.4%· 실제 A/B: SSR +8.82%p· tNPS 차이 유의하지 않음
가상 대화 채점은 논문 표 3, 실제 결과는 표 2 기준

기술 디테일: 가상 고객 거르기 층을 직접 돌린다면

아래 필드명, 설정값, 기준은 실제로 돌릴 때 필요한 것을 새로 쓴 가상 예시입니다. 논문에서 온 값은 그렇다고 밝혔습니다.

Tool-boundary mocking을 돌리려면 운영과 같은 도구 스키마부터 가져옵니다. 논문은 엔지니어링 대부분이 연동에 들었고 스테이징 에이전트가 운영 MCP 스키마를 그대로 썼다고 적었습니다. 조회·변경처럼 상태가 있는 도구는 mock으로 바꾸고 지식 베이스 검색처럼 읽기만 하는 도구는 실제로 연결합니다. 도구 응답은 스키마 검증을 거친 뒤에만 에이전트에 넘깁니다. 같은 ID를 다시 조회하면 같은 값을 주도록, 대화마다 도구 호출 기록을 쌓아 두고 응답 생성기에 함께 넣습니다. 페르소나 시드는 아래처럼 구조화해 둡니다.

{
  "persona_id": "cm-addr-curt-017",
  "slice": {"use_case": "배송 주소 변경", "style": "짧고 급함"},
  "seed_state": {"card_status": "in_transit", "registered_address": "가상 주소 A", "recent_reissue": false},
  "topics": ["주소 변경", "도착 예정일"],
  "trajectory_plan": "주소부터 묻고 거절되면 재발급을 요구",
  "stop": {"max_user_turns": 8, "end_on": ["goal_met", "goal_unreachable", "handoff"]}
}
예 1예 2처리상태 있는 도구카드 상태 조회주소 변경mock으로 응답읽기 전용지식 베이스 검색정책 문서실제 연결 가능시험 범위 밖백엔드 동작지연·영구 저장별도 시험
가상 예시. 도구 분류 기준은 논문 5.4절의 범위 설명을 따름

Hypothesis-driven Screening을 돌리려면 한 번의 실행 단위를 고정합니다. 후보 하나에 가상 대화 250건(논문이 버전마다 만든 수)을 기본으로 둡니다. 논문 기준 100건 묶음은 평균 10분 안에 끝났습니다. 평가는 항목마다 따로 둔 LLM-as-a-Judge(LLM 심판)가 통과·실패 이진값을 내게 합니다. 논문은 GPT-4.1-mini 심판 다섯 개를 썼고 각 심판 프롬프트는 GEPA(프롬프트 자동 개선 기법)로 최적화했습니다. 심판은 temperature 0으로 고정하고 출력에는 항목, 판정, 근거 턴 번호만 담게 합니다. 논문은 기본 평가 항목을 사람 라벨로 미리 맞췄고 새 가설용 심판은 따로 맞춰 보고해야 한다고 적었습니다. 실제로는 새 심판마다 사람이 라벨을 단 대화 100건으로 일치율을 재고 90% 아래면 심판 프롬프트부터 고칩니다.

{"trajectory_id": "cm-v5-0213", "criterion": "unnecessary_handoff", "verdict": "fail", "evidence_turns": [4, 5], "note": "주소 변경 도구가 성공했는데 상담원 연결"}

통과 기준 C는 흔들림보다 크게 잡습니다. 논문은 같은 구성을 6번 반복해 종합 점수 표준편차 2.2점을 쟀습니다. 같은 방식으로 내 환경의 반복 편차를 먼저 재고 후보와 기준의 차이가 그 두 배를 넘을 때만 통과로 봅니다. 신뢰구간은 대화 단위로 묶어 재표본하는 부트스트랩으로 냅니다(논문은 1만 회).

가설 예시평가 항목통과 기준 C (가상 예시)
주소 변경 성공 후 상담원 연결을 없앤다불필요한 연결 여부실패율이 기준보다 5%p 이상 낮고 다른 항목 악화 없음
추론을 켜면 고객 기록 조회가 늘어난다Status실패율이 반복 편차의 2배 이상 개선
작은 모델로 바꿔도 정보 수집이 유지된다Input, Complete기준 대비 악화가 반복 편차 이내
반복 편차 측정같은 구성 6회표준편차 계산후보·기준 실행각 250건같은 설정 S심판 채점항목별 이진값근거 턴 기록판정차이 > 편차 × 2A/B 자격
가상 예시. 6회 반복과 250건은 논문 값, 2배 기준은 새로 제안한 값

Simulator Characterization은 에이전트를 바꾸기 전에 한 번, 이후 분기마다 돌립니다. 운영 중인 버전 두세 개의 실제 대화를 1,000건씩 뽑고 같은 버전을 시뮬레이터로 250건씩 돌립니다. 대화 전체를 임베딩해(논문은 text-embedding-3-large) 묶음 중심 사이의 코사인 거리를 비교합니다. 평가 점수로 매긴 버전 순위가 실제와 같은지는 Kendall τ로 봅니다. 논문처럼 무관한 대화 묶음을 대조군으로 넣어 두면 거리 숫자를 읽기 쉬워집니다.

막히는 경우증상대응
가상 고객이 너무 말이 많음단어 수가 실제의 몇 배결과를 우열 판단에만 쓰고 말투 지시와 메시지 길이 상한을 페르소나에 추가
턴 상한에 몰림상한 턴에 끝난 대화 비율이 큼상한을 실제 95분위 턴 수에 맞추고 상한 도달 대화를 따로 집계
mock 응답이 앞뒤로 어긋남같은 카드 상태가 대화 중 바뀜대화별 호출 기록을 응답 생성기에 넣고 스키마 검증 실패 시 재생성
서빙 설정 누락도구 호출이 텍스트로만 나옴논문이 잡아낸 tool-call parser 누락처럼, 모델 교체 시 첫 10건으로 연동 점검
로그 형식 불일치운영 대시보드로 못 옮김가상 대화도 운영과 같은 ID·필드·텔레메트리로 기록
실제 고객 대화가상 고객 대화· 단어 중앙값 19· 턴 중앙값 3· 1턴 대화 24.3%· 단어 중앙값 111· 턴 중앙값 6· 8턴 상한에 25.2%
논문 부록 C. 길이는 다르지만 우열 판단에는 쓸 수 있었음

현업 실행 디테일: 누가, 언제, 무엇을

아래 역할, 일정, 기준은 논문의 절차를 참고해 새로 짠 가상 예시입니다.

역할맡는 일
CX 프로덕트 오너변경마다 가설과 통과 기준을 승인, A/B 진입 결정
에이전트 엔지니어운영 스키마 연동, mock 도구 구성, 후보 버전 제작
평가 담당심판 프롬프트 관리, 사람 라벨과의 일치도 점검, 반복 편차 측정
상담 현업 전문가페르소나·상담 유형 검토, 블라인드 판별 참여(논문은 7명)
상담센터 운영 리더사람 상담원 연결 기준 정의, A/B 기간 상담 인력 조정
리스크·컴플라이언스가설·기준·결과 기록을 변경 이력으로 보관하는지 확인

준비물. 시험할 에이전트의 설명서와 도구 스키마, 버전별 실제 대화 최소 1,000건(개인정보 처리 완료), 사람 라벨로 맞춘 기본 평가 항목, 현재 SSR·tNPS 기준선, 변경 이력 양식이 필요합니다.

1주2주3주4주엔지니어스키마 연동mock 구성후보 제작후보 제작평가 담당라벨 수집P1~P4 진단편차 측정판정현업 전문가상담 유형 정리블라인드 판별결과 검토A/B 검토프로덕트 오너가설 목록기준 승인후보 판정A/B 진입
가상 예시. 1주 단위 간트
기간할 일산출물
1주상담 유형 하나 선정, 운영 스키마 연동, 상태 있는 도구 mock 구성도구 분류표, 페르소나 시드 50개
2주운영 버전 2개로 P1~P4 진단, 현업 전문가가 실제·가상 대화 100건을 블라인드로 판별, 같은 구성 6회 반복진단 보고서, 판별 정확도, 반복 편차
3주가설 3개를 후보로 만들어 각 250건 거르기후보별 실패율, 통과 판정 기록
4주통과한 후보 1개로 실제 A/B 시작A/B 설계서, SSR·tNPS 중간 결과

현업 전문가와 운영 리더에게 물을 것.

  1. 이 상담 유형에서 사람 상담원 연결이 “불필요했다”고 판단하는 기준은 무엇인가요?
  2. 실제 고객이 가장 자주 만나는 예외 상황(배송 상태 없음, 주소 불일치 등)은 무엇인가요?
  3. 가상 대화를 읽어 보고 실제 고객이라면 하지 않을 말이나 행동은 무엇인가요?
  4. A/B 기간에 상담원 연결이 늘면 인력을 얼마나, 며칠 안에 조정할 수 있나요?
  5. 감독 당국이나 내부 감사가 변경 이력에서 무엇을 확인하나요?

진행 판정 기준(예시). 시뮬레이터 진단에서 운영 버전 순위가 실제와 같거나(τ 0.6 이상), 최고·최저 버전을 맞히면 거르기에 씁니다. 후보는 통과 기준 C를 넘고 다른 항목이 반복 편차 이상 나빠지지 않을 때만 A/B로 보냅니다. A/B에서 tNPS가 유의하게 떨어지면 SSR이 올라도 배포하지 않습니다.

AX 적용 제언. 고객 상담 에이전트를 이미 운영하는 금융·통신·유통 기업이라면, 다음 개선 과제보다 이 거르기 층을 먼저 만드는 편이 낫습니다. 시작은 상담 건수가 가장 많고 도구 호출이 많은 상담 유형 하나입니다. Nubank가 카드 배송·재발급에서 시작한 것과 같습니다. 경영진에게는 정확도보다 “버전당 개정 일수”와 “A/B에 올린 후보 중 이긴 비율”을 보고하면 투자 효과가 보입니다. 모델 교체 검토도 이 층 위에서 하면 벤더 협상 전에 오픈 웨이트 대안의 실제 성적표를 손에 쥘 수 있습니다. 규제 산업에서는 가설, 통과 기준, 결과를 변경마다 남기는 기록 자체가 감사 대응 자료가 됩니다.

1. 상담 유형 하나건수 많고도구 호출 많은 곳2. 거르기 층시뮬레이터 진단가설·기준 기록3. 개정 반복버전당 일수A/B 승률 보고4. 모델 교체 검토오픈 웨이트 비교벤더 협상 근거
가상 예시. AX 적용 순서 제안

원문 사례

항목내용
논문「Screen Before You Serve: Simulation for Production Customer Experience AI Agents at 140M Scale」, arXiv 2609.30137 (v1 2026.9.24, v2 2026.11.5)
저자Nubank 14명, Guardrails AI 2명. 공동 제1저자 Edesio Alcobaça, Kevin Rossell
발표Nubank 보도자료 2026.11.5. AI 총괄(General Manager of AI) Rohan Ramanath: “Every change to an AI agent is a bet on the customer experience.”
대상Card Delivery, Card Management(브라질 최다 건수 채팅 상담 에이전트)
시뮬레이터Snowglobe(Guardrails AI). 비교군은 gpt-5.6-sol 두 개(고객 역, 도구 응답 역)
시뮬레이터 검증실제 대화 8,000건, 버전당 실제 1,000건 대 가상 250건. 순위 r 0.74, τ 0.67. 최소 코사인 거리 0.035. 전문가 7명 판별 정확도 실제 84%, 가상 70%
개정 주기Card Delivery 10개 버전 212일(버전당 21.2일), Card Management 5개 버전 22일(4.4일), 4.8배
Card Management불필요한 연결 실패율 22.4%에서 16.0%로. A/B: SSR +4.90%p(n 2만 7,800), tNPS +36.69점(n 2,000)
모델 거르기29개 구성, 가상 대화 1만 6,000건 이상. Qwen3.5-122B-A10B 선택
모델 교체 A/BSSR +8.82%p(n 8,400), tNPS −1.21점(유의하지 않음, n 2,300), p95 지연 −25%
운영 메모100건 생성 10분 이내. 운영 MCP 스키마 재사용. tool-call parser 없는 서빙 설정을 사전에 발견

핵심 개념

CX agent
고객 질문과 불만에 답하고 회사 상품을 쓰는 과정을 대화로 안내하는 고객 경험용 AI 에이전트입니다.
On-policy simulation
미리 정한 정답 대화를 재생하지 않고 시험 대상 에이전트가 자기 판단대로 답하게 둔 채 가상 고객이 그 답에 반응하는 방식입니다.
SSR (Self-service rate)
고객이 사람 상담원을 찾지 않고 에이전트와 일을 끝낸 세션의 비율입니다.
tNPS (Transactional NPS)
상담 직후 추천 의향 설문에서 추천 고객 비율에서 비추천 고객 비율을 뺀 점수입니다.
LLM-as-a-Judge
LLM에게 채점 기준을 주고 대화 기록을 통과·실패로 판정하게 하는 평가 방식입니다.
GEPA
실패 사례를 돌아보며 프롬프트를 자동으로 고쳐 나가는 최적화 기법으로, 논문은 심판 프롬프트를 다듬는 데 썼습니다.
Open-weight model
가중치가 공개돼 자체 서버에 올려 쓸 수 있는 모델입니다. Qwen, GPT-OSS, Nemotron이 여기에 속합니다.

내 메모

TODO: 내 생각 추가

원문은 Edesio Alcobaça, Kevin Rossell 외 Nubank·Guardrails AI 연구진의 논문 「Screen Before You Serve: Simulation for Production Customer Experience AI Agents at 140M Scale」(arXiv 2609.30137, v2 2026.11.5)입니다. 이 노트는 편집 데스크가 고른 The Asian Banker 주간 정리 기사(Sheena Marie Gaboy, 2026.11.13)의 Nubank 항목에서 출발했습니다. 그 기사 페이지는 열지 못해, 논문 전문을 1차 자료로 읽었고 Nubank 보도자료(2026.11.5)는 이를 인용한 FF News·Let’s Money 보도로 확인했습니다. 같은 기사에 실린 11월 12일 실적 발표의 효율비율 전망은 1차 자료로 확인하지 못해 싣지 않았습니다. 요약, 핵심 메커니즘, 통념과 다른 주장, 사례는 논문에 나온 내용을 AX Partners가 다시 정리했습니다. 기술·현업 디테일의 필드명, JSON 예시, 통과 기준, 일정, 질문, 판정 기준, 인포그래픽과 표는 실제로 돌릴 때 필요한 것을 새로 작성한 가상 예시입니다. 세부 수치와 그림은 arXiv 원문에서 확인할 수 있습니다.

Related

함께 읽으면 좋은 노트

AX Implementation포스트

국내 기업 AX 소식: 칩 해석 18시간을 41초로, 반복 사무는 AI 직원에게 (11월 10일 묶음)

국내 언론 묶음 · 2건

11월 9일 국내 기업 AX 소식 2건입니다. 삼성전자는 AI가 예측한 유효 물성과 거친 격자, GPU 가속을 묶어 칩 단위 열·기계 해석을 약 18시간에서 41초로 줄였고, 코난테크놀로지는 대리 직급과 사내 메일 계정을 준 AI 직원 '봉대리'로 사내 업무 60건의 투입 시간을 계획보다 약 59% 줄였습니다.

CIO·CTOAX 추진현업 리더
#사례#시뮬레이션 2026.11.14 ↗
AX Implementation포스트

Accelerating Engineering for the Physical World: OpenAI가 Codex로 CAD·회로·해석을 돌리고 Mazda와 공력 설계를 탐색

OpenAI

OpenAI가 ChatGPT와 Codex를 CAD 수정, 회로 기판 설계, 생산 도면, 해석 설정, 설계 검토에 쓰고 있다고 공개했습니다. Chip Ganassi Racing과는 3D 스캔을 CAD와 도면으로 바꾸고 Mazda와는 공력·충돌 안전 엔지니어가 함께 차량 형상을 탐색합니다. 모델이 만든 시제품도 공차와 조립은 사람이 여러 번 다시 봤습니다.

CIO·CTO현업 리더AX 추진
#제품 개발#시뮬레이션 2026.11.06 ↗
AX Implementation포스트

AI-Defined Fab: 반도체 공정 변경을 실물 시험 전에 가상으로 검증하는 네 가지 방법

NVIDIA 블로그 · Timothy Costa

NVIDIA는 반도체 공정 개발에서 실물 시험 전에 가상으로 거르는 네 가지 방법을 소개했습니다. GPU 해석, 학습된 물리 모델, 에이전트, 팹 디지털 트윈입니다. 회사 발표 기준으로 Applied Materials ACE+ 지형 해석은 최대 35배, Siemens Calibre의 핵심 해석은 최대 17배 빨라졌습니다. 플라스마 예측은 며칠에서 짧게는 밀리초 단위로 줄어든다고 설명합니다. 대리 모델 구성과 8주 시범안을 붙였습니다.

CIO·CTO현업 리더AX 추진
#사례#시뮬레이션 2026.11.05 ↗