AI Underwriting Chatbot: Prudential 홍콩 설계사의 심사 문의 응답을 며칠에서 몇 분으로

Prudential은 홍콩 설계사가 심사 지침과 필요 서류를 물으면 AI 챗봇이 몇 분 안에 답하게 했습니다. 예전에는 며칠이 걸리던 답입니다. 최종 심사 결정은 여전히 사람이 합니다. 따라 하려면 챗봇이 맡을 범위를 "안내"로 못 박고, 그 범위 안에서 답이 맞는지, 모를 때 모른다고 하는지를 따로 시험해야 합니다.

요약

QA Financial의 Michiel Willems가 2026년 11월 5일 Prudential의 AI 확산을 다뤘습니다. 근거는 Prudential 그룹 최고AI사업책임자(Group Chief AI Business Officer) Priscilla Ng가 Insurance Asia와 한 인터뷰입니다. Prudential은 설계사 영업(agency), 운영, 건강보험 부문에 AI를 넓히고 있습니다. 설계사용 AI가 돕는 일은 고객 정보 통합, 니즈 파악, 미팅 준비, 행정 업무 축소입니다. 대표 사례는 홍콩의 AI 언더라이팅 챗봇입니다. 설계사(financial consultant)가 심사 지침과 고객이 내야 할 서류를 물으면 챗봇이 답합니다. Ng에 따르면 예전에 며칠 걸리던 답이 이제 몇 분 만에 나옵니다. 기사는 이것이 안내를 빨리 받는 것이지 최종 심사 결정을 AI에 맡긴 것은 아니라고 선을 긋습니다.

Prudential은 효과를 conversion(계약 전환율), adviser productivity(설계사 생산성), business growth(사업 성장)로 잽니다. Ng는 건강·재무·장기 계획이 걸린 결정에서는 사람이 중심에 남는다고 말했습니다. 그녀가 가장 큰 과제로 꼽은 것은 파일럿을 일상 업무로 옮기는 일입니다. 여기에는 현업 오너십, 직원 신뢰, 정의된 성과, 거버넌스가 필요하다고 했습니다. 금융 소프트웨어 품질(QA) 매체인 QA Financial은 여기서 한 걸음 더 나아갑니다. 빠른 답이 맞는 답인지, 설계사가 틀린 답을 알아채는지, 상품과 규칙이 바뀌어도 품질이 유지되는지를 함께 시험해야 한다고 봅니다. 아래에서 이 구조를 다섯 가지 메커니즘으로 풀고, 안내형 챗봇을 8주 파일럿으로 시험하는 방법을 붙였습니다.

핵심 메커니즘

Underwriting Guidance Chatbot: 결정이 아닌 안내를 빠르게

이 챗봇은 설계사가 청약을 준비할 때 필요한 정보를 바로 알려 주는 도구입니다. 설계사는 상품과 고객 상황을 말하고 묻습니다. 챗봇은 해당 심사 지침과 고객에게 받아야 할 서류를 답합니다. 예전에는 같은 질문을 심사 부서에 보내고 답을 며칠 기다렸습니다. 이제 설계사는 고객과 마주한 자리에서 다음 행동을 정할 수 있습니다. 인수 여부를 정하는 최종 심사는 챗봇의 일이 아닙니다. 그래서 응답 시간이 줄어든 몫은 결정이 아니라 결정 전 확인 단계입니다. 상품 지침이 문서로 잘 정리돼 있고 같은 질문이 반복되는 업무에 잘 맞습니다. 건마다 심사역의 재량 판단이 큰 고액·특이 건은 챗봇이 일반 안내만 하고 심사역에게 넘기는 편이 맞습니다.

Role-scoped Testing: 챗봇이 맡은 역할에 맞춰 시험한다

기사는 테스트 범위를 도구의 의도된 역할에서 시작하라고 말합니다. 역할이 무엇을 검증할지와 사람의 책임이 어디에 있는지를 정하기 때문입니다. 안내형 챗봇이라면 질문은 이렇습니다. 특정 상품과 특정 고객 시나리오에서 설계사가 맞는 서류 목록을 받는가. 정보가 모자란 경우와 전문 심사가 필요한 경우도 시나리오에 넣습니다. 가장 큰 위험은 문장은 매끄러운데 다음 단계를 바꾸는 조건 하나가 빠진 답입니다. 그래서 답 하나만 채점하지 않고, 그 답이 업무 흐름에서 어떻게 쓰이는지를 따라갑니다. 설계사가 맞는 서류를 요청했는지, 일반 안내와 심사역 판단이 필요한 건을 구분했는지, 정보가 부족하다는 것을 챗봇이 알아챘는지를 봅니다.

Human Oversight as a Tested Control: 사람의 감독도 시험 대상이다

사람을 루프에 둔다고 오류가 저절로 잡히지는 않습니다. 기사는 사람의 감독을 서비스의 일부로 보고 시험하라고 말합니다. 설계사는 미심쩍은 안내를 알아보고 근거를 확인할 수 있어야 하며, 불확실하면 위로 올릴 수 있어야 합니다. 이를 확인하는 방법으로 기사는 통제된 연습을 제안합니다. 일부러 불완전하거나 틀린 답을 섞어 설계사가 잡아내는지 봅니다. 시간 압박이나 시스템에 대한 신뢰가 답을 의심하는 행동을 줄이는지도 함께 봅니다. 챗봇이 빨라질수록 설계사는 답을 그대로 고객에게 옮기기 쉽습니다. 그래서 속도가 오른 뒤에 이 시험이 더 중요해집니다.

Pilot to Workflow: 파일럿 결과는 그대로 넘어가지 않는다

파일럿이 성공했다는 것은 특정 구성, 특정 데이터, 특정 사용자 그룹에서 잘 됐다는 뜻일 뿐입니다. 새 상품, 새 시장, 새 업무 흐름에는 다시 평가가 필요합니다. 한 상품에서 맞던 심사 안내도 가입 조건, 제출 서류, 약관 문구가 바뀌면 틀릴 수 있습니다. 기사는 세 가지를 권합니다. 모델, 지시문, 기반 데이터를 바꿀 때마다 과거 실패를 포함한 기존 시나리오로 다시 시험합니다. 운영 중에는 질문과 사용 패턴이 바뀌면서 생기는 성능 drift(시간이 지나며 품질이 조금씩 떨어지는 현상)를 감시합니다. 설계사가 챗봇에 기대기 시작하면 장애도 업무 문제가 되므로 resilience(장애 대응력)도 시험합니다. 정보가 빠졌을 때 그 사실을 표시하는지, 불완전한 답을 확정된 답처럼 보이지 않게 하는지, 직원이 대체 절차로 일을 이어 갈 수 있는지를 봅니다.

Ownership, Trust, Governance: 확산을 정하는 것은 기술 밖에 있다

Ng는 파일럿에서 일상 업무로 넘어가는 일을 보험사의 큰 과제로 꼽고, 그 조건으로 현업 오너십, 직원 신뢰, 정의된 성과, 거버넌스를 들었습니다. 업스킬과 리스킬, 외부 AI 인재 확보도 함께 말했습니다. 성공은 AI 기술만이 아니라 기술, 문화, 역량, 신뢰가 함께 맞아야 한다는 것이 그녀의 설명입니다. Prudential은 싱가포르에 AI Lab도 두었습니다. 싱가포르 경제개발청(EDB)의 2025년 1월 소개에 따르면 이곳의 임무는 생성형 AI·머신러닝 활용 가속, 고객 경험 개선 솔루션 육성, 운영·서비스·상품에 AI 통합입니다. 기사는 이 구조의 과제를 첫 사례의 품질 근거를 이후 반복 배포로 이어 가는 일로 봅니다.

통념과 다른 주장

저자가 든 사례

Prudential 홍콩: 설계사용 AI 언더라이팅 챗봇

• 상황: 설계사가 심사 지침과 고객 제출 서류를 확인하려면 답을 며칠 기다려야 했습니다.
• 한 일: 홍콩에서 설계사에게 심사 지침과 필요 서류를 알려 주는 AI 언더라이팅 챗봇을 열었습니다.
• 결과: Ng에 따르면 며칠 걸리던 답이 몇 분 만에 나옵니다. 최종 심사 결정은 AI에 넘기지 않았습니다. 이용 건수, 정답률, 테스트 방법, 합격 기준, 운영 모니터링은 원문에서 밝히지 않았습니다.
• 연결: Underwriting Guidance Chatbot, Role-scoped Testing, Human Oversight as a Tested Control.

Prudential 설계사 영업: 고객 정보와 행정 업무 지원

• 상황: 설계사는 고객 정보 정리, 미팅 준비, 행정 처리에 시간을 씁니다.
• 한 일: 고객 정보 통합, 니즈 파악, 미팅 준비, 행정 업무 축소에 AI를 쓰고 있습니다. 운영과 건강보험 부문으로도 넓히고 있습니다.
• 결과: 효과를 전환율, 설계사 생산성, 사업 성장으로 추적합니다. 구체적 수치는 원문에서 밝히지 않았습니다.
• 연결: Ownership, Trust, Governance.

기술 디테일: 안내형 언더라이팅 챗봇을 직접 만든다면

아래 필드명, 설정값, 기준은 실행 제안이자 가상 예시이며 Prudential이 밝힌 구현이 아닙니다.

Underwriting Guidance Chatbot을 만들려면 답의 근거를 심사 지침 문서에서만 가져오게 합니다(검색 증강 생성, RAG). 지침 문서는 상품 코드, 버전, 시행일로 나눠 색인하고, 질문 시점에 유효한 버전만 검색합니다. 모델은 자유 서술 대신 아래 같은 구조화 출력(JSON 스키마)으로 답합니다. 서류 하나하나에 근거 조항을 달게 하고, 근거가 없으면 목록에 넣지 않습니다. temperature는 0으로 두고, 시험 단계에서는 같은 질문을 3회 돌려 서류 목록이 달라지는 질문을 따로 모읍니다.

{
  "query_id": "HK-2026-110601",
  "product_code": "가상_CI_PLAN_A",
  "customer_scenario": {"age": 45, "sum_assured": "high", "disclosed_conditions": ["고혈압"]},
  "answer_status": "refer",
  "required_documents": [
    {"name": "건강 진단서", "source": {"doc_id": "UW-GUIDE-12", "section": "4.2", "effective_date": "2026-07-01"}}
  ],
  "missing_info": ["최근 혈압 측정 기록"],
  "needs_underwriter_review": true,
  "general_guidance_only": true,
  "model_version": "guidance-bot-v1.3"
}

answer_status는 세 값만 씁니다. complete는 근거가 다 있는 일반 안내, incomplete는 고객 정보가 모자라 추가 질문이 필요한 경우, refer는 심사역 판단이 필요한 경우입니다. 이 값이 있어야 Role-scoped Testing에서 “모를 때 모른다고 하는가”를 숫자로 잴 수 있습니다.

Role-scoped Testing 세트를 만들려면 상품 × 고객 시나리오 표에서 200건을 뽑습니다. 정보가 모자란 건 20%, 심사역에게 넘겨야 할 건 15% 이상을 넣습니다. 정답은 선임 심사역 2명이 따로 작성하고, 둘이 다르면 심사 책임자가 정합니다. 채점은 0·3·5점으로 합니다. 5점은 서류 목록이 정답과 같고 answer_status도 맞는 경우, 3점은 서류 하나가 더 붙었지만 빠진 것은 없는 경우입니다. 다음 단계를 바꾸는 서류가 하나라도 빠지거나 refer 건을 complete로 답하면 0점입니다. 빠진 서류는 남는 서류보다 무겁게 다룹니다.

Human Oversight를 시험하려면 섀도 운영 기간에 교육용 환경에서 답의 5%에 일부러 오류를 심습니다. 서류 하나 빼기, 시행일이 지난 지침 인용하기, refer 건을 complete로 표시하기 세 가지입니다. 설계사가 오류를 잡아낸 비율과 걸린 시간을 기록하고, 하루 중 바쁜 시간대와 한가한 시간대를 나눠 비교합니다. 모든 답 화면에는 근거 조항으로 가는 링크와 “심사역에게 확인” 버튼을 둡니다.

Pilot to Workflow를 대비하려면 과거 실패 건을 회귀 세트로 쌓고, 지침 문서·지시문·모델 중 하나라도 바뀌면 회귀 세트를 다시 돌린 뒤 배포합니다. 운영 중에는 주 50건을 무작위로 뽑아 심사역이 채점하고, refer 비율과 incomplete 비율의 주간 추세를 봅니다. 지침 저장소나 고객 시스템 연결이 끊기면 챗봇은 추측 답을 내지 않고 answer_status: "unavailable"과 기존 심사 문의 창구를 안내합니다.

막히는 경우	증상	대응
지침 개정 후 옛 버전 인용	시행일이 지난 조항이 근거로 뜸	시행일로 검색 범위 제한, 개정 시 회귀 세트 재실행
매끄럽지만 조건 누락	서류 하나가 빠진 답	0점 처리, 해당 상품 지침 분할 방식 재검토
모르는데 답함	refer 건을 complete로 답함	refer 사례를 시험 세트에 더 넣고 판정 규칙 강화
설계사의 과신	오류 주입 건 적발률 하락	근거 링크 노출 강화, 교육 후 재시험
연결 장애	빈 근거로 답 생성	unavailable 응답과 대체 창구 안내로 전환

현업 실행 디테일: 누가, 언제, 무엇을

역할	맡는 일
영업(agency) 부문장	파일럿 상품과 설계사 그룹 선정, 확대 여부 결정, 현업 오너
심사 책임자	챗봇이 맡을 범위와 refer 기준 확정, 정답 최종 판정
선임 심사역 2명	시험 세트 정답 작성, 주간 표본 채점
설계사 리더 10~20명	섀도 운영 참여, 오류 주입 연습, 현장 질문 수집
AI 엔지니어 1~2명	지침 색인, 구조화 출력, 로그와 대체 응답 구축
QA·리스크·컴플라이언스	시험 설계와 합격 기준 승인, 운영 모니터링 기준 관리

준비물. 파일럿 상품 2~3개의 현행 심사 지침과 개정 이력, 최근 6개월 심사 부서에 들어온 설계사 문의와 답변 원본, 문의별 접수·회신 시각(기준선용), 상품별 필수 서류 목록, 고객 정보 처리 기준이 필요합니다.

기간	할 일	산출물
1~2주	문의 원본으로 응답 시간 기준선 측정, 챗봇 범위와 refer 기준 합의	기준선 표, 범위 정의서
3~4주	시험 세트 200건 정답 작성, 0·3·5점 채점, 지침 색인 보완	상품별 점수표, 실패 유형 목록
5~6주	설계사 10~20명 섀도 운영, 5% 오류 주입 연습	응답 시간 비교, 오류 적발률
7~8주	판정 회의, 확대 상품과 운영 모니터링 기준 확정	진행·보완·중단 결정서

현업에 물을 것.

1. 설계사가 심사 부서에 가장 자주 묻는 질문 10개는 무엇이고, 지금 답까지 며칠이 걸리나요?
2. 답을 기다리는 동안 설계사와 고객은 무엇을 미루나요?
3. 어떤 조건이면 일반 안내로 끝내지 않고 반드시 심사역에게 넘겨야 하나요?
4. 지침이 바뀌면 누가 언제 설계사에게 알리고, 그 사이에 옛 안내가 나간 적이 있나요?
5. 챗봇이 멈추면 설계사는 어느 창구로 돌아가나요?

진행 판정 기준(예시). 시험 세트 평균 4.5점 이상, 0점 비율 2% 이하, refer 건을 refer로 답한 비율 95% 이상이면 실제 운영으로 넘어갑니다. 섀도 운영에서 오류 주입 건 적발률이 70% 미만이면 화면과 교육을 고친 뒤 2주 더 봅니다. 응답 시간이 줄어도 0점 비율이 5%를 넘으면 확대하지 않습니다. 성과 지표(전환율·생산성)는 품질 지표와 같은 보고서에 나란히 올립니다.

AX 적용 제언. 보험사의 설계사·GA 채널, 은행의 여신 심사 문의, 제조사의 영업과 기술 지원 사이처럼 현장이 본부에 규정을 묻고 기다리는 업무라면 출발점은 같습니다. 먼저 문의 원본으로 기다리는 시간을 재고, 그중 규정 문서로 답할 수 있는 몫을 가려냅니다. 첫 범위는 결정이 아닌 안내로 좁히고, 성과 보고서에는 속도 지표와 함께 정확성·완결성, 에스컬레이션 비율을 나란히 둡니다. 확대 판단은 파일럿 상품의 점수가 아니라, 새 상품을 붙였을 때 회귀 시험을 통과하는 데 걸리는 시간으로 합니다. 이 시간이 짧아질수록 다음 상품과 다음 시장으로 넓히는 비용이 줄어듭니다.

원문 사례

항목	내용
원문	QA Financial, Michiel Willems, 2026.11.05
근거 인터뷰	Insurance Asia의 Priscilla Ng(Prudential 그룹 최고AI사업책임자, 홍콩) 인터뷰
적용 부문	설계사 영업(agency), 운영, 건강보험
설계사 지원	고객 정보 통합, 니즈 파악, 미팅 준비, 행정 업무 축소
성과 지표	conversion, adviser productivity, business growth
홍콩 챗봇	설계사에게 심사 지침과 고객 제출 서류 안내, 응답 며칠 → 몇 분, 최종 심사 결정은 AI가 하지 않음
사람의 역할	건강·재무·장기 계획 결정은 사람 중심, 아시아 젊은 성인 응답자 60% 넘게 설계사 상담 선호
싱가포르 AI Lab	EDB 2025년 1월 소개, 생성형 AI·머신러닝 활용 가속, 고객 경험 솔루션 육성, 운영·서비스·상품 통합
확산 조건(Ng)	현업 오너십, 직원 신뢰, 정의된 성과, 거버넌스, 업스킬·리스킬, 외부 AI 인재
기사의 테스트 관점	역할 기준 테스트, 사람 감독 시험(오류 주입), 변경 시 회귀 시험, drift 감시, 장애 대응
미공개	Prudential의 테스트 방법, 합격 기준, 운영 모니터링

핵심 개념

underwriting

보험사가 청약자의 위험을 따져 계약을 받을지, 어떤 조건으로 받을지 정하는 심사입니다.

financial consultant

기사가 챗봇 이용자를 부른 이름으로, 고객을 만나 상품을 설명하고 청약을 준비하는 설계사를 가리킵니다.

agency

전속 설계사 조직을 통한 보험 판매 채널입니다.

escalation

담당자가 판단하기 어려운 건을 더 권한 있는 사람이나 부서로 올리는 절차입니다.

regression test

무언가를 바꾼 뒤 이미 통과했던 시나리오를 다시 돌려 예전 품질이 유지되는지 확인하는 시험입니다.

내 메모

TODO: 내 생각 추가

원문은 QA Financial에 실린 Michiel Willems의 「Prudential’s AI rollout sharpens focus on insurance workflows」(2026.11.05)이며, Priscilla Ng의 발언은 기사가 인용한 Insurance Asia 인터뷰에서 온 것입니다. 요약, 핵심 메커니즘의 원문 설명, 통념과 다른 주장, 사례, 원문 사례 표는 기사 내용을 AX Review가 다시 정리했습니다. 응답 시간 단축과 성과 지표는 회사 측 설명입니다. underwriting, agency, escalation, regression test의 뜻풀이는 일반적인 정의로 보탰습니다. 기술·현업 실행 디테일, JSON 예시, 채점 기준, 막히는 경우 표, 일정과 판정 기준, 인포그래픽은 원문에 없는 내용으로 새로 작성했고 그 안의 필드명과 숫자는 가상 예시입니다. 전체 내용은 원문 페이지에서 볼 수 있습니다.