AI-Powered Call Quality Inspection: AIA가 고객 통화를 밤사이 전수 채점하고 사람은 위험 통화만 보는 방식

AIA Group은 고객 통화 품질검사를 표본 청취에서 야간 전수 채점으로 바꿨습니다. 검사자는 더 이상 위험한 통화를 찾아다니지 않고 AI가 아침에 올려 둔 목록부터 깊게 봅니다. 우리 조직에 옮기려면 평가 기준을 문장으로 적고 AI 점수가 사람 점수와 얼마나 맞는지 재는 보정 절차를 먼저 갖춰야 합니다.

요약

AIA Group(홍콩, 범아시아 생명보험 그룹)이 2026 Gartner Eye on Innovation Awards 보험 부문에 제출해 Greater China 사례집에 소개된 사례입니다. 출발점은 고객 통화 품질검사였습니다. 검사자 한 명이 하루에 들을 수 있는 통화는 10~20통이었고 그렇게 해도 전체 통화의 5% 미만만 검사됐습니다. 결과가 나오기까지 20일이 걸려 위험을 늦게 알았고 고객 신뢰에도 부담이 됐습니다. AIA는 ASR(automatic speech recognition, 음성을 글로 바꾸는 기술), LLM(대규모 언어 모델), 감정 분석, 의도 파악, 위험 표시 기능을 클라우드 위에 묶어 품질검사 플랫폼을 만들었습니다. 이 플랫폼은 하루치 통화를 밤사이 모두 채점합니다. 아침에는 통화별 감점 보고서와 고위험 통화 우선목록이 검사자 앞에 놓입니다.

회사가 보고한 실적은 이렇습니다. 검사 범위는 5% 이하에서 100%로 약 20배 넓어졌고 검토 소요 기간은 20일에서 1일로 줄었습니다. 2024년 9월부터 2025년 12월까지 검토한 통화는 23만 건이 넘습니다. 전체 통화의 2%가 고위험 녹음으로 먼저 걸러졌습니다. AI 점수와 사람 점수의 일치율은 84%에 이르렀고 플랫폼은 3개 이상의 운영 시나리오로 넓어졌습니다. 고위험 통화를 찾는 데 쓰던 시간은 100% 줄었다고 회사는 밝혔습니다. 검사자의 시간이 찾는 일에서 판단하는 일로 옮겨 갔습니다. 한 임원은 이 변화를 짧게 요약했습니다. “100% of calls assessed overnight, every day.” 아래에서는 이 결과를 만든 네 가지 구현 메커니즘을 나누어 보고 같은 방식을 국내 제조 기업의 고객센터·서비스 통화에 옮기는 기술·현업 디테일을 붙였습니다.

핵심 메커니즘

Overnight Batch Scoring: 하루치 통화를 밤사이 한 번에 채점

무엇인가: 실시간 모니터링 대신 하루 단위로 모든 통화를 모아 밤사이 일괄 채점하는 방식입니다. 어떻게 작동하나: 전날 녹음 파일이 쌓이면 ASR이 전사문을 만들고 LLM이 평가 항목별로 점수를 매기며 감정·의도 분석이 통화의 분위기와 고객의 목적을 태깅합니다. 결과는 아침 업무 시작 전에 정리됩니다. 언제 쓰나: 통화 직후 개입보다 다음 날 검토와 코칭이 목적일 때 맞습니다. 실시간 상담 보조가 목적이라면 구조가 달라집니다. 사례집에서 AIA는 이 구조로 검토 주기를 20일에서 1일로 줄였다고 보고했습니다. 작은 예시(가상 예시): 하루 3,000통이 들어오는 서비스센터라면 밤 11시에 일괄 작업을 시작해 새벽 5시 전에 끝내도록 처리량을 잡습니다.

Deduction Report: 점수보다 감점 사유를 먼저 보여 주는 보고서

무엇인가: 통화마다 어느 평가 항목에서 몇 점이 깎였고 근거가 된 발화가 어디인지를 적은 보고서입니다. 어떻게 작동하나: 평가 항목을 질문 형태로 정의하고 LLM이 항목마다 충족 여부와 근거 구간을 돌려주면 시스템이 감점과 사유를 묶어 기록합니다. 검사자는 녹음을 처음부터 듣지 않고 근거 구간으로 바로 갑니다. 언제 쓰나: 사람이 AI 판단을 확인하고 상담원에게 구체적인 코칭을 해야 할 때 필요합니다. 총점만 있으면 검사자가 다시 전부 들어야 합니다. 사례집에는 AIA가 감점 보고서를 생성한다는 사실까지만 나옵니다. 항목 구성은 공개되지 않았습니다. 평가 항목을 바꿔 끼우면 같은 플랫폼을 다른 업무에 쓸 수 있습니다. AIA가 3개 이상의 운영 시나리오로 넓힌 것도 이 구조와 맞닿아 있습니다. 시나리오별 이름은 사례집에 나오지 않습니다.

Risk Flagging: 고위험 통화를 위로 올리는 우선목록

무엇인가: 채점 결과와 감정·의도 신호를 합쳐 통화마다 위험 등급을 매기고 사람이 먼저 볼 순서로 정렬하는 기능입니다. 어떻게 작동하나: 큰 감점, 강한 부정 감정, 민원이나 해지 같은 의도가 겹친 통화가 목록 위로 갑니다. 검사자는 아침에 이 목록 위에서부터 내려가며 심층 검토합니다. 언제 쓰나: 전수 채점을 해도 사람이 볼 수 있는 양은 그대로이므로, 무엇을 먼저 볼지 정하는 장치가 있어야 전수 채점이 실제 조치로 이어집니다. 사례집에 따르면 AIA는 전체 통화의 2%를 고위험 녹음으로 먼저 찾아냈고 고위험 통화를 찾는 시간은 100% 줄었습니다. 위험 신호의 세부 구성은 공개되지 않았습니다.

Human-AI Calibration: AI 점수를 사람 점수에 맞춰 가는 보정

무엇인가: 같은 통화를 AI와 사람이 각각 채점해 얼마나 맞는지 재고 어긋나는 항목의 기준을 고쳐 가는 절차입니다. 어떻게 작동하나: 검사자가 우선목록과 무작위 표본을 함께 검토하며 점수를 남기면, 두 점수의 차이가 큰 항목이 드러납니다. 그 항목의 평가 문장이나 예시를 고치고 다시 채점합니다. 언제 쓰나: AI 점수를 상담원 평가나 코칭에 쓰기 전에 반드시 거쳐야 합니다. 일치율을 모른 채 쓰면 검사자와 상담원 모두 결과를 믿지 않습니다. AIA는 AI와 사람의 점수 일치율 84%를 보고했습니다. 일치를 어떻게 판정했는지(총점 기준인지 항목 기준인지)는 사례집에 없습니다.

통념과 다른 주장

사례 재구성

AIA Group 고객 통화 전수 품질검사

구분	내용
상황	검사자당 하루 10~20통, 전체 통화의 5% 미만만 검사. 결과까지 20일이 걸려 위험 인지와 고객 신뢰에 부담
한 일	LLM·ASR·클라우드·감정 분석·의도 이해·위험 표시로 품질검사 플랫폼 구축. 밤사이 전 통화 채점, 감점 보고서와 아침 고위험 우선목록 제공
결과	검사 100%(약 20배), 검토 20일 → 1일, 2024.9~2025.12 통화 23만 건 이상 검토, 고위험 2%, AI·사람 점수 일치 84%, 3개 이상 운영 시나리오로 확대
연결	Overnight Batch Scoring → 검토 주기 단축, Risk Flagging → 고위험 2% 선별, Human-AI Calibration → 일치율 84%

공개 자료로 확인한 맥락도 있습니다. Microsoft 고객 사례(벤더 발표, 2025년 1월)에 따르면 AIA는 2020년부터 3년 전환 과정에서 콜센터에 Dynamics 365 Customer Service를 도입했습니다. 2024년에는 싱가포르와 태국 콜센터에 Copilot을 넣어 상담 요약과 이메일 초안 작성에 썼습니다. AIA 태국에서는 상담 요약으로 후처리 시간이 50% 가까이 줄었다고 같은 자료가 밝혔습니다. 같은 자료는 AIA가 책임 있는 AI 사용 기준과 그룹 단위 AI Council을 두고 AI 위험을 관리한다고 적었습니다. 이 Copilot 도입은 이번 품질검사 플랫폼과 별개 사업입니다. 품질검사 플랫폼 자체를 다룬 회사 공식 자료는 찾지 못했습니다.

기술 디테일: 통화 전수 채점을 실제로 돌리려면

아래는 AIA 사례의 메커니즘을 우리 환경에서 처음 돌릴 때 필요한 것입니다. 필드명, 설정값, 기준값은 모두 가상 예시입니다.

Overnight Batch Scoring을 돌리려면 전사 품질부터 확인합니다. 상담원과 고객을 구분하는 화자 분리(diarization)가 틀리면 “본인 확인을 했나” 같은 항목이 통째로 틀립니다. 파일럿 첫 주에 통화 50건을 사람이 직접 받아 적은 전사문과 비교해 단어 오류율과 화자 구분 오류를 잽니다. 상품명, 특약명, 모델명 같은 고유어는 ASR 사용자 사전에 넣습니다. 배치는 통화 단위로 쪼개 병렬 처리하고 실패한 통화는 다음 배치에 다시 넣되 2회 연속 실패하면 사람 검토 목록으로 보냅니다.

Deduction Report를 만들려면 평가 항목을 예/아니오로 답할 수 있는 질문 문장으로 씁니다. LLM에는 전사문 전체와 항목 하나씩을 넣고 구조화 출력(JSON)으로 item_id, met(true/false), score, deduction, evidence_ms(근거 발화의 시작 시각), reason을 받습니다. 근거 시각이 없는 감점은 저장하지 않고 재호출합니다. temperature는 0으로 두고 같은 통화를 3회 채점해 항목 판정이 갈리는 비율을 봅니다. 갈리는 항목은 평가 문장이 모호하다는 신호입니다.

Risk Flagging을 정하려면 위험 점수를 한 가지 신호에 기대지 않습니다. 예를 들어 필수 항목 감점, 고객 부정 감정의 강도, 민원·해지·금전 요구 같은 의도 태그를 각각 0~1로 만들고 가중합으로 risk_level을 정합니다. 가중치는 처음에는 품질팀이 정하고 4주 동안 검사자가 실제로 문제 삼은 통화와 대조해 조정합니다. 목록 길이는 검사자가 하루에 깊게 볼 수 있는 양에 맞춥니다. AIA의 고위험 2%는 하나의 참고점일 뿐이며 업무마다 다릅니다.

Human-AI Calibration을 돌리려면 매주 우선목록 상위 50건과 무작위 표본 50건을 사람이 다시 채점하게 합니다. 무작위 표본이 없으면 AI가 놓친 위험을 영영 모릅니다. 검사자의 점수와 동의 여부는 reviewer_score, agree, note로 남겨 다음 주 기준 수정에 씁니다. 일치율은 총점 기준과 항목 기준을 따로 계산합니다. 총점은 맞아도 항목이 엇갈리면 코칭 내용이 틀어지기 때문입니다.

실패하는 경우와 대응. 사투리, 소음, 통화 중 다른 언어 전환이 많은 녹음은 전사 신뢰도 점수가 낮게 나오므로 채점 대신 사람 검토로 돌립니다. 개인정보는 전사문 단계에서 주민번호, 카드번호, 계좌번호 패턴을 가린 뒤 LLM에 넣고 원본 음성 접근 권한은 검사자로 한정합니다. 모델이나 프롬프트를 바꿀 때는 지난달 보정 표본으로 다시 채점해 일치율이 떨어지지 않는지 먼저 확인합니다.

현업 실행 디테일: 누가, 언제, 무엇을

국내 제조 기업에도 같은 구조가 들어갈 자리가 있습니다. 가전·자동차 고객센터 상담, 서비스 기사 방문 예약 통화, B2B 영업·기술 지원 통화가 대표적입니다. 아래 역할과 일정은 이런 조직을 가정한 가상 예시입니다.

역할	담당	하는 일
업무 책임자	고객센터장 또는 CS 품질팀장	평가 기준 확정, 위험 통화 처리 규칙 승인
품질 검사자	기존 QA 인력 2~3명	보정 표본 채점, 아침 목록 검토, 상담원 코칭
AX 추진	AX 조직 PM	일정·지표 관리, 경영진 보고
엔지니어	데이터·AI 엔지니어 1~2명	ASR·LLM 파이프라인, 결과 화면
준법·보안	법무, 개인정보 담당	녹취 이용 범위, 가림 처리, 보관 기간 검토

시작 전 준비물. 최근 3개월 녹취 샘플과 통화 메타데이터(상담원, 유형, 시간), 현재 품질 평가표와 기존 채점 결과, 녹취 이용에 관한 고객 고지 문구와 내부 규정, 상품·모델 고유어 목록을 모읍니다.

1주차 할 일. 품질팀장과 검사자가 현재 평가표를 항목별로 읽으며 “이 항목을 신입에게 설명할 때 무엇을 들으라고 하나”를 문장으로 적습니다. 엔지니어는 녹취 50건으로 전사 품질을 잽니다. 법무는 녹취를 AI 분석에 쓰는 범위를 확인합니다. 1주차 산출물은 질문형 평가 항목 초안, 전사 품질 측정표, 준법 검토 메모 세 가지입니다.

검토 회의 질문. 지금 놓치는 위험 통화는 어떤 유형인가? 감점 사유 중 상담원 코칭에 실제로 쓰는 것은 무엇인가? 위험 통화를 발견하면 누가 몇 시간 안에 무엇을 하나? AI가 틀렸을 때 상담원은 어디에 이의를 제기하나?

위험 통화 처리 규칙(가상 예시). 고위험으로 올라온 통화는 당일 오전 중 검사자가 확인하고 문제가 맞으면 24시간 안에 상담원 코칭이나 고객 재연락을 합니다. 처리 결과는 같은 화면에 남겨 다음 보정에 씁니다.

진행 판정 기준(가상 예시). 9주차 보정에서 항목 기준 일치율이 80% 이상이고 우선목록 상위 통화 중 검사자가 실제로 문제 삼은 비율이 절반 이상이면 아침 목록 운영으로 넘어갑니다. 못 미치면 일치율이 낮은 항목의 문장을 고쳐 3주 더 보정합니다. 상담원 인사 평가에는 일치율이 안정될 때까지 AI 점수를 쓰지 않습니다.

AX 적용 제언입니다. 이 사례는 “사람이 다 볼 수 없어서 일부만 보던 검사”라면 어디든 옮길 수 있습니다. 제조 기업이라면 고객센터 통화에서 시작해, 같은 감점 보고서와 우선목록 구조를 서비스 기사 작업 보고서, 품질 클레임 접수 기록, 협력사 점검 일지 같은 문서 전수 검토로 넓히는 순서가 현실적입니다. 경영진에게 보고할 지표는 인력 절감보다 검사 범위, 검토 주기, 위험 통화 발견 후 조치까지 걸린 시간, AI·사람 일치율 네 가지로 잡는 편이 AIA 사례의 논리와 맞습니다.

원문 사례

항목	내용
회사	AIA Group Limited(홍콩), 보험
출처	Gartner 2026 Eye on Innovation Awards 보험 부문 제출 사례, Greater China 사례집 슬라이드 45
문제	검사자당 하루 10~20통, 전체 5% 미만 검사, 20일 지연
기술	GenAI, LLM, ASR, 클라우드, 감정 분석, 의도 이해, 위험 표시
작동	밤사이 전 통화 채점, 감점 보고서 생성, 아침 고위험 우선목록
성과(회사 보고 실적)	검사 100%(약 20배), 20일 → 1일, 2024.9~2025.12 23만 건 이상, 고위험 2%, AI·사람 일치 84%, 3개 이상 시나리오, 고위험 통화 탐색 시간 100% 감소
임원 발언	업계 수작업 검사 평균 2.5%와 대비해 매일 밤 전수 평가 강조
공개 자료 맥락	Microsoft 고객 사례(벤더 발표, 2025.1): 콜센터 Dynamics 365 도입(2020~), 싱가포르·태국 Copilot(2024), 태국 후처리 시간 약 50% 감소, AI Council 운영

핵심 개념

ASR

automatic speech recognition. 통화 음성을 글로 바꾸는 기술.

화자 분리(diarization)

전사문에서 누가 말했는지(상담원, 고객)를 나누는 처리.

감정 분석(sentiment analysis)

발화의 긍정·부정 정도를 판별하는 분석.

의도 이해(intent understanding)

고객이 통화한 목적(문의, 민원, 해지 등)을 분류하는 분석.

구조화 출력

LLM이 자유 문장 대신 정해진 필드의 JSON으로 답하게 하는 방식.

일치율(alignment)

같은 통화에 대한 AI 점수와 사람 점수가 맞는 비율.

내 메모

TODO: 내 생각 추가

근거: 사용자가 제공한 Gartner 2026 Eye on Innovation Awards Greater China 사례 자료(AIA Group, 슬라이드 45, 보험 부문 제출 사례)와 확인한 공개 자료 Microsoft 고객 사례: AIA Group, Dynamics 365 Customer Service(벤더 발표, 2025.1.22). 링크는 Gartner Eye on Innovation 보험 부문 페이지이며 수상 여부는 공개 자료로 확인하지 못했습니다. 품질검사 플랫폼 자체를 다룬 회사 공식 자료는 찾지 못해 해당 내용은 사례집 기준입니다. 요약·메커니즘·사례는 사례집과 공개 자료를 AX Review가 다시 정리했고 기술·현업 디테일, 필드명, 판정표, 일정, 인포그래픽은 새로 작성했으며 그 값은 가상 예시입니다.