AI Wants to Please You: Allianz 청구 조직이 AI에 맡기는 일과 손해사정사가 끝까지 지는 책임

청구 업무에서 AI가 맡는 일은 결정 앞뒤의 준비와 실행이고 결정과 그 책임은 손해사정사에게 남습니다. 이 원칙을 실제로 돌리려면 AI 결과마다 원본 근거를 붙이고 사람이 추천을 받아들이거나 거부한 이유를 남기고 AI가 질문자의 기대에 끌려가는지 정기적으로 시험해야 합니다.

요약

Insurance Business의 Branislav Urosevic 기자가 Allianz 북미 청구 책임자 Melissa Hill의 이야기를 정리한 기사입니다. Hill은 Allianz 청구 조직이 AI를 쓰는 곳으로 네 가지를 듭니다. 전자 사고 접수(FNOL, first notice of loss: 사고를 처음 알리는 신고), 청구 건 등록, 문서와 의료기록 요약, 승인이 끝난 건의 지급 자동화입니다. 모두 손해사정사(adjuster, 청구를 조사해 지급 여부와 금액을 정하는 담당자)가 판단 전후에 처리하던 행정 작업입니다. AI가 이 일을 덜어 주면 손해사정사는 결정을 내리고 청구를 앞으로 진행하는 데 시간을 씁니다. AI가 만든 결과와 그 바탕이 된 문서를 확인하는 책임은 여전히 손해사정사에게 있습니다.

Hill이 선을 긋는 데는 이유가 있습니다. 캐나다와 미국의 청구 업무는 규제가 촘촘하고 보험사를 대신해 내린 결정의 책임은 손해사정사 개인이 집니다. AI가 평가를 거들어도 잘못됐을 때 책임질 사람은 바뀌지 않습니다. AI는 처리 도중 환각(hallucination, 근거 없는 내용을 사실처럼 만들어 내는 현상)을 일으키고 자동 정산이 겉보기에 성공해도 지급액이 틀릴 수 있습니다. 그래서 업계 일부가 검토하는 처음부터 끝까지의 완전 자동 처리를 Hill은 너무 위험하다고 봅니다. 여기에 AI가 사용자가 원하는 답 쪽으로 기우는 경향까지 있어, AI를 반복해서 시험하고 반박해야 하며 손해사정사는 추천을 받아들이거나 거부한 이유를 설명할 수 있어야 합니다. 아래에서는 이 원칙을 시스템 설계와 현업 운영으로 풀어 봅니다.

핵심 메커니즘

Accountable Adjuster: AI는 준비하고 손해사정사가 결정한다

무엇인가. 청구 결정과 그 결과의 책임을 사람에게 고정해 두는 운영 원칙입니다. Hill은 결정에 결함이 있으면 그 탓은 AI가 아니라 최종 결정을 내린 사람에게 돌아간다고 말합니다.

어떻게 작동하나. AI가 접수 내용, 서류, 의료기록을 읽고 요약을 만듭니다. 손해사정사는 그 요약을 원본 문서와 대조하고 지급 여부와 금액을 정합니다. 결정이 승인되면 지급은 다시 자동으로 처리됩니다. 사람의 판단이 두 자동화 구간 사이에 끼어 있는 구조입니다.

언제 쓰나. 규제가 결정 책임자를 개인으로 정해 둔 업무, 지급처럼 되돌리기 어려운 업무에 맞습니다. 서류는 많고 결정은 한 사람이 서명하는 일이라면 보험 밖에서도 같은 구조가 통합니다.

작은 예시(가상). 자동차 대인 청구 1건에서 AI가 진단서 3장과 진료비 영수증을 요약하고 항목마다 원본 페이지를 붙입니다. 손해사정사는 그 페이지를 열어 확인한 뒤 지급액을 정하고 승인 후 지급은 시스템이 처리합니다.

Sycophancy: AI가 듣고 싶은 답을 내놓는 경향

무엇인가. 모델이 입력을 반박하지 않고 질문자가 바라는 것처럼 보이는 답을 내놓는 경향입니다. 기사 제목은 Hill의 이 지적에서 왔습니다.

어떻게 작동하나. 예를 들어(가상) 손해사정사가 “과장된 청구 같은데 요약해 줘”라고 요청하면 요약은 과장 쪽 근거를 앞에 세우기 쉽습니다. 반대로 물으면 반대 근거가 앞에 섭니다. 같은 서류인데도 질문의 틀이 결론을 끌고 가는 셈입니다.

어떻게 다루나. Hill의 처방은 두 가지입니다. AI를 여러 번 시험하고 반박해 볼 것, 그리고 손해사정사가 AI 추천을 받아들이거나 거부한 이유를 설명할 수 있을 것. 검증이 더해지면 처음에는 일이 느려집니다. Hill은 도입이 넓어질수록 이 과정이 필요하다며 천천히 가야 빨리 간다고 말합니다.

특히 조심할 때. 손해사정사가 이미 결론을 정해 두고 AI에게 확인을 구할 때 위험이 가장 큽니다. AI가 그 결론을 되돌려 주면 확인한 것처럼 보이기 때문입니다.

Context Blindness: 숫자의 크기를 사건의 무게로 읽는다

무엇인가. AI가 수치나 진술에 무게를 두면서 그 맥락은 이해하지 못해 생기는 오판입니다.

원문의 예. Hill이 든 예는 가치가 1만 달러인 청구에 상대방이 1,000만 달러 합의를 요구하는 경우입니다. AI는 이 요구를 큰 노출(exposure, 보험사가 질 수 있는 잠재 손실)로 보고 상위 보고(escalation)를 권할 수 있습니다. 경험 많은 손해사정사는 그 요구가 부풀려졌고 사건의 심각도를 재는 척도가 아니라는 것을 압니다.

어떻게 다루나. 요구액과 평가액을 같은 칸에 두지 않는 것이 출발점입니다. 요구액은 협상 정보로 보여 주되, 심각도나 상위 보고 판단의 입력으로는 쓰지 않게 설계합니다(아래 기술 디테일).

Unintended Bias: 그럴듯한 지표가 숨은 사정을 놓친다

무엇인가. 관련 있어 보이는 데이터를 쓰되 그 데이터 뒤의 사정을 고려하지 않아, 아무도 의도하지 않은 편향이 생기는 현상입니다.

원문의 예. Hill은 공개 보도된 사례를 듭니다. 한 고용주가 해고 대상을 고르는 데 AI를 썼고 시스템은 직원의 키 입력량과 일정표 밀도 같은 요소를 따졌습니다. 의료상 장애가 이 수치를 어떻게 바꾸는지는 반영하지 않았고 그 결과 의료 휴직 중인 직원이 해고 대상으로 더 많이 표시됐습니다. Hill은 고용주의 의도는 좋았지만 아무도 결과를 검토하지 않았다고 짚습니다. 시스템 결과가 그대로 결정에 쓰였다는 주장이 나왔고 이 건은 집단소송이 진행 중입니다.

청구에 주는 교훈. 보험사도 AI가 무엇에서 결론을 끌어내는지 모를 수 있습니다. 그래서 검토자가 AI가 쓰는 정보를 이해하고 따져 물어야 합니다. 예를 들어(가상) 서류 제출이 늦은 청구인을 의심 신호로 읽는 모델은 입원 중인 청구인을 불리하게 다룰 수 있습니다.

No Full Automation: 처음부터 끝까지는 자동화하지 않는다

무엇인가. 자동화 범위를 결정 앞뒤로 한정하고 결정 자체는 사람에게 남기는 범위 설정입니다.

왜 그렇게 하나. 업계 일부는 청구를 처음부터 끝까지 자동으로 처리하는 방안을 살펴보고 있습니다. Hill은 청구가 복잡하고 AI에 한계가 있어 위험이 너무 크다고 봅니다. 자동 정산이 성공한 것처럼 보여도 금액이 틀릴 수 있기 때문입니다. 지급 자동화도 승인이 끝난 건에만 씁니다.

사람이 남는 또 하나의 이유. 청구는 사람이 힘든 순간을 지날 때 생깁니다. Hill은 비극을 겪은 사람은 로봇을 원하지 않는다고 말합니다. 결정뿐 아니라 응대에도 사람의 자리가 있다는 뜻입니다.

Coverage Check: 내 보험이 AI가 낀 사고를 보상하는지 확인한다

무엇인가. 보험을 사는 기업 쪽에 Hill이 건넨 조언입니다. 많은 약관이 AI를 명시적으로 다루지 않고 일부에는 AI 관련 위험을 넓게 빼는 특약(endorsement)이 붙어 있습니다.

어떻게 하나. 리스크 매니저는 브로커와 함께 보장 범위를 다시 보고 AI 관련 면책 조항이나 특약이 붙었는지 확인해야 합니다. Hill이 경고하는 상황은 운영 전체가 멈췄는데 그 일부에 AI가 관여한 경우입니다. 이때 보상이 적용되지 않을 수 있습니다.

통념과 다른 주장

저자가 든 사례

Allianz 북미 청구: 결정 앞뒤의 행정 작업을 AI로

구분	내용
상황	캐나다·미국의 청구 업무는 규제가 촘촘하고 결정 책임은 손해사정사 개인에게 있음
한 일	전자 FNOL 접수, 청구 등록, 문서·의료기록 요약, 승인 후 지급 자동화에 AI 사용. 완전 자동화는 하지 않음
결과	손해사정사가 결정과 청구 진행에 집중. 처리량·시간 수치는 원문에서 밝히지 않음
연결	Accountable Adjuster, No Full Automation

1,000만 달러 요구가 붙은 1만 달러 청구

구분	내용
상황	가치 1만 달러인 청구에 상대방이 1,000만 달러 합의를 요구 (Hill이 든 예)
한 일	AI는 이를 큰 노출로 보고 상위 보고를 권할 수 있음
결과	경험 많은 손해사정사는 부풀린 요구로 보고 심각도와 구분
연결	Context Blindness

해고 대상 선정 AI: 아무도 결과를 검토하지 않았다

구분	내용
상황	한 고용주가 해고 대상 선정에 AI를 씀 (공개 보도 사례, 회사명은 원문에서 밝히지 않음)
한 일	키 입력량, 일정표 밀도 같은 요소로 판단. 의료상 장애의 영향은 반영하지 않음
결과	의료 휴직자가 해고 대상으로 더 많이 표시됨. 결과가 그대로 쓰였다는 주장이 나왔고 집단소송 진행 중
연결	Unintended Bias

기술 디테일: 사람이 책임지는 청구 AI를 시스템으로 만들려면

아래는 실제로 돌릴 때 필요한 설계를 새로 정리한 것으로, 필드명·설정값·기준은 모두 가상 예시입니다.

요약에 원본 근거를 붙이려면(Accountable Adjuster). 손해사정사가 원본과 대조하려면 요약 문장마다 어느 문서 몇 쪽에서 왔는지가 붙어 있어야 합니다. 요약은 자유 문장이 아니라 구조화 출력(JSON)으로 받고 근거 필드가 빈 항목은 검증기가 되돌립니다. 모델이 모르는 내용을 채우지 않도록 not_found 칸을 따로 두어 “찾지 못함”을 정상 답으로 만듭니다. 요약 호출은 문서 묶음 단위로 하고 temperature는 0~0.2로 낮춥니다.

{
  "claim_id": "C-2026-01842",
  "findings": [
    {"text": "우측 손목 골절 진단", "doc_id": "MR-003", "doc_type": "medical_record", "page": 4},
    {"text": "진료비 합계 청구", "doc_id": "RC-011", "doc_type": "receipt", "page": 1}
  ],
  "open_questions": ["사고일과 첫 진료일 사이 9일 간격"],
  "not_found": ["기왕증 기록"]
}

품질은 표본 검수로 봅니다. 문서 유형별로 주 50건을 뽑아 원본과 맞지 않는 finding 비율을 재고 2%를 넘는 유형은 자동 요약을 멈추고 원인을 봅니다.

맞춰 주는 경향을 시험하려면(Sycophancy). 같은 청구 파일을 세 가지 질문 틀로 묻습니다. 중립, 지급 쪽 유도, 거절 쪽 유도입니다. 틀마다 5회씩, 한 건에 15회 호출합니다. 추천 결론(상위 보고 여부, 지급 권고 범위)이 틀에 따라 바뀌는 비율을 flip rate(뒤집힘 비율)로 기록하고 10%를 넘으면 그 프롬프트나 모델을 운영에서 뺍니다. 반박 시험도 함께 돌립니다. 모델 결론에 근거 없이 “반대로 보이는데”라고 반박했을 때 결론을 바꾸는 비율을 잽니다. 운영에서는 손해사정사의 의견을 AI 입력에서 빼고 중립 템플릿만 허용합니다. 같은 요약을 다른 계열 모델로 한 번 더 만들어 결론이 갈리는 건만 사람에게 표시하는 교차 검증도 쓸 만합니다.

수용·거부 이유를 남기려면(Accountable Adjuster, Sycophancy). Hill의 기준은 받아들일 때와 거부할 때 모두 이유를 설명할 수 있어야 한다는 것입니다. 결정 로그에 recommendation_id, ai_recommendation, adjuster_action(accept·modify·reject), reason_code(원본과 불일치, 맥락 누락, 약관 조항, 기타), reason_text(한 문장 이상 필수), evidence_refs, decided_by, decided_at를 남깁니다. 수용할 때도 reason_text를 비워 둘 수 없게 합니다. 쌓인 reject와 modify 기록은 프롬프트와 모델을 고칠 데이터가 됩니다.

숫자의 맥락을 넣으려면(Context Blindness). claimant_demand(상대방 요구액), assessed_value(평가액), reserve(준비금)를 다른 필드로 둡니다. 상위 보고 규칙은 평가액과 손해 내용으로만 계산하고 요구액은 정보로만 보여 줍니다. 요구액을 평가액으로 나눈 값이 100을 넘으면 “요구액이 평가액보다 매우 큼”이라는 표시를 손해사정사에게 띄웁니다. Hill의 예라면 이 값은 1,000입니다.

숨은 편향을 잡으려면(Unintended Bias). 모델이 쓰는 입력 변수 목록을 만들고 변수마다 “이 값이 나쁘게 나올 수 있는 정당한 사정” 칸을 현업이 채웁니다(입원, 장애, 재난 지역 등). 분기마다 결과를 입원 여부, 연령대, 지역별로 나눠 상위 보고·감액·지연 비율을 비교하고 차이가 크면 법무와 함께 원인을 봅니다.

지급 자동화에 문을 두려면(No Full Automation). 자동 지급은 세 조건을 모두 통과한 건만 실행합니다. 상태가 approved일 것, 승인자 ID가 사람일 것, 지급액이 승인액과 같을 것. 수취인 계좌가 바뀐 건은 자동 지급에서 빼고 사람에게 돌립니다.

실패	증상	대응
환각	원본에 없는 진단·금액이 요약에 등장	근거 필드 검증, 표본 검수 2% 기준
맞춰 주기	질문 틀에 따라 결론이 바뀜	프레이밍 시험, 중립 템플릿 강제
맥락 누락	부풀린 요구액으로 상위 보고 권고	요구액·평가액 필드 분리
숨은 편향	특정 집단의 지연·감액 비율이 높음	변수 감사, 분기별 집단 비교
금액 오류	자동 지급액이 승인액과 다름	지급 전 금액 일치 확인

현업 실행 디테일: 누가, 언제, 무엇을

아래 역할·일정·판정 기준은 이 원칙을 시범 운영할 때를 가정해 새로 짠 예시입니다.

역할	하는 일
청구 책임자	AI에 맡길 작업과 사람이 지킬 결정의 경계를 문서로 정함
손해사정사	AI 요약을 원본과 대조하고 결정, 수용·거부 이유 기록
청구 품질 담당	주간 표본 검수, flip rate와 불일치 비율 집계
AI·데이터팀	요약 스키마, 검증기, 프레이밍 시험, 결정 로그 구축
컴플라이언스·법무	규제상 책임 소재 확인, 분기별 편향 점검 검토
리스크관리(보험 구매)	자사 약관의 AI 면책·특약을 브로커와 점검

시작 전 준비물. 결정과 지급액이 확정된 최근 청구 200건(정답셋), 문서 유형 목록, 현행 상위 보고 기준표, 자사 보험 약관과 특약 목록을 모읍니다.

기간	할 일	산출물
1주	범위 확정, 정답셋 200건 정리	경계 문서, 정답셋
2주	요약 스키마와 근거 검증기 시험	문서 유형별 불일치 비율
3주	프레이밍 시험과 반박 시험	flip rate 표
4~5주	섀도 운영(AI 결과는 참고만), 결정 로그 기록, 편향 점검과 지급 게이트 시험	결정 로그, 집단 비교표
6주	판정 회의	확대·보류 결정

손해사정사에게 물을 질문. 이 요약에서 원본을 다시 열어 본 항목은 무엇인가? AI 추천을 거부한 건은 어떤 이유였나? 질문을 바꿨더니 AI 결론이 달라진 적이 있나? 요구액이나 진술 하나가 AI 판단을 끌고 간 건이 있었나?

진행 판정 기준(예시). 요약 finding 불일치 2% 이하, flip rate 10% 이하, 결정 로그 이유 기재율 100%, 시험 기간 지급 금액 불일치 0건. 넷을 모두 넘으면 해당 문서 유형부터 넓히고 하나라도 못 넘으면 그 구간만 사람 처리로 되돌립니다.

어디에 먼저 쓸까. 국내 손해보험사의 자동차 대인·장기 보험 보상처럼 의료 서류가 많고 결정 책임이 담당자에게 있는 업무가 첫 후보입니다. 같은 구조는 보험 밖에서도 통합니다. 구매 승인, 여신 심사, 고객 클레임 처리처럼 서류를 읽고 한 사람이 서명하는 일이라면 결정권은 옮기지 않고 앞뒤 작업만 넘기면 됩니다. 순서는 근거 붙은 요약, 결정 로그, 승인 건 실행 자동화입니다. 결정 로그가 쌓이기 전에 실행 자동화로 가지 않습니다. 함께 할 일도 있습니다. 리스크관리 부서는 다음 보험 갱신 전에 AI 관련 면책과 특약을 브로커와 점검해, 자사 AI 도입이 보상 공백을 만들지 않는지 확인합니다.

원문 사례

항목	내용
원문	Insurance Business(캐나다판) 청구 섹션, Branislav Urosevic, 2026년 11월 9일
화자	Melissa Hill, Allianz 북미 청구 책임자
AI 사용처	전자 FNOL 접수, 청구 등록, 문서·의료기록 요약, 승인 후 지급 자동화
원칙	사람이 항상 책임지고 AI는 결정하지 않음, 완전 자동화 안 함
위험	환각, 지급액 오류, 사용자 기대에 맞추는 경향, 맥락 없는 수치 해석, 의도치 않은 편향
운영	반복 시험과 반박, 수용·거부 이유 설명, 초기 속도 저하 감수
예	1만 달러 청구에 1,000만 달러 요구, 해고 대상 선정 AI(집단소송 진행 중)
조언	리스크 매니저는 약관의 AI 면책·특약을 브로커와 점검
수치	처리량·시간·비용 효과는 원문에서 밝히지 않음

핵심 개념

FNOL

First notice of loss. 계약자가 사고를 처음 알리는 신고로, 청구 처리의 출발점입니다.

Adjuster

손해사정사. 청구를 조사해 보상 여부와 금액을 정하고 그 결정에 책임을 지는 사람입니다.

Exposure

보험사가 한 건에서 질 수 있는 잠재 손실의 크기입니다.

Escalation

상위 보고. 금액이나 위험이 큰 건을 상급자나 전담 조직으로 올리는 것입니다.

Endorsement

특약. 기본 약관에 붙여 보장 범위를 넓히거나 빼는 조항입니다.

Class action

집단소송. 같은 피해를 입은 여러 사람을 대표해 제기하는 소송입니다.

내 메모

TODO: 내 생각 추가

원문은 Insurance Business 「AI wants to please you, and that’s a problem for claims, Allianz exec warns」(Branislav Urosevic, 2026.11.9)입니다. 요약, 핵심 메커니즘의 원문 내용, 통념과 다른 주장, 저자가 든 사례는 원문에 실린 Melissa Hill의 설명을 AX Partners가 다시 정리했습니다. 해고 대상 선정 AI 사례는 원문이 공개 보도를 인용한 것을 옮겼습니다. 기술 디테일의 스키마·설정값·기준, 현업 실행 디테일의 역할·일정·판정 기준, 적용 제언, 인포그래픽과 표는 실제로 돌릴 때 필요한 것을 새로 작성한 가상 예시입니다. 전체 내용은 원문에서 볼 수 있습니다.