Agentic AI Fraud Support: Lloyds가 실사건 1만 600건으로 다듬은 사기 조사 에이전트

Lloyds는 사기 조사를 모델 하나에 맡기지 않았습니다. 단계를 나눠 전문 에이전트에게 주고 중앙 조정 시스템이 순서를 이끌게 했으며 결정은 사람 전문가가 내립니다. 정확도 90%는 출시 전 시험에서 나온 숫자가 아닙니다. 실제 사건에 붙여 둔 채 끝난 사건과 대조하며 90일 동안 7번 고친 결과입니다. 따라 하려면 에이전트보다 먼저 끝난 사건의 판정을 정답지로 쓰는 채점 장치와 직원의 번복 기록부터 깔아야 합니다.

요약

Lloyds Banking Group은 2026년 10월 26일 보도자료에서 직불카드 사기 의심 건 조사를 돕는 agentic AI(스스로 여러 단계를 밟아 일을 처리하는 AI) 플랫폼을 넓힌다고 밝혔습니다. EuropaWire는 이튿날 같은 내용을 실었습니다. 이 플랫폼에서는 전문 에이전트 여러 개가 조사의 서로 다른 부분을 맡습니다. 중앙 조정 시스템은 에이전트의 일을 지휘합니다. 그리고 직원을 최대 9단계의 조사 절차로 안내합니다. 플랫폼은 흩어진 시스템에서 사건 정보를 모으고 사기 지표를 평가해 다음 조치를 추천합니다. 증거를 검토하고 고객에 대한 결정을 내리는 일, 그 결정에 책임지는 일은 훈련받은 사기 전문 직원의 몫입니다. 90일 동안 실제 고객 사건 1만 600건 이상에 이 방식을 썼습니다.

9월 기준 전체 판단 정확도는 90%를 넘었습니다. 플랫폼이 사기로 의심한 건 가운데 90%를 넘는 건이 나중에 실제 사기로 확인됐습니다. 직원이 플랫폼의 추천을 뒤집는 일은 30% 줄었습니다. 통화 한 건에 직원이 오가던 시스템 수는 12~15개에서 약 절반으로 줄었습니다. Lloyds는 연말까지 2~3개로 낮출 계획입니다. 개선 방법은 단순합니다. 플랫폼의 판단을 끝난 사건의 결과와 대조하고 전문 직원의 피드백을 받아, 90일 동안 업데이트 7번에 걸쳐 50건을 고쳤습니다. Lloyds는 그 결과 추천이 일관되고 오탐과 놓친 사기가 함께 줄었다고 설명합니다. 이 플랫폼을 위해 만든 부품은 이미 다른 사기 업무에서 다시 쓰이고 있습니다. 아래에서는 이 구조를 다섯 가지 작동 원리로 풀고 같은 방식을 우리 조사 업무에 붙일 때 필요한 단계 설계, 채점 지표, 일정과 판정 기준을 덧붙입니다.

핵심 메커니즘

Specialist agents와 orchestrator: 조사 단계를 나눠 맡는 에이전트와 지휘하는 중앙 시스템

무엇인가. 사기 조사 한 건을 여러 부분으로 쪼개 부분마다 전문 에이전트를 두고 orchestrator(여러 에이전트의 순서와 넘겨주기를 정하는 중앙 조정 시스템)가 전체를 이끄는 구조입니다.

어떻게 작동하나. 입력은 고객이 신고한 의심 거래와 그 고객의 사건 정보입니다. 중앙 조정 시스템은 사건이 지금 몇 단계에 있는지 보고 다음에 필요한 에이전트를 부릅니다. 원문이 밝힌 에이전트의 일은 세 가지입니다. 여러 시스템에서 관련 정보를 찾아 모으고 사기 지표를 평가하고 다음 조치를 추천합니다. 직원 화면에는 이 결과가 한곳에 모여 보이고 조정 시스템은 최대 9단계의 절차를 차례로 안내합니다. 출력은 증거와 추천 조치가 정리된 사건 화면입니다.

언제 쓰나. 조사 한 건에 확인할 항목과 내릴 결정이 여러 개이고 그 순서가 어느 정도 정해진 업무에 맞습니다. Rohit Dhawan(Lloyds 그룹 AI·고급 분석 책임자)은 이를 “Fraud investigations involve multiple checks and decisions”라고 요약했습니다. 확인 항목이 한두 개뿐인 업무라면 에이전트 하나나 규칙 엔진이 더 단순합니다.

원문의 예. Lloyds는 에이전트가 몇 개인지, 9단계가 각각 무엇인지는 밝히지 않았습니다. 확인된 것은 전문 에이전트 여러 개, 중앙 조정 시스템 하나, 최대 9단계라는 구성입니다.

Human-in-the-loop: 추천은 AI가, 결정과 책임은 사람이

무엇인가. AI가 증거를 모으고 조치를 추천하지만 고객에 대한 결정은 사람이 내리고 책임지는 운영 방식입니다. Lloyds는 플랫폼이 직원의 판단을 대신하지 않고 돕는다고 못 박았습니다.

어떻게 작동하나. 직원은 플랫폼이 내놓은 증거와 추천 조치를 검토합니다. 동의하면 그대로 진행하고 동의하지 않으면 추천을 뒤집습니다. 이 번복(override)이 얼마나 자주 일어나는지가 플랫폼을 얼마나 믿을 수 있는지 보여 주는 지표가 됩니다. Lloyds는 90일 사이 번복이 30% 줄었다고 밝혔습니다. 직원이 추천을 고치지 않고 받아들이는 일이 늘었고, 그만큼 고객이 올바른 결정을 더 빨리 받는다는 설명입니다.

언제 쓰나. 결정 하나가 고객의 돈과 권리에 직접 닿는 업무, 규제가 설명 책임을 요구하는 업무에 맞습니다. 결정이 가볍고 되돌리기 쉬운 업무라면 자동 결정으로 가도 됩니다.

작은 예시(가상). 플랫폼이 “카드 정지 유지, 환불 진행”을 추천했는데 직원이 통화 중 고객이 거래를 기억해 냈다는 사실을 듣고 “정상 거래로 종결”로 바꿉니다. 이 번복과 사유가 기록돼 다음 업데이트의 재료가 됩니다.

Outcome-based evaluation: 끝난 사건 결과를 정답지로 쓰는 개선 루프

무엇인가. 플랫폼의 판단을 사람이 최종 판정을 내린 끝난 사건과 대조해 채점하고 그 결과와 전문 직원의 피드백으로 플랫폼을 고치는 방식입니다.

어떻게 작동하나. 사건이 종결되면 최종 판정(사기인지 아닌지, 어떤 조치를 했는지)이 남습니다. 플랫폼이 그 사건에서 내놓았던 추천을 이 판정과 비교하면 맞았는지 틀렸는지가 나옵니다. 여기에 직원이 현장에서 느낀 문제를 더합니다. Lloyds가 고친 곳은 세 군데입니다. 관련 정보를 찾는 방식, 사기 지표를 평가하는 방식, 추천 조치를 보여 주는 방식입니다. 90일 동안 업데이트 7번에 개선 50건이 들어갔습니다.

언제 쓰나. 사건이 끝나면 정답이 확정되는 업무에 맞습니다. 사기 조사, 보험 청구 심사, 품질 클레임 판정이 그렇습니다. 결과가 몇 달 뒤에야 확정되는 업무라면 대조 주기를 그만큼 늘려야 합니다.

원문의 예. Lloyds는 이 루프로 추천이 더 일관되고 오탐과 놓친 사기가 줄었다고 밝혔습니다. 확대에 앞서 시험과 모니터링을 계속하겠다는 방침도 함께 밝혔습니다.

System consolidation: 통화 한 건에 여는 시스템 수 줄이기

무엇인가. 직원이 사건 하나를 이해하고 조치를 고르려고 오가던 시스템 수를 줄이는 일입니다. 에이전트가 시스템을 대신 돌며 정보를 모으기 때문에 가능해집니다.

어떻게 작동하나. 예전에는 직원이 고객과 통화하면서 12~15개 시스템을 오가며 정보를 찾았습니다. 지금은 플랫폼이 정보를 모아 한 화면에 보여 주므로 그 수가 약 절반으로 줄었습니다. Lloyds는 연말까지 2~3개로 줄일 계획입니다. 길게는 사건 하나의 정보와 조치를 AI 작업 공간 하나에 모으려 합니다.

언제 쓰나. 상담이나 조사 중에 화면을 여러 개 열어야 하는 업무라면 이 지표만으로도 효과를 잴 수 있습니다. 직원은 화면 대신 고객에게 집중할 수 있습니다.

Reusable components: 한 번 만든 부품을 다른 업무로

무엇인가. 한 업무를 위해 만든 에이전트와 조정 장치를 다른 업무에 다시 쓰는 방식입니다.

어떻게 작동하나. 정보 수집, 지표 평가, 추천 표시처럼 업무 사이에 겹치는 일은 부품으로 떼어 둡니다. 새 업무에는 그 업무만의 단계와 지표를 더합니다. Lloyds에서는 직불카드 사기용 부품이 이미 다른 사기 업무에 쓰이고 있습니다. 품질 보증(QA) 같은 영역으로 넓힐 수 있다고도 밝혔습니다.

원문의 예. Lloyds는 그룹 전체 AI 프로그램이 2026년에 1억 파운드 이상의 가치를 더할 것으로 봅니다. 이 숫자는 이 플랫폼만이 아니라 AI 프로그램 전체의 기대치입니다.

통념과 다른 주장

저자가 든 사례

Lloyds 직불카드 사기 조사 플랫폼: 90일, 실제 사건 1만 600건 이상

구분	내용
상황	사기 전문 직원이 고객 통화 중 12~15개 시스템을 오가며 정보를 찾아 사건을 이해하고 조치를 골라야 했음
한 일	전문 에이전트 여러 개와 중앙 조정 시스템으로 정보 수집, 사기 지표 평가, 조치 추천을 맡기고 최대 9단계 절차를 안내. 결정과 책임은 직원. 끝난 사건과 대조하고 직원 피드백을 받아 90일간 7번 업데이트, 50건 개선
결과	9월 판단 정확도 90% 초과, 사기 의심 표시 중 90% 넘게 실제 사기로 확인, 번복 30% 감소, 통화당 시스템 약 절반
연결	Specialist agents와 orchestrator, Human-in-the-loop, Outcome-based evaluation, System consolidation

부품 재사용: 다른 사기 업무와 품질 보증

구분	내용
상황	직불카드 사기 외에도 사기 조사 업무가 여럿 있음 (세부 업무 이름은 원문에서 밝히지 않음)
한 일	이 플랫폼용으로 만든 부품을 다른 사기 업무에 재사용
결과	이미 다른 사기 업무에 쓰이고 있으며 품질 보증 같은 영역에도 쓸 수 있다고 밝힘. 그룹 AI 프로그램 가치 기대치는 2026년 1억 파운드 이상
연결	Reusable components

기술 디테일: 단계형 에이전트와 결과 대조 루프를 돌리려면

아래는 원문에 없는 내용으로, 같은 구조를 우리 조사 업무에 올릴 때 필요한 것을 새로 정리했습니다. 필드명과 숫자는 가상 예시입니다.

조사 단계를 에이전트로 나누려면 (Specialist agents와 orchestrator) 먼저 지금 직원이 사건 하나를 처리하는 순서를 단계로 적습니다. 예를 들면 신고 접수, 본인 확인, 거래 내역 조회, 기기·채널 신호 확인, 가맹점 패턴 확인, 고객 진술 정리, 사기 지표 평가, 조치 추천, 기록과 종결 같은 식입니다(가상 예시, Lloyds의 9단계 이름은 공개되지 않음). 단계마다 어떤 시스템을 읽는지 적으면 그대로 에이전트의 도구 목록이 됩니다. 조정 시스템은 대화형 LLM이 아니라 상태 기계로 만드는 편이 안전합니다. 단계 순서와 다음 단계로 넘어가는 조건은 코드로 고정하고 LLM은 단계 안에서 정보를 요약하고 지표를 판단하는 데만 씁니다. 에이전트는 시스템을 읽기만 하고 카드 정지나 환불 같은 쓰기 동작은 직원 승인 버튼을 거쳐서만 실행합니다. 고객 이름, 카드 번호, 연락처는 LLM에 넘기기 전에 토큰으로 가리고 판단에 필요한 거래 금액·시각·가맹점 범주만 남깁니다. 어떤 모델을 썼는지는 원문에 없으므로, 은행 내부에서 승인된 모델 가운데 단계별로 고르고 모델 이름을 사건 기록에 남깁니다.

사건 상태는 모든 에이전트가 함께 읽고 쓰는 구조화 기록 하나로 둡니다.

{
  "case_id": "DC-2026-000123",
  "stage": 7,
  "stage_max": 9,
  "evidence": [
    {"source": "card_txn", "fact": "해외 가맹점 3건, 18분 안에 결제", "retrieved_at": "2026-10-30T10:02:11Z"},
    {"source": "device", "fact": "새 기기에서 첫 로그인", "retrieved_at": "2026-10-30T10:02:13Z"}
  ],
  "indicators": [
    {"name": "velocity", "score": 0.82, "reason": "짧은 시간 연속 결제"},
    {"name": "new_device", "score": 0.64, "reason": "평소와 다른 기기"}
  ],
  "recommendation": {"label": "fraud", "action": "카드 정지 유지, 환불 진행", "confidence": 0.87},
  "human_decision": {"label": null, "action": null, "override": null, "reason_code": null},
  "versions": {"platform": "v7", "prompt_set": "2026-10-28"}
}

evidence마다 출처 시스템과 조회 시각을 남겨야 직원이 근거를 확인할 수 있고 나중에 틀린 추천이 어느 정보에서 나왔는지 되짚을 수 있습니다. versions는 결과 대조 때 어떤 버전이 그 추천을 냈는지 가르는 데 씁니다.

끝난 사건으로 채점하려면 (Outcome-based evaluation) 사건이 종결되면 최종 판정을 case_id로 추천 기록과 이어 붙입니다. Lloyds가 공개한 두 숫자는 서로 다른 지표입니다. 전체 판단 정확도는 모든 사건에서 추천과 최종 판정이 같은 비율이고 사기 표시 적중은 플랫폼이 사기라고 한 건 가운데 실제 사기로 확인된 비율입니다. 여기에 놓친 사기(정상이라 했는데 사기였던 건)와 오탐(사기라 했는데 정상이었던 건)을 따로 셉니다. 사기 업무에서는 두 오류의 비용이 다르므로 하나의 정확도로 뭉뚱그리지 않습니다. 같은 사건을 같은 버전으로 3번 다시 돌려 추천이 바뀌는 비율도 잽니다. Lloyds가 밝힌 추천의 일관성을 숫자로 보는 방법입니다. 판단에 쓰는 LLM 호출은 temperature 0으로 둡니다.

번복 기록을 남기려면 (Human-in-the-loop) 직원이 추천을 뒤집을 때 사유 코드를 하나 고르게 합니다. 예를 들면 “고객 진술로 정상 확인”, “근거 정보 누락”, “지표 과대평가”, “추천 조치가 정책과 다름” 같은 4~6개 코드와 자유 메모 한 줄이면 충분합니다. 번복률은 직원별, 단계별, 사기 유형별로 나눠 봅니다. 한 직원만 번복이 높으면 교육 문제이고 한 단계에서만 높으면 그 단계 에이전트의 문제입니다. 번복이 줄었다고 곧바로 좋은 신호로 읽지 않습니다. 같은 기간 놓친 사기가 늘었다면 직원이 추천을 덜 의심하게 된 것일 수 있으므로 두 숫자를 함께 봅니다.

2주 주기로 고치려면 90일에 7번이면 대략 13일에 한 번꼴입니다(원문 수치로 계산). 업데이트마다 지난 기간 끝난 사건 전체를 재생 세트로 묶어 새 버전과 이전 버전을 나란히 돌립니다. 판단 정확도가 떨어지거나 놓친 사기가 늘면 배포하지 않습니다. 개선 건마다 “정보 찾기”, “지표 평가”, “추천 표시” 가운데 어느 쪽을 고쳤는지 태그를 달아 두면 Lloyds가 밝힌 세 개선 영역별로 효과를 따로 볼 수 있습니다.

시스템 수를 재고 줄이려면 (System consolidation) 직원 화면 로그에서 통화 한 건 동안 연 시스템 수를 세어 기준선을 먼저 잡습니다. 에이전트가 대신 읽는 시스템이 늘수록 이 숫자가 줄어야 합니다. 읽기 전용 연결부터 시스템별로 하나씩 붙이고 직원이 여전히 직접 여는 시스템은 왜 여는지 물어 다음 연결 순서를 정합니다.

실패 상황	증상	대응
한 시스템 응답 지연	단계가 멈춤	시간 제한 후 “정보 없음”으로 표시하고 직원에게 알림
근거 없는 판단	evidence 없이 지표 점수가 높음	근거 없는 지표는 점수에서 제외, 화면에 경고
번복은 줄고 놓친 사기는 늘어남	직원이 추천을 그대로 따름	표본 사건을 무작위로 골라 2차 검토
새 사기 수법 등장	오탐·놓친 사기가 한 유형에 몰림	사유 코드로 묶어 다음 업데이트의 우선순위로

현업 실행 디테일: 누가, 언제, 무엇을

아래 역할, 일정, 판정 기준은 원문에 없는 실행 예시입니다.

역할	담당	하는 일
스폰서	사기 대응·고객 보호 조직 임원	시범 업무 선정, 확대 결정
업무 오너	사기 조사 팀장	단계 정의, 사유 코드 확정, 결정 권한 기준
사기 전문 직원	시범 참여 8~15명	추천 검토와 결정, 번복 사유 기록, 주간 피드백
AI 프로덕트 오너	AX 추진 조직	개선 요청 정리, 2주 주기 업데이트 범위 결정
엔지니어	데이터·플랫폼 팀	시스템 연결, 사건 상태 기록, 재생 세트 채점
모델 위험·준법	리스크·컴플라이언스	책임 있는 AI 기준 검토, 확대 전 승인

시작 전 준비물. 최근 3~6개월 동안 종결된 사건과 최종 판정, 직원이 사건 하나에 여는 시스템 목록과 지금의 시스템 수 기준선, 사기 판정과 조치에 관한 내부 정책 문서, 시스템별 읽기 권한 승인 절차가 필요합니다.

기간	할 일	산출물
1~2주	종결 사건과 최종 판정 추출, 지표 정의	재생 세트, 지표 정의서
3~6주	조사 단계 정의, 단계별 에이전트 v1, 읽기 전용 연결	단계표, 사건 상태 스키마, 에이전트 v1
7~8주	그림자 운영: 직원은 평소대로 처리하고 추천은 옆에만 표시	추천과 실제 결정의 일치율
9~12주	실사건 지원, 2주마다 업데이트	업데이트 기록, 번복 사유 분포
12주 말	지표 검토, 확대 여부 결정	확대 판정 보고서

현업에 물을 것.

1. 사건 하나를 처리할 때 어떤 순서로 무엇을 확인하나요? 순서가 사람마다 다른 단계는 어디인가요?
2. 통화 중에 가장 오래 걸리는 시스템 조회는 무엇인가요?
3. 오탐과 놓친 사기 가운데 어느 쪽이 더 비싼가요? 고객 불만과 손실로 나누면 어떤가요?
4. 추천을 뒤집을 때 주로 어떤 이유인가요? 사유 코드 목록에 빠진 것이 있나요?

진행 판정 기준(예시). 다음을 모두 채우면 다른 사기 업무로 넓힙니다. 놓친 사기 비율이 기존 수작업보다 높지 않습니다. 사기 표시 적중률이 시범 기간 동안 떨어지지 않고 유지됩니다. 번복률이 시범 초기보다 줄었고 같은 기간 무작위 2차 검토에서 문제가 나오지 않았습니다. 통화당 시스템 수가 기준선보다 줄었습니다.

AX 적용 제언. 국내 카드사와 은행이라면 이상거래 탐지 뒤에 사람이 하는 조사 단계부터 보는 편이 낫습니다. 탐지 모델은 이미 있는 곳이 많고 병목은 직원이 여러 시스템을 오가며 사건을 이해하는 시간에 있기 때문입니다. 보험 청구 조사, 제조 품질 클레임 판정, 구매 부정 감사처럼 끝나면 판정이 남는 조사 업무도 같은 틀에 맞습니다. 순서는 정답지(끝난 사건)와 번복 사유 코드를 먼저 만들고 에이전트는 그다음입니다. 성과 지표를 인력 절감으로 걸면 직원이 번복을 꺼리게 되므로 정확도, 놓친 사기, 번복률, 시스템 수를 함께 거는 편이 Lloyds 방식에 가깝습니다.

원문 사례

항목	내용
출처	Lloyds Banking Group 보도자료(2026.10.26), EuropaWire 게재(2026.10.27)
발표자	Rohit Dhawan, Lloyds 그룹 AI·고급 분석 책임자
대상 업무	직불카드 사기 의심 건 조사
구조	전문 에이전트 여러 개 + 중앙 조정 시스템, 최대 9단계 안내, 결정과 책임은 사기 전문 직원
규모	90일간 실제 고객 사건 1만 600건 이상
정확도	9월 전체 판단 정확도 90% 초과, 사기 의심 표시 중 90% 넘게 실제 사기로 확인
개선	끝난 사건과 대조, 직원 피드백, 90일간 업데이트 7회·개선 50건 (정보 찾기, 지표 평가, 추천 표시)
번복	직원의 추천 번복 30% 감소
시스템	통화당 12~15개 → 약 절반, 연말 2~3개 목표, 장기적으로 AI 작업 공간 하나
재사용	부품을 다른 사기 업무에 재사용 중, 품질 보증 등으로 확대 가능
그룹 목표	AI 프로그램 가치 2026년 1억 파운드 이상 기대
방침	책임 있는 AI 원칙에 따라 확대 전 시험과 모니터링 지속

핵심 개념

agentic AI

목표를 받으면 여러 단계를 스스로 밟고 도구를 불러 일을 처리하는 AI. 이 사례에서는 정보 수집, 지표 평가, 조치 추천을 맡습니다.

orchestrator

여러 에이전트의 실행 순서와 결과 넘기기를 정하는 조정 장치. Lloyds는 중앙 조정 시스템이라고 부릅니다.

override

사람이 AI의 추천을 받아들이지 않고 다른 결정을 내리는 일. 그 비율이 번복률입니다.

false positive

오탐. 정상 거래를 사기로 잘못 본 경우로, 고객 불편을 낳습니다.

false negative

놓친 사기. 사기를 정상으로 본 경우로, 손실로 이어집니다.

shadow mode

그림자 운영. AI 추천을 실제 결정에 쓰지 않고 옆에 띄워 두고 사람의 결정과 비교만 하는 시험 방식입니다.

Responsible AI

Lloyds가 AI 확대 전에 시험과 모니터링을 거치게 하는 내부 원칙의 이름입니다.

내 메모

TODO: 내 생각 추가

원문은 Lloyds Banking Group의 보도자료 「Lloyds uses agentic AI platform to strengthen customer fraud support」(2026.10.26)이며, EuropaWire가 2026.10.27에 같은 발표를 실었습니다. 내용은 Lloyds 공식 보도자료 본문으로 확인했습니다. 요약, 핵심 메커니즘의 원문 예, 통념과 다른 주장, 사례, 원문 사례 표는 발표 내용을 AX Review가 다시 정리했고 수치와 효과는 Lloyds의 설명입니다. 메커니즘의 작은 예시, 기술·현업 실행 디테일, JSON 예시, 지표 정의, 실패 대응 표, 일정과 판정 기준, 인포그래픽은 원문에 없는 내용으로 새로 작성했으며 그 안의 필드명과 숫자는 가상 예시입니다. shadow mode, false positive, false negative 같은 용어 풀이도 새로 덧붙였습니다. 원문 전체는 EuropaWire와 Lloyds Banking Group 보도자료 페이지에서 볼 수 있습니다.