Measuring AI Returns: JPMorgan과 BofA로 본 은행의 AI 성과 측정법

AI 성과를 재는 데 정답은 하나가 아닙니다. JPMorganChase는 전사 합계를 내는 데 신중했고 Bank of America는 프로젝트마다 회수를 셉니다. 그래도 공통 조건은 있습니다. AI를 붙이기 전에 기준선을 잡아 둬야 합니다. ROI는 그 뒤 단계에서 요구해도 늦지 않습니다.

요약

American Banker의 AI 담당 애널리스트 Larry Cao는 미국 대형 은행 두 곳의 2026년 10월 실적 발표를 나란히 놓았습니다. 여기에 은행·신협 실무자 200명을 조사한 결과를 더했습니다. JPMorganChase CFO Jeremy Barnum은 10월 13일 콜에서 AI가 전사 재무에 얼마나 기여했는지 따로 추정하는 데 자원을 더 쓸 가치가 있는지 되물었습니다. 그 노력이 실행을 흐트러뜨릴 수 있다는 이유입니다. 오래 써 온 머신러닝(ML) 모델과 새로 들인 LLM·agentic(스스로 여러 단계를 밟는) 애플리케이션을 가르기 어렵다는 점도 전사 숫자 하나를 내기 어려운 이유로 꼽혔습니다. JPMorgan은 AI 수익 숫자를 내놓지 않았습니다. 다음 날 Bank of America CEO Brian Moynihan은 AI 프로젝트 약 130개에서 회수 효과를 확인할 수 있다고 했습니다. 효과는 시간이 지나며 비용의 2~3배가 될 것으로 봤습니다. 올해 약 2.5억~3억 달러, 내년 약 7억 달러입니다.

설문은 다른 각도에서 같은 결론을 가리킵니다. 응답자의 97%가 생성형 AI를 운영하거나 시범 중이었습니다. 83%는 일의 산출이 나아졌다고 답했습니다. 그런데 운영 중인 과제 대부분 또는 전부의 재무 순효과를 계량한 곳은 34%였습니다. 차이를 가른 것은 기준선입니다. AI 워크플로 대부분을 AI 이전 성과와 비교해 재는 곳은 47%였습니다. 이들 가운데 57%가 재무 효과를 계량했고 나머지는 14%에 그쳤습니다. 저자는 이를 바탕으로 도입 4단계와 단계별 지표, measure·scale·govern 세 우선순위를 제시합니다. 기준선은 일찍 잡고 ROI는 너무 일찍 요구하지 말라는 주장입니다. 이 글은 세 편 연재의 첫 편이고 나머지 두 편은 확산과 거버넌스를 다룹니다. 아래에서는 이 틀을 여섯 가지 작동 원리로 풀고 측정 원장 설계, 일정, 판정 기준을 덧붙입니다.

핵심 메커니즘

Project-level payback: 전사 합계 대신 프로젝트마다 회수를 센다

무엇인가. AI 효과를 회사 전체 숫자 하나로 내지 않고 과제 단위로 비용과 효과를 잡아 회수를 확인하는 방식입니다. BofA가 이 방식을 씁니다.

어떻게 작동하나. 입력은 과제마다의 비용과 측정된 효과입니다. 과제별로 효과를 비용으로 나눠 회수 여부와 배수를 봅니다. 그 결과를 모으면 회사 전체 기대치가 나옵니다. BofA는 약 130개 과제에서 회수를 확인할 수 있다고 했고 효과가 시간이 지나며 비용의 2~3배가 될 것으로 봤습니다. 출력은 투자 판단입니다. 어느 과제에 더 넣고 어느 과제를 줄일지 정합니다. 저자는 전사 추정이 어려워도 과제 단위 측정이 투자 방향을 잡아 준다고 정리합니다.

언제 쓰나. 과제가 수십 개를 넘어 우선순위를 정해야 할 때 맞습니다. 반대로 AI가 여러 시스템에 녹아 있어 과제 경계가 흐린 곳은 과제 단위 회계가 어렵습니다. JPMorgan이 말한 ML과 LLM의 구분 문제가 바로 그 경우입니다.

Pre-AI baseline: AI 이전 성과를 먼저 재 둔다

무엇인가. AI를 붙이기 전의 작업 시간, 오류율, 처리량을 재 두고 AI 이후와 비교하는 기준선입니다.

어떻게 작동하나. 도입 전에 원래 작업 시간과 품질을 잽니다. 도입 후에는 AI가 일하는 시간과 사람이 그 결과를 검증하는 시간을 함께 잽니다. 두 값의 차이에 처리 건수를 곱하고 운영 비용을 빼면 재무 순효과가 나옵니다. 조사에서 기준선 비교를 하는 곳의 57%가 재무 효과를 계량했고 하지 않는 곳은 14%였습니다.

언제 쓰나. 반복 업무에 AI를 붙일 때는 언제나 필요합니다. 기준선은 도입 뒤에 다시 잴 수 없습니다. 그래서 실험 단계부터 잡아야 합니다.

원문의 예. 한 전국 단위 은행은 통화 요약 AI를 들였습니다. 그런데 원래 요약 작성 시간도, AI 요약을 검증하는 시간도 재지 않았습니다. 그래서 절감 효과가 분명하지 않게 남았습니다.

Stage-appropriate metrics: 도입 단계마다 다른 지표를 쓴다

무엇인가. AI 과제가 지나는 단계를 실험, 업무 개선, 사업 성과, 재무 성과의 넷으로 나누고 단계마다 맞는 지표로 재는 틀입니다.

어떻게 작동하나. 실험 단계에서는 실현 가능성과 산출물 품질을 봅니다. 뒤로 갈수록 처리량, 정확도, 오류율, 사업 기여도, 재무 순효과로 옮겨 갑니다. 단계가 올라갈 때마다 측정 대상이 기술에서 업무로, 업무에서 돈으로 바뀝니다. 이 지표로 과제가 다음 투자를 받을 만한지 판단합니다.

언제 쓰나. 실험 중인 과제에 재무 숫자를 요구하면 실험이 위축됩니다. American Banker 경영진 라운드테이블 참석자들도 이 점을 경고했습니다. 반대로 재무 성과 단계에 와서도 품질 지표만 보고하면 확대 결정을 내릴 수 없습니다.

Measure, scale, govern: 모든 단계를 관통하는 세 우선순위

무엇인가. 저자가 네 단계 전체에 걸쳐 챙겨야 한다고 본 세 가지입니다. 측정(measure), 확산(scale), 거버넌스(govern)입니다.

어떻게 작동하나. 측정은 기준선과 단계별 지표를 만듭니다. 확산은 효과가 확인된 업무를 넓힙니다. 거버넌스는 계속·확대·중단 결정과 책임을 정합니다. 측정이 없으면 확산할 근거가 없고 거버넌스가 결정할 재료도 없습니다. 이번 글은 측정 편이고 나머지 둘은 후속 글에서 다룰 예정입니다.

Value-based go/no-go: 측정 결과를 계속·확대·중단 결정에 쓴다

무엇인가. 측정의 목적을 보고가 아니라 결정에 두는 원칙입니다. 저자는 측정이 과제가 추가 투자를 받을 만한지 알려 줘야 한다고 봅니다.

어떻게 작동하나. 과제마다 정해진 시점에 단계별 지표를 보고 계속, 확대, 중단 중 하나를 고릅니다. 조사에서 이 결정에 증명된 재무 가치를 항상 또는 자주 반영하는 곳은 55%, 가끔 또는 드물게 반영하는 곳은 41%였습니다.

언제 쓰나. 과제 수가 늘어 예산을 다시 나눠야 할 때 필요합니다. 실험 단계 과제에는 재무 가치 대신 실현 가능성과 품질을 판정 근거로 씁니다.

AI type portfolio: ML, 생성형, agentic을 나눠 본다

무엇인가. 회사가 쓰는 AI를 유형별로 나눠 관리하는 관점입니다. JPMorgan이 지적했듯 오래된 ML과 새 LLM·agentic 애플리케이션이 섞이면 전사 숫자를 내기 어렵습니다.

어떻게 작동하나. 조사에서 AI 유형을 둘 이상 쓰는 곳은 53%가 재무 효과를 계량했습니다. 하나만 쓰는 곳은 21%였습니다. AI 이전과 비교해 재는 비율도 66%와 27%로 갈렸습니다. 여러 유형을 쓰는 조직일수록 측정 습관이 자리 잡은 모습입니다. 저자는 이 수치들이 서로 직접 비교되지 않고 인과관계를 입증하지도 않는다고 밝혔습니다.

통념과 다른 주장

저자가 든 사례

JPMorganChase: 전사 합계 추정에 신중

구분	내용
상황	오래 써 온 ML과 새 LLM·agentic 애플리케이션이 섞여 전사 AI 기여도를 숫자 하나로 내기 어려움
한 일	CFO Jeremy Barnum이 10월 13일 실적 콜에서 전사 기여도 추정에 자원을 더 쓸 가치를 되물음
결과	AI 수익 숫자를 공개하지 않음. 추정 노력이 실행을 흐트러뜨릴 수 있다는 입장
연결	AI type portfolio, Project-level payback의 반대편 선택

Bank of America: 과제 약 130개의 회수 확인

구분	내용
상황	AI 과제가 많아 투자 배분 근거가 필요
한 일	CEO Brian Moynihan이 10월 14일 실적 콜에서 약 130개 과제의 회수를 확인할 수 있다고 밝힘
결과	효과는 시간이 지나며 비용의 2~3배 기대. 올해 약 2.5억~3억 달러, 내년 약 7억 달러
연결	Project-level payback, Value-based go/no-go

통화 요약 도구: 기준선 없이 들인 사례

구분	내용
상황	전국 단위 은행 한 곳이 통화 요약 AI 도구를 도입
한 일	원래 작업 시간과 검증 시간을 모두 재지 않음
결과	절감 효과가 분명하지 않게 남음 (은행 이름과 수치는 원문에서 밝히지 않음)
연결	Pre-AI baseline

American Banker 조사: 도입은 넓고 계량은 좁다

구분	내용
상황	AI 과제에 관여하는 은행·신협 실무자 200명, 2026년 9월 18~28일 조사
한 일	도입 현황, 계량 여부, 기준선 비교, 지표, 결정 반영을 물음
결과	도입 97%, 산출 개선 83%, 재무 계량 34%. 기준선 비교 47%, 그 안에서 재무 계량 57%(나머지 14%)
연결	Pre-AI baseline, Value-based go/no-go, AI type portfolio

성과 지표로는 직원 시간 절감(58%)이 가장 많았고 비용(52%), 매출(30%)이 뒤를 이었습니다. 저자는 맥킨지 2026 State of AI 조사도 함께 들었습니다. EBIT의 5% 이상을 AI 덕분으로 보는 조직은 영향 측정 절차를 정해 둔 경우가 약 두 배 많았습니다.

기술 디테일: 측정 원장과 순효과 계산을 돌리려면

아래는 원문에 없는 내용으로, 같은 틀을 우리 조직에 올릴 때 필요한 것을 새로 정리했습니다. 필드명과 숫자는 가상 예시입니다.

과제 단위 회수를 세려면 (Project-level payback) 과제마다 한 줄씩 쌓는 측정 원장(ledger)을 먼저 만듭니다. 스프레드시트로 시작해도 되지만 과제가 30개를 넘으면 데이터 웨어하우스 테이블로 옮깁니다. 핵심은 ai_type 필드입니다. ML, LLM, agentic을 처음부터 따로 적어 두면 JPMorgan이 말한 섞임 문제를 뒤에서 풀 필요가 없습니다.

{
  "initiative_id": "CALLSUM-01",
  "ai_type": "LLM",
  "stage": "workflow",
  "baseline": {"task_min": 6.0, "error_rate": 0.04, "volume_month": 40000, "measured": "2026-08-01~2026-08-14"},
  "post": {"ai_min": 1.5, "validation_min": 1.0, "error_rate": 0.03},
  "cost_run_month": 18000,
  "benefit_class": "time_saved",
  "realized": false,
  "decision": "expand",
  "decided_at": "2026-10-30"
}

순효과를 계산하려면 (Pre-AI baseline) 건당 절감은 baseline.task_min − (post.ai_min + post.validation_min)입니다. 위 가상 예시에서는 6.0 − 2.5 = 3.5분입니다. 월 4만 건이면 약 2,333시간이고 여기에 인건비 단가를 곱한 뒤 cost_run_month를 뺍니다. 통화 요약 사례처럼 validation_min을 빼먹으면 절감이 부풀려집니다. 절감 시간을 다른 일에 돌렸는지, 인력 계획에 반영했는지에 따라 realized를 나눕니다. 시간 절감(58%)을 쓰는 곳이 가장 많지만 그 시간이 돈이 됐는지는 이 필드로 따로 봐야 비용(52%)·매출(30%) 지표와 겹치지 않습니다.

기준선을 재려면 도입 2주 전부터 작업 로그나 업무 시스템 타임스탬프로 건당 시간을 뽑습니다. 로그가 없으면 하루 30~50건을 표본으로 직접 잽니다. AI 요약을 쓰는 업무라면 검증 시간은 요약 화면이 열린 시점부터 확정 버튼까지로 잡습니다. LLM 출력 품질은 같은 입력을 3회 돌려 결과가 흔들리는 비율도 함께 기록합니다. 판단용 호출은 temperature 0으로 둡니다.

단계별 지표를 자동으로 붙이려면 (Stage-appropriate metrics) stage 값에 따라 대시보드가 보여 주는 지표를 바꿉니다. experiment면 성공률과 품질 점수, workflow면 처리량과 오류율, business면 사업 KPI, financial이면 순효과와 회수 배수입니다. 단계를 올리는 조건은 사람이 정하고 원장에 decided_at으로 남깁니다.

실패 상황	증상	대응
검증 시간 누락	절감이 실제보다 큼	검증 시간을 필수 필드로 지정
ML·LLM 섞임	전사 합계를 낼 수 없음	ai_type을 과제 등록 때 필수로
시간 절감을 돈으로 착각	재무 효과 과대 보고	realized 플래그로 분리
실험 과제에 ROI 요구	과제 신청이 줄어듦	stage별 지표만 요구

현업 실행 디테일: 누가, 언제, 무엇을

아래 역할, 일정, 판정 기준은 원문에 없는 실행 예시입니다.

역할	담당	하는 일
스폰서	CFO 또는 재무 기획 임원	측정 원칙 승인, 분기 투자 배분
측정 오너	FP&A 또는 AX 추진 조직	원장 관리, 순효과 계산 기준 통일
과제 오너	현업 팀장	기준선 측정, 단계별 지표 보고
데이터 담당	데이터·플랫폼 팀	작업 로그 추출, 대시보드
리스크	리스크·준법	중단 기준과 통제 항목 검토

시작 전 준비물. 진행 중인 AI 과제 목록과 유형(ML·LLM·agentic), 과제별 대상 업무의 작업 로그 접근 권한, 인건비 단가 기준, 과제별 운영 비용 내역이 필요합니다.

기간	할 일	산출물
0~2주	과제 목록 정리, ai_type·stage 지정, 대상 업무 기준선 측정	측정 원장 v1, 기준선 값
3~6주	실험 단계 과제는 실현 가능성·품질로 평가	단계별 지표 보고
7~10주	업무 개선 단계 과제는 처리량·오류율·검증 시간 측정	순효과 초안
11~12주	분기 리뷰에서 계속·확대·중단 판정	투자 배분안

현업에 물을 것.

1. 이 업무를 AI 없이 할 때 건당 몇 분이 걸렸나요? 그 숫자는 어디서 왔나요?
2. AI 결과를 사람이 확인하는 데 몇 분이 걸리나요?
3. 아낀 시간은 어디에 쓰고 있나요? 인력 계획에 반영됐나요?
4. 이 과제는 지금 네 단계 중 어디에 있나요?

진행 판정 기준(예시). 실험 단계는 품질 기준을 넘으면 업무 개선 단계로 올립니다. 업무 개선 단계는 검증 시간을 포함한 건당 절감이 기준선 대비 20% 이상이고 오류율이 기준선보다 나쁘지 않으면 확대 후보로 둡니다. 재무 성과 단계는 효과가 운영 비용을 넘으면 확대하고 두 분기 연속 넘지 못하면 중단을 검토합니다.

AX 적용 제언. 국내 기업이라면 전사 AI ROI 숫자부터 만들려 하지 말고 진행 중인 과제를 원장 한 장에 모으는 일부터 시작하는 편이 낫습니다. 재무 조직이 측정 기준을 쥐고 현업이 기준선을 채우는 구조가 BofA식 과제 단위 측정에 가깝습니다. 새 과제는 승인 조건에 기준선 측정을 넣고, 실험 단계 과제에는 재무 숫자를 요구하지 않습니다. 이렇게 하면 실험은 살리면서도 확대 단계에서 숫자로 고를 수 있습니다.

원문 사례

항목	내용
출처	American Banker, Larry Cao (AI 담당 시니어 애널리스트), 2026.10.29
연재	세 편 중 첫 편. 다음은 확산, 거버넌스
JPMorganChase	CFO Jeremy Barnum, 10월 13일 콜. 전사 AI 기여도 추정에 자원을 더 쓰는 데 신중. AI 수익 숫자 비공개
Bank of America	CEO Brian Moynihan, 10월 14일 콜. 과제 약 130개 회수 확인, 비용의 2~3배 기대, 올해 약 2.5억~3억 달러, 내년 약 7억 달러
조사	은행·신협 실무자 200명, 2026.9.18~28
도입	생성형 AI 운영·시범 97%, 산출 개선 83%
계량	대부분·전부 계량 34%. 기준선 비교 47%, 그중 57% 계량 vs 나머지 14%
지표	시간 절감 58%, 비용 52%, 매출 30%
결정 반영	항상·자주 55%, 가끔·드물게 41%
AI 유형	2개 이상: 계량 53%, 기준선 66% / 1개: 21%, 27%
외부 근거	맥킨지 2026 State of AI: EBIT 5% 이상을 AI 덕분으로 보는 조직은 측정 절차를 정해 둔 경우가 약 두 배
라운드테이블	효율성 비율·사이클 타임 같은 넓은 지표 선호, 이른 재무 성과 요구가 실험을 꺾을 수 있다고 경고
틀	4단계(실험, 업무 개선, 사업 성과, 재무 성과), 3우선순위(measure, scale, govern)

핵심 개념

ROI

투자 대비 수익. 이 글에서는 너무 이른 단계에 요구하면 실험을 막는 지표로 다룹니다.

net financial impact

재무 순효과. AI로 얻은 효과에서 비용을 뺀 값입니다.

baseline

기준선. AI 도입 전의 작업 시간, 오류율, 처리량 같은 비교 기준입니다.

payback

회수. 과제에 쓴 비용이 효과로 돌아오는 것입니다.

efficiency ratio

효율성 비율. 은행이 영업비용을 영업수익으로 나눠 보는 지표로, 라운드테이블에서 넓은 지표의 예로 나왔습니다.

cycle time

사이클 타임. 업무 한 건이 시작부터 끝까지 걸리는 시간입니다.

EBIT

이자·세금 차감 전 이익. 맥킨지 조사에서 AI 기여 비율을 재는 기준입니다.

내 메모

TODO: 내 생각 추가

원문은 American Banker의 「Even JPMorganChase and BofA measure AI returns differently」(Larry Cao, 2026.10.29)입니다. 요약, 핵심 메커니즘의 원문 예, 통념과 다른 주장, 사례, 원문 사례 표는 원문 내용을 AX Review가 다시 정리했고 수치와 발언 요지는 원문 기준입니다. 핵심 메커니즘의 이름(Project-level payback 등), 측정 원장 JSON, 순효과 계산식, 실패 대응 표, 역할·일정·판정 기준, 인포그래픽은 원문에 없는 내용으로 새로 작성했으며 그 안의 필드명과 숫자는 가상 예시입니다. efficiency ratio, EBIT 같은 용어 풀이도 새로 덧붙였습니다. 원문 전체는 American Banker에서 볼 수 있습니다.