Advisor-Built Agents: Morgan Stanley가 어드바이저 에이전트 5만 건 중 쓰이는 것만 골라 키우는 법

Morgan Stanley는 어드바이저 누구나 자연어로 에이전트를 만들게 열어 두고 실제로 쓰이는 것만 골라 검토한 뒤 전사로 넓힙니다. 따라 하려면 제작 도구보다 먼저 사용량을 집계하는 장치와 정확성·완전성 검토 기준, 모르는 질문을 사람에게 넘기는 경로를 갖춰야 합니다.

요약

American Banker의 Dan Shaw는 2026년 11월 2일 Morgan Stanley 자산관리 부문의 AI 운영 방식을 전했습니다. 이 부문 AI 책임자 Koren Maranca에 따르면 회사는 다른 자산관리사와 달리 어드바이저가 자연어 프롬프트로 에이전트를 직접 만들게 합니다. 지금까지 시도가 5만 건 가까이 쌓였습니다. 이와 별도로 회사는 AI@MS 프로그램으로 모든 어드바이저에게 에이전트를 제공합니다. 콜센터로 가던 재무설계 질문에 답하는 어시스턴트, 하루 일정을 정리하는 모닝 브리핑, 저축계좌 이자 수입을 추정하는 에이전트가 여기에 속합니다.

만든 에이전트가 모두 살아남지는 않습니다. 대부분은 몇 번 쓰이고 멈춥니다. 회사는 이런 것까지 일일이 검토하지 않습니다. 팀 동료들이 함께 쓰기 시작한 에이전트만 정확성과 완전성을 검토하고 전사로 넓힐 만한 것은 더 넓게 시험합니다. 회사 어시스턴트는 지금 어드바이저 문의의 약 절반을 먼저 받습니다. 배포 전에는 반복 테스트로 정확성을 확인했고 사내 전문가 1,000명 넘게 출력을 검토해 완전성 기준을 넘겼습니다. 회사는 아낀 시간을 숫자로 내놓지 않았습니다. 대신 어드바이저 한 명이 더 많은 고객을 맡게 하되 판단이 필요한 재무설계는 사람에게 남긴다는 방향을 밝혔습니다. 아래에서는 이 운영 방식을 다섯 가지 장치로 나누고 실제로 만들 때 필요한 기술·현업 디테일을 덧붙입니다.

핵심 메커니즘

Natural-language Agent Builder: 어드바이저가 말로 만드는 에이전트

어드바이저가 코드를 쓰지 않고 원하는 일을 문장으로 적어 에이전트를 만드는 방식입니다. 요청을 받으면 에이전트가 정해진 데이터를 정해진 주기로 훑고 결과를 정해진 시각에 돌려줍니다. 기사에 나온 예는 둘입니다. 특정 고객이 관심을 두는 보유 종목을 추적하는 에이전트, 고객 장부 전체에서 기준 금액을 넘는 현금 유출을 매일 찾아 보고하는 에이전트입니다. Maranca는 업무를 잘 알고 다루는 일이 복잡한 어드바이저에게 이 방식이 잘 맞는다고 봅니다. 그의 표현으로는 “the world is your oyster”입니다. 반대로 고객에게 바로 나가는 답변이나 돈이 움직이는 실행은 이 단계의 몫이 아닙니다. 가상 예시를 들면, 보험 설계사가 만기 30일 전 계약만 매주 월요일에 모아 받는 에이전트를 직접 만들 수 있습니다.

Usage-gated Review: 쓰이는 만큼 무거워지는 검토

모든 에이전트를 배포 전에 검토하지 않고 쓰이는 정도에 따라 검토 수준을 올리는 관문입니다. 혼자 만들고 몇 번 쓰다 만 에이전트는 깊이 검토하지 않습니다. 팀 안에서 여러 사람이 쓰기 시작하면 답이 맞는지(정확성), 빠진 내용이 없는지(완전성)를 봅니다. 업무에 자리 잡은 에이전트는 쓰인 뒤에 검토와 승인을 받습니다. 전사로 넓힐 후보는 더 넓은 테스트를 거칩니다. 시도가 수만 건이어도 검토 인력이 감당할 수 있는 이유가 여기에 있습니다. 실제로 돌릴 때는 “팀에서 쓰인다”를 사용자 수와 기간으로 정의해 두어야 관문이 자동으로 작동합니다.

AI@MS Call-center Assistant: 문의 절반을 먼저 받는 앞단

어드바이저와 사내 콜센터 전문가 사이에 놓인 AI 어시스턴트입니다. 예전에 콜센터로 가던 재무설계 질문을 먼저 받아 답합니다. 답을 모르면 모른다고 말하고 체결 중인 주문이나 만기가 다가온 증권을 다루는 서비스 데스크처럼 맞는 창구로 넘깁니다. 답이 만족스럽지 않으면 어드바이저는 여전히 콜센터에 직접 물을 수 있습니다. 검증은 두 단계였습니다. 반복 테스트로 정확성을 먼저 잡고 그다음 사내 전문가 1,000명 넘게 출력을 검토해 완전성이 운영 기준을 넘을 때까지 고쳤습니다. 지금은 어드바이저 문의의 약 절반이 이 어시스턴트를 먼저 거칩니다.

Morning Briefing과 Savings Projection: 매일 쓰는 회사 제공 에이전트

모닝 브리핑은 어드바이저가 한 번 클릭해 가입하면 매일 아침 받는 요약입니다. 할 일을 제안하고 다가올 일정을 알려 주며 시간을 어디에 먼저 쓸지 권합니다. 다가올 일을 위해 시스템이 미리 준비한 자료가 함께 오고 예정된 미팅에는 여러 쪽짜리 자료(dossier)가 붙습니다. 저축 수익 추정 에이전트는 고객 돈을 Morgan Stanley의 시그니처 저축계좌(MMF 대안으로 내놓은 상품)에 넣었을 때 이자 수입이 얼마인지 계산합니다. 기사에서는 500만 달러를 넣는 경우를 예로 들었습니다. 둘 다 판단을 대신하지 않고 준비 시간을 줄이는 일에 맞춰져 있습니다.

AI@MS FA Assist: 대화 한 번으로 에이전트를 불러 쓰는 다음 단계

지금은 어드바이저가 AI@MS 대시보드에서 필요한 에이전트를 골라 씁니다. 개발 중인 FA Assist는 이 고르는 일을 없애려 합니다. 어드바이저가 대화로 요청하면 필요한 에이전트를 하나 이상 자동으로 불러옵니다. 고객 포트폴리오 분석, 리스크·경기침체 시나리오 시뮬레이션, 여러 속성으로 다른 투자 모델 찾기를 대화 안에서 하고 결과를 고객 제안서로 묶습니다. 출시 일정은 밝히지 않았습니다. 앞의 관문을 통과한 에이전트가 많아질수록 이런 호출 계층이 쓸모를 얻습니다.

통념과 다른 주장

저자가 든 사례

사례 1. 어드바이저가 만든 현금 유출 스캔 에이전트

상황	한 일	결과	연결
고객 장부 전체에서 큰 현금 유출을 매일 확인해야 함	어드바이저가 자연어로 스캔 에이전트를 만듦	기준 금액을 넘는 유출을 매일 정해진 시각에 보고. 사용 규모는 원문에서 밝히지 않음	Natural-language Agent Builder

사례 2. 콜센터 앞단의 AI 어시스턴트

상황	한 일	결과	연결
재무설계 질문이 사내 콜센터 전문가에게 몰림	AI가 먼저 답하고 모르면 맞는 서비스 데스크로 넘김. 반복 테스트와 전문가 1,000명+ 검토로 검증	어드바이저 문의 약 절반을 AI가 먼저 받음. 콜센터 직통 경로는 유지	AI@MS Call-center Assistant

사례 3. 모닝 브리핑과 저축 수익 추정

상황	한 일	결과	연결
하루 준비와 저축 상품 설명에 시간이 듦	한 번 클릭으로 받는 모닝 브리핑, 저축계좌 이자 수입 추정 에이전트 제공	할 일·우선순위·미팅 자료가 매일 옴. 절감 시간은 공개하지 않음	Morning Briefing과 Savings Projection

기술 디테일: 같은 구조를 직접 만든다면

아래 필드명, 설정값, 숫자는 모두 원문에 없는 가상 예시입니다. 기사가 밝힌 운영 방식을 실제로 돌릴 때 필요한 것을 정리했습니다.

어드바이저 자작 에이전트와 사용량 관문을 돌리려면 자연어 요청을 바로 실행하지 말고 manifest(에이전트 정의서)로 바꿔 저장합니다. LLM이 요청을 읽어 아래 JSON을 채우고 사람이 확인 버튼을 누르면 등록됩니다. 실행 코드는 LLM이 새로 짜지 않고 스캔·추적·요약 같은 승인된 템플릿 가운데서 고르게 해 임의 코드가 돌지 않게 합니다. data_scopes는 고객 데이터 경계를 정하므로 자유 입력이 아니라 승인된 목록에서만 고릅니다. 실행할 때마다 run_id, user_id, 소요 시간, 결과 건수를 로그로 남깁니다. 관문은 이 로그로 자동 판정합니다. 예를 들어 최근 14일 동안 서로 다른 사용자 3명 이상이 썼으면 검토 큐에 올리고 30일 동안 실행이 없으면 보관 처리합니다.

{
  "agent_id": "AG-20261105-0187",
  "owner": "advisor_4412",
  "intent": "고객 장부 전체에서 하루 25만 달러 넘는 출금 찾기",
  "data_scopes": ["book:own_clients", "cashflow:daily"],
  "schedule": "weekdays 07:30",
  "threshold_usd": 250000,
  "output": "table",
  "review_tier": "personal",
  "distinct_users_14d": 4
}

정확성·완전성 검토를 돌리려면 두 기준을 따로 잽니다. 정확성은 같은 질문 세트(예: 200문항)를 temperature 0으로 5회씩 돌려 답이 모두 같고 정답 데이터와 맞는지 봅니다. 한 번이라도 다르면 그 문항은 불안정으로 표시합니다. 완전성은 사람이 봐야 합니다. 질문마다 전문가가 “답에 꼭 있어야 할 항목” 체크리스트를 만들고 다른 전문가가 출력을 그 목록으로 채점합니다. 콜센터 어시스턴트처럼 검토 인원이 많으면 문항을 상품·업무 영역별로 나눠 배정하고 같은 문항을 두 명이 채점해 의견이 갈린 것만 세 번째 사람이 봅니다.

모르는 질문을 사람에게 넘기려면 답변과 함께 confidence와 route 필드를 구조화 출력으로 받습니다. 검색 근거 문서를 찾지 못했거나 confidence가 기준(예: 0.7) 아래면 답하지 않고 질문 유형을 분류해 route 값(예: live_order_desk, maturity_desk)으로 해당 데스크 티켓을 엽니다. 기권한 질문은 주 1회 모아 다음 검토 세트에 넣습니다. 어드바이저가 콜센터로 다시 문의한 건도 같은 목록에 쌓으면, AI가 답했지만 만족을 주지 못한 질문을 찾을 수 있습니다.

FA Assist 같은 호출 계층을 만들려면 관문을 통과한 에이전트만 registry(등록부)에 올리고 각 에이전트의 설명·입력 스키마·권한 범위를 함께 적습니다. 오케스트레이터 LLM은 tool calling으로 registry 안에서만 에이전트를 고릅니다. 실행 직전에는 요청한 어드바이저가 그 고객 데이터에 접근할 권한이 있는지 코드로 확인합니다. 최종 제안서에는 문단마다 어느 에이전트의 결과인지 출처를 붙여, 검토자가 틀린 부분을 해당 에이전트까지 거슬러 갈 수 있게 합니다.

실패하는 경우	대응 (가상 예시)
같은 질문인데 실행마다 답이 다름	5회 반복 불일치 문항은 배포 보류, 프롬프트·검색 근거 보강 후 재측정
답은 맞지만 중요한 조건이 빠짐	전문가 체크리스트 기준 미달 영역은 기권·라우팅으로 전환
개인 에이전트가 다른 어드바이저 고객 데이터를 읽음	data_scopes를 승인 목록으로 제한, 실행 시 권한 재확인
인기 에이전트가 검토 없이 퍼짐	사용자 수 기준을 넘으면 공유 기능을 잠그고 검토 통과 후 해제
오케스트레이터가 등록 안 된 도구를 부름	registry 밖 호출은 코드에서 거절, 로그로 남김

현업 실행 디테일: 누가, 언제, 무엇을

어드바이저나 영업 담당에게 에이전트 제작을 열어 준다면 역할부터 나눕니다. 아래 표와 일정, 기준은 모두 가상 예시입니다.

역할	맡는 일 (가상 예시)
현업 제작자(어드바이저·영업 담당)	에이전트 제작과 사용, 팀 공유 신청, 실패 사례 제보
AI 프로덕트팀	제작 도구 운영, 사용량 집계와 검토 큐 관리, registry 관리
도메인 전문가 검토단	질문별 체크리스트 작성, 완전성 채점, 통과·보류 의견
컴플라이언스·정보보호	data_scopes 승인 목록 관리, 고객 데이터 경계 확인
서비스 데스크	라우팅된 질문 처리, AI가 못 답한 질문 목록화

시작 전 준비물은 네 가지입니다. 콜센터나 지원 부서에 들어온 최근 3개월 질문 로그, 고객 데이터 범위별 접근 권한 표, 질문 유형별 담당 데스크 목록, 검토단으로 참여할 전문가 명단(예: 영역별 20~30명)입니다.

기간	할 일	산출물
1~2주	시범 지점 1~2곳에 제작 도구 개방, data_scopes 승인 목록 확정	manifest 양식, 권한 표
3~4주	실행 로그 집계, 팀 공유 기준(14일·3명) 적용. 기준은 AI 프로덕트팀이 제안하고 현업 부문장이 승인	사용량 대시보드, 검토 큐
5~6주	검토 큐 상위 에이전트의 정확성 반복 테스트와 전문가 완전성 채점	채점표, 통과·보류 목록
7~8주	판정 회의, 통과 에이전트 전사 배포 결정	판정 보고서, registry 등록

확인 질문은 이렇게 준비합니다. 현업이 매일 손으로 확인하는 목록은 무엇이고 기준 금액이나 조건은 누가 정합니까? 에이전트가 읽어도 되는 고객 데이터는 어디까지입니까? 지금 지원 부서로 가는 질문 가운데 AI가 먼저 받아도 되는 유형과 반드시 사람이 받아야 하는 유형은 무엇입니까? 답이 틀렸을 때와 빠졌을 때 각각 누가 알아차립니까?

진행 판정 기준은 시범 업무마다 다시 정하되 출발점은 세 가지입니다. 5회 반복 일치율 95% 이상, 전문가 체크리스트 필수 항목 충족 90% 이상, 기권해야 할 질문에 답한 건 0건입니다. 한 가지라도 미달이면 그 에이전트는 개인용으로 남기고 2주 뒤 다시 채점합니다.

AX 적용 제언. 국내 금융사나 영업 조직이 가져갈 것은 “누구나 만들되 쓰이는 것만 검토한다”는 순서입니다. 처음부터 중앙 조직이 에이전트를 골라 만들면 현업이 정말 원하는 작은 자동화를 놓치기 쉽습니다. 반대로 제작만 열고 관문이 없으면 검증되지 않은 에이전트가 팀 사이로 퍼집니다. 첫 대상은 지점 어드바이저나 영업 담당이 매일 손으로 보는 목록형 업무가 좋고 동시에 지원 부서 질문 로그로 콜센터 앞단 어시스턴트를 준비합니다. 사업 오너는 현업 부문장이 맡고 검토 기준과 데이터 경계는 컴플라이언스가 먼저 승인합니다. 관문을 통과한 에이전트가 쌓이면 그때 FA Assist 같은 호출 계층을 얹습니다.

원문 사례

항목	내용
원문	American Banker, Dan Shaw, 2026.11.2
인물	Koren Maranca, Morgan Stanley 자산관리 부문 AI 책임자
어드바이저 자작	자연어 프롬프트로 에이전트 제작, 시도 5만 건 가까이. 대부분 일상적으로 쓰이지 않음
자작 예시	고객 관심 보유 종목 추적, 기준 금액 넘는 현금 유출 일일 스캔·보고
검토	팀에서 쓰이는 에이전트는 정확성·완전성 검토, 전사 후보는 확대 테스트, 업무에 자리 잡은 것은 사용 후 검토·승인
AI@MS	콜센터 어시스턴트, 모닝 브리핑, 시그니처 저축계좌 이자 수입 추정. 대시보드에서 선택
콜센터	어드바이저 문의 약 절반을 AI가 먼저 받음. 모르면 서비스 데스크로 연결, 콜센터 직통 유지. 반복 테스트로 정확성, 전문가 1,000명+ 검토로 완전성
효과	주당 절감 시간 미공개. 어드바이저당 고객 수 증가 기대, 판단 업무는 사람이 유지
우선순위	AI에 노출되는 고객 데이터의 보안·프라이버시
다음 단계	AI@MS FA Assist 개발 중(일정 미공개). 대화로 포트폴리오 분석·시나리오·모델 탐색·제안서
업계	Goldman Sachs 일부 AI 코딩 도구 제한 보도. Morgan Stanley·JPMorgan·Charles Schwab은 외부 봇 접근 차단. Schwab 독립 어드바이저 조사(1,235명): 리서치 81%, 문서 초안 79%, 업무 흐름 72%, 고객 소통·행정 각 70%

핵심 개념

AI@MS

Morgan Stanley가 어드바이저에게 에이전트를 제공하는 사내 AI 프로그램과 대시보드입니다.

completeness

답이 맞는지와 별개로, 꼭 들어가야 할 내용이 빠짐없이 들어갔는지를 보는 기준입니다.

service desk

주문 처리, 만기 증권처럼 특정 업무를 맡는 사내 지원 창구입니다.

dossier

미팅 전에 고객과 안건을 정리해 건네는 여러 쪽짜리 준비 자료입니다.

signature savings account

Morgan Stanley가 MMF 대안으로 내놓은 자사 저축계좌 상품입니다.

outside bots

고객 대신 금융사 사이트에 접속하려는 외부 회사의 AI 에이전트입니다. 기사에서는 Meta와 OpenAI의 에이전트가 언급됩니다.

내 메모

TODO: 내 생각 추가

원문은 American Banker의 「Why Morgan Stanley is turning advisors loose to build their own AI agents」(Dan Shaw, 2026.11.2 게재)입니다. 요약, 핵심 메커니즘의 기사 내용, 통념과 다른 주장, 사례, 원문 사례 표는 기사 내용을 AX Review가 다시 정리했습니다. 핵심 메커니즘의 작은 예시, 기술·현업 실행 디테일, JSON 예시, 실패 대응 표, 역할·일정·판정 기준, 인포그래픽은 원문에 없는 내용으로 새로 작성했고 그 안의 필드명과 숫자는 가상 예시입니다. 기사 전문은 원문 페이지에서 볼 수 있습니다.