Forward Deployed Engineering: AWS가 45일 스프린트로 Marsh·Rio Tinto·삼성생명의 AI를 운영에 올린 방식
AWS FDE 총괄이 고객 현장 사례를 정리했습니다. Marsh는 감사 기준을 갖춘 첫 사용 사례를 착수 약 두 달 만에 운영에 올려 대상 업무 효율을 최대 70% 높였습니다. Rio Tinto 철광석 부문은 테이블 5,000개·앱 140개 레거시의 의존 관계 매핑을 수개월에서 몇 주로 줄였습니다.
AWS는 AI가 시범에서 멈추는 이유를 모델이 아니라 기반, 업무 규칙, 통제의 세 층에서 찾고 45일 스프린트로 고객 계정 안에 세 층을 함께 쌓습니다. 따라 하려면 첫 사례부터 공통 기반과 감사 기준을 설계에 넣고 실무자 머릿속 규칙을 기록으로 남길 사람과 일정을 따로 잡아야 합니다.
요약
AWS Forward Deployed Engineering(FDE, 고객 현장에 엔지니어를 붙여 AI를 운영까지 올리는 조직)을 이끄는 Asa Kalavade가 6월 출범 이후의 고객 작업을 정리한 글입니다. 저자는 많은 기업이 데모는 성공하고도 운영 직전에 멈춘다고 봅니다. 막히는 지점은 모델 성능이 아니라 지저분한 운영 데이터, 감사 요구, 시범에서 전사로 넓히는 일, 직원 머릿속에만 있는 규칙입니다. FDE는 이 구간을 세 층으로 나눕니다. 맨 아래가 공통 기반(ID, 보안, context, 통제), 그 위가 업무 자동화, 맨 위가 바뀌는 환경에서도 버티는 governance입니다. 소규모 AWS 엔지니어·과학자·PM이 고객 엔지니어, 그리고 전문 AI 에이전트들과 한 팀이 되어 고객의 AWS 계정 안에서 45일 단위 스프린트로 일합니다.
층마다 사례가 하나씩 붙어 있습니다. 삼성생명은 계열사 4곳이 따로 만들던 AI를 45일 만에 단일 control plane을 갖춘 에이전트 플랫폼으로 합쳤습니다. Rio Tinto 철광석 부문은 30년 된 Oracle 시스템의 의존 관계 매핑을 에이전트로 수개월에서 몇 주로 줄였고 결과는 사내 팀이 검증했습니다. Marsh는 자사 감사 기준을 통과하는 에이전트가 필요했고 첫 사용 사례가 착수 약 두 달 만에 운영에 들어가 대상 영역 효율을 최대 70% 높였습니다. 저자가 꼽는 이유는 시제품과 운영 버전 사이에 다시 짓는 일이 없다는 점입니다. 처음부터 고객 데이터와 보안 통제 위에서 만들고 찾아낸 규칙을 living context(업무가 돌아가는 방식을 담아 계속 갱신하는 기록)에 남깁니다. 수치는 모두 AWS가 전한 고객 결과입니다. 아래에서는 세 층과 스프린트 방식을 개념별로 풀고 실제로 돌릴 때 필요한 설계와 일정을 덧붙입니다.
핵심 메커니즘
Foundation과 AI reset: 두 번째 사례를 싸게 만드는 공통 층
에이전트가 일을 하려면 먼저 ID, 보안, context, governance, 운영 통제를 담은 공통 기반이 있어야 합니다. 저자는 이 중 context가 가장 약하다고 봅니다. 데이터가 여러 시스템에 흩어져 있고 에이전트가 기대어 추론할 공통 온톨로지(업무 개념과 그 관계를 정의한 모델)가 없습니다. 이 층을 건너뛰면 두 번째 시범 사업도 첫 번째만큼 돈이 들고 연동을 매번 다시 만들고 배운 것이 이어지지 않습니다. 그래서 확장 전에 멈추고 기반부터 까는 결정을 저자는 AI reset이라고 부릅니다.
언제 맞나: 사업부나 계열사가 이미 AI를 각자 만들고 있어 중복이 보일 때 맞습니다. 사례가 하나뿐이고 확장 계획이 없으면 이 층에 드는 비용이 커 보일 수 있습니다. 원문의 예가 삼성생명입니다. 새 에이전트를 다시 짓지 않고 플랫폼에 등록하고 정책을 지정하는 것만으로 배포하게 됐습니다.
Workflows와 숨은 규칙: 자동화보다 규칙 발굴이 어렵다
가장 빨리 성과가 나는 곳은 처리량이 많고 규칙이 많은 업무입니다. 원문은 보험금 청구, KYC 심사, 카드 분쟁, 대출 실행, 송장 대사, 인허가, 고객 응대를 듭니다. 저자는 자동화 자체보다 규칙을 찾아내는 일이 어렵다고 말합니다. 송장과 구매 주문이 어긋날 때 어느 쪽을 믿는지 같은 판단은 숙련 직원의 경험에 있고 문서에는 거의 없습니다. FDE는 이를 실무자와 짧은 주기로 실제 건을 처리하며 드러내고 living context에 남겨 팀이 떠난 뒤에도 시스템이 계속 배우게 합니다. 저자는 기존 업무를 더 빠르게 하는 데서 멈추지 말고 일하는 방식 자체를 AI로 바꿀 수 있는지 물으라고 권합니다.
Governance by design: 통제를 마지막 관문이 아니라 첫날 설계로
통제를 끝에 붙이면 운영을 막고 처음부터 넣으면 오히려 납기를 앞당긴다는 것이 저자의 주장입니다. 구체적인 요구는 네 가지입니다. 에이전트마다 사람과 분리된 자체 ID, 권한, 감사 기록을 둡니다. 모델이 확률적으로 움직이니 상시 모니터링합니다. 모델 drift, 규칙 변경, 데이터 형식 변화, 규제 강화, 새 보안 이슈, 더 나은 모델 등장에 시스템이 적응해야 합니다. 평가와 guardrail로 예측 가능해야 할 곳은 고정하고 유연해도 되는 곳은 풀어 둡니다. Marsh 사례가 이 층에 해당합니다.
45일 스프린트와 표준 스택: Speed, Scale, Control
FDE는 속도, 규모, 통제 가운데 하나를 포기하지 않는다는 원칙으로 일합니다. 속도 쪽에서는 모호한 목표에서 출발해 현업 이해관계자와 다듬고 첫날부터 고객 데이터와 ID 위에서 만들며 계속 동작하는 시연과 평가 지표로 진척을 보여 줍니다. 목표는 한 분기 이내 운영 시스템입니다. 규모 쪽에서는 AWS 서비스 팀이 쓰는 AI-Driven Development Lifecycle(AI-DLC, 넓은 문제를 동작하는 결과로 옮기는 AWS의 개발 방법)과 표준 스택을 모든 팀이 같이 씁니다. 문서 처리, 고객 감정 분석 같은 공통 작업은 accelerator(미리 만든 구성 요소)로 처리해 사례마다 업무 고유 로직에 집중합니다. 영업 자동화용 context가 다음 공급망 사례로 이어지는 식입니다.
통제 쪽에서는 모든 것이 고객 계정, 고객의 ID·네트워크·보안 통제 아래에서 돕니다. 고객 엔지니어가 첫 스프린트부터 함께 짜고 이관 뒤에는 control tower(모든 에이전트를 한 화면에서 통제·보안·모니터링하는 관리 층)로 운영합니다. 저자는 성공 척도를 “what remains after our engineers leave”로 정합니다. 한두 프로젝트 뒤 고객이 직접 AI software factory(에이전트와 엔지니어가 함께 소프트웨어를 만드는 체계)를 돌리는 것이 목표입니다. 새 모델은 Amazon Bedrock으로 다시 짓지 않고 바꿔 끼우고 고객이 쓰던 코딩 에이전트도 API와 개방형 표준으로 연결합니다.
통념과 다른 주장
흔히 이렇게 봅니다AI 시범 사업이 운영에 못 가는 이유는 모델 정확도가 아직 모자라서다.
저자는 이렇게 봅니다막히는 곳은 모델이 아니라 업무 쪽입니다. 운영 데이터, 감사 요구, 전사 확장, 문서에 없는 규칙이 걸림돌입니다.
근거Rio Tinto에서 시간이 든 일은 모델이 아니라 레거시 의존 관계 파악이었고 Marsh에서는 감사 기준 충족이 전제 조건이었습니다.
흔히 이렇게 봅니다통제와 감사 장치를 많이 넣을수록 AI 도입은 느려진다.
저자는 이렇게 봅니다통제를 첫날 설계에 넣으면 운영 진입이 오히려 빨라집니다. 끝에 붙일 때만 관문이 됩니다.
근거감사 기준을 먼저 세운 Marsh는 첫 사용 사례를 착수 약 두 달 만에 운영에 올렸습니다.
저자가 든 사례
삼성생명: 계열사별 AI를 하나의 플랫폼으로
| 구분 | 내용 |
|---|---|
| 상황 | 삼성생명과 계열사 4곳이 AI 단일 솔루션을 각자 처음부터 만들고 있었음 |
| 한 일 | 단일 control plane과 내장 컴플라이언스를 갖춘 에이전트 플랫폼 구축 |
| 결과 | 45일 만에 구축. 새 에이전트는 다시 만들지 않고 등록과 정책 지정으로 배포 |
| 연결 | Foundation과 AI reset |
Rio Tinto 철광석 부문: 30년 된 레거시의 의존 관계 매핑
| 구분 | 내용 |
|---|---|
| 상황 | 광산에서 선적까지 이어지는 공급망이 테이블 5,000개 이상, 애플리케이션 140개인 30년 된 Oracle 시스템 위에서 돌아감. 매핑에 수개월이 걸리던 일 |
| 한 일 | 에이전트가 시스템의 의존 관계를 찾아 Rio Tinto 팀이 검증하고 그 위에 개발할 수 있게 제시 |
| 결과 | 수개월 걸리던 매핑을 몇 주로. 사내 팀이 검증 |
| 연결 | Workflows와 숨은 규칙 |
Marsh: 감사 기준을 먼저 세운 첫 사용 사례
| 구분 | 내용 |
|---|---|
| 상황 | 글로벌 전문 서비스 기업 Marsh는 자사 감사 기준을 충족하는 에이전트가 필요했음 |
| 한 일 | 통제를 처음부터 넣고 첫 사용 사례를 구축. 이후 작업 범위를 넓히며 시스템을 계속 확장 중 |
| 결과 | 착수 약 두 달 만에 운영. 대상 영역 효율 최대 70% 개선, 일부 단계는 몇 시간에서 몇 초로. 구체적인 업무명은 원문에서 밝히지 않음 |
| 연결 | Governance by design |
이름을 밝히지 않은 금융 고객: AI-DLC로 개발 체계 전환
| 구분 | 내용 |
|---|---|
| 상황 | AI로 소프트웨어 개발을 키우려는 금융 고객 |
| 한 일 | AI-DLC로 에이전트와 엔지니어가 함께 만드는 AI software factory 구축 |
| 결과 | 처리량 53% 증가, 코드 리뷰 56% 빨라짐 |
| 연결 | 45일 스프린트와 표준 스택(Control) |
기술 디테일: 세 층을 직접 쌓는다면
아래 필드명, 설정값, 기준은 실제로 돌릴 때 필요한 것을 새로 쓴 가상 예시입니다. 원문 내용은 그렇다고 밝혔습니다.
Rio Tinto식 의존 관계 매핑을 돌리려면 에이전트에게 원천 메타데이터를 먼저 줍니다. 입력은 DB 카탈로그(테이블·컬럼·외래 키), 저장 프로시저와 뷰 정의, 배치 작업 일정, 애플리케이션 연결 설정, 가능하면 쿼리 로그입니다. 에이전트는 테이블 묶음 단위로 호출하고(예: 한 번에 50개), 결과를 아래 같은 구조화 출력으로 냅니다. 근거 없는 추론을 막으려면 evidence 필드가 빈 항목은 자동으로 “검토 대기”로 돌립니다. 같은 묶음을 temperature 0으로 두 번 돌려 결과가 다른 항목도 검토 대기로 보냅니다.
{
"edge_id": "dep-0412",
"from": {"type": "application", "name": "선적 계획 앱"},
"to": {"type": "table", "name": "SHIP_SCHEDULE"},
"relation": "writes",
"evidence": ["procedure: UPD_SHIP_PLAN", "query_log: 2026-10-02"],
"confidence": 0.82,
"status": "pending_review",
"reviewer": null
}
검증은 표본과 기준을 정해 사람이 합니다. 원문에서도 결과를 확정한 것은 Rio Tinto 팀이었습니다. 의존 관계 목록에서 무작위 100건과 핵심 업무(선적·재고 등) 관련 전수를 뽑아 담당자가 맞음·틀림·모름으로 표시합니다. 정밀도가 90% 아래면 입력 메타데이터나 프롬프트를 고쳐 다시 돌립니다. 확정된 관계는 living context에 근거와 함께 저장해 다음 사례가 다시 쓰게 합니다.
living context는 규칙 한 줄마다 출처와 버전을 붙여 저장합니다. 송장과 구매 주문이 어긋날 때 어느 쪽을 믿는지 같은 규칙을 아래처럼 기록합니다. 에이전트는 이 저장소를 검색해 판단 근거로 쓰고 근거로 쓴 rule_id를 감사 기록에 남깁니다.
{
"rule_id": "ap-match-007",
"domain": "송장 대사",
"rule": "단가 차이 2% 이내면 구매 주문 단가를 따른다",
"source": "AP 담당자 인터뷰, 실제 건 12건 확인",
"owner": "재무운영팀",
"version": 3,
"valid_from": "2026-11-01"
}
Governance by design을 돌리려면 에이전트마다 사람과 분리된 ID를 발급합니다. 에이전트 ID에 필요한 도구와 데이터만 최소 권한으로 붙이고 호출마다 입력 요약, 쓴 도구, 근거 rule_id, 결과, 사람 승인 여부를 감사 기록으로 남깁니다. 평가용 골든 셋(정답을 아는 실제 건 100~200건)을 만들어 프롬프트 변경이나 모델 교체 전에 회귀 시험을 돌립니다. 모니터링은 정확도, 사람 개입 비율, 건당 비용, 응답 시간을 control tower 한 화면에 모으고 주간 기준에서 벗어나면 경보를 보냅니다.
| 막히는 경우 | 증상 | 대응 |
|---|---|---|
| 규칙이 사람마다 다름 | 같은 건에 담당자 판정이 갈림 | 규칙 소유 부서를 정하고 충돌 규칙은 소유자가 확정할 때까지 사람 승인으로 처리 |
| 레거시 메타데이터 누락 | 외래 키 없이 코드로만 연결 | 쿼리 로그와 배치 일정으로 보완하고 근거가 로그뿐이면 신뢰도 낮춤 |
| 모델 교체 뒤 성능 하락 | 골든 셋 점수 하락 | 교체 전 회귀 시험 통과를 배포 조건으로 둠 |
| 감사 기록이 흩어짐 | 에이전트마다 로그 형식이 다름 | 공통 필드(에이전트 ID, rule_id, 결과, 승인자)를 기반 층에서 강제 |
현업 실행 디테일: 누가, 언제, 무엇을
아래 역할, 일정, 기준은 원문의 진행 방식을 참고해 새로 짠 가상 예시입니다. 원문이 요구한 준비물은 결과를 책임지는 임원과 함께 개발할 엔지니어입니다.
| 역할 | 맡는 일 |
|---|---|
| 결과 책임 임원 | 첫 스프린트 산출물과 성공 지표 합의, 진행 판정 |
| 고객 엔지니어(3~5명) | 첫 스프린트부터 함께 개발, 이관 뒤 운영과 확장 |
| 현업 실무자(2~3명) | 실제 건 제공, 숨은 규칙 설명·확인, 결과 검증 |
| 보안·감사 담당 | 에이전트 ID·권한 정책 승인, 감사 기준 정의 |
| 데이터 소유 부서 | 원천 시스템 접근 권한, 메타데이터 제공 |
| 외부 FDE 또는 파트너 | 환경 구성, 규칙 발굴, 구축, 이관 지원 |
시작 전 준비물. 대상 업무 하나와 현재 처리 시간·오류율 기준선, 실제 처리 건 50건(개인정보 처리 완료), 관련 시스템 목록과 접근 권한 신청, 감사 기준 문서가 필요합니다.
| 기간 | 할 일 | 산출물 |
|---|---|---|
| 1~7일 | 계정·권한·데이터 접근 구성, 성공 지표 합의 | 환경 점검표, 성공 지표 정의서 |
| 8~20일 | 실무자와 실제 건 처리, 규칙·의존 관계 수집 | 규칙 초안 목록, 의존 관계 후보 |
| 21~38일 | 에이전트 구축, 골든 셋 평가, 감사 기록 연결 | 동작 시연, 평가 결과표 |
| 39~45일 | 고객 팀 운영 인수, 진행 판정 | 운영 매뉴얼, 다음 스프린트 범위 |
실무자와 감사 담당에게 물을 것.
- 이 업무에서 두 자료가 어긋날 때 어느 쪽을 믿나요? 예외는 언제인가요?
- 신입에게 가장 오래 걸려 가르치는 판단은 무엇인가요?
- 에이전트가 처리한 건을 감사할 때 무엇이 기록돼 있어야 하나요?
- 사람 승인 없이 에이전트가 끝내도 되는 건의 범위는 어디까지인가요?
- 다음에 같은 기반을 쓸 수 있는 업무는 무엇인가요?
진행 판정 기준(예시). 골든 셋 정확도가 현재 사람 처리 수준 이상이고 감사 담당이 기록 항목을 승인하고 고객 엔지니어가 FDE 없이 규칙 하나를 추가·배포할 수 있으면 다음 스프린트로 넘어갑니다. 셋 중 하나라도 못 미치면 범위를 줄여 같은 업무에서 한 번 더 돕니다.
AX 적용 제언. 계열사나 사업부가 AI를 따로 만들고 있는 그룹사라면 다음 시범 사업보다 공통 기반을 먼저 묻는 편이 낫습니다. 삼성생명 사례가 바로 그 상황이었습니다. 첫 업무는 처리량이 많고 규칙이 문서에 없는 백오피스 업무 하나로 고르고 감사 담당을 첫 주부터 참여시킵니다. 레거시 ERP 전환을 앞둔 제조·자원 기업은 Rio Tinto처럼 의존 관계 매핑부터 에이전트에 맡겨 전환 범위를 정하는 데 쓸 수 있습니다. 외부 FDE나 파트너를 쓸 때는 계약 성과 지표에 “고객 팀이 혼자 만든 두 번째 사례”를 넣어 내재화를 확인합니다. 경영진에게는 사례별 효율 수치와 함께 두 번째 사례의 구축 기간과 비용이 첫 사례보다 얼마나 줄었는지를 보고하면 기반 투자의 효과가 보입니다.
원문 사례
| 항목 | 내용 |
|---|---|
| 글 | 「Getting AI out of the demo and into businesses globally」, AWS Machine Learning Blog, 2026.11.17 |
| 저자 | Asa Kalavade, AWS Forward Deployed Engineering 총괄(이전 AWS Transform 담당) |
| FDE | 6월 출범. 현재 미국·한국·일본 등 15개국에서 민간·공공 고객 대상 |
| 진행 방식 | 고객 AWS 계정 안에서 45일 스프린트, 스프린트마다 정해진 가격을 고객 AWS 계정으로 청구. 목표는 한 분기 이내 운영 |
| 팀 | AWS 엔지니어·과학자·PM 소수 + 고객 엔지니어 + 전문 AI 에이전트. 다수가 Bedrock, AgentCore, Kiro, AWS Quick, Security Hub 개발 출신 |
| 표준 스택 | living context, workbench, Amazon Bedrock AgentCore runtime, control tower |
| 삼성생명 | 계열사 4곳 통합 에이전트 플랫폼 45일 구축 |
| Rio Tinto 철광석 | Oracle 시스템(테이블 5,000개 이상, 앱 140개) 매핑 수개월에서 몇 주로, 사내 팀 검증 |
| Marsh | 첫 사용 사례 착수 약 2개월 만에 운영, 대상 영역 효율 최대 70%, 일부 단계 몇 시간에서 몇 초로 |
| 금융 고객(비공개) | AI-DLC 적용 후 처리량 53% 증가, 코드 리뷰 56% 빨라짐 |
| 시작 순서 | AWS 어카운트 팀 상담 → 결과 책임 임원과 엔지니어 확보 → 며칠 안 착수 → 첫 스프린트 산출물과 성공 척도 합의 |
핵심 개념
- Last mile
- 데모가 동작한 뒤 실제 운영에 오르기까지 남은 구간으로, 원문은 여기서 대부분의 프로젝트가 멈춘다고 봅니다.
- Greenfield / Brownfield
- 새로 짓는 시스템과 기존 시스템 위에 얹는 작업을 가르는 말로, 원문은 세 층이 두 경우 모두에 해당한다고 봅니다.
- Amazon Bedrock AgentCore
- AWS에서 에이전트를 실행·운영하는 런타임 서비스로, FDE 표준 스택의 실행 층입니다.
- Accelerator
- 문서 처리, 감정 분석처럼 여러 사례에 반복되는 작업을 미리 만들어 둔 구성 요소입니다.
- Model drift
- 시간이 지나며 입력 데이터나 모델 동작이 바뀌어 처음 검증한 성능에서 벗어나는 현상입니다.
- Flywheel
- 원문에서는 사례마다 쌓인 context·스택·팀 역량이 다음 사례를 쉽게 만들고 고객에게서 배운 것이 AWS 제품에 반영되는 순환을 가리킵니다.
내 메모
TODO: 내 생각 추가
원문은 Asa Kalavade의 「Getting AI out of the demo and into businesses globally」(AWS Machine Learning Blog, 2026.11.17)입니다. AWS가 자사 서비스를 소개하는 글이라 사례 수치는 AWS가 전한 고객 결과입니다. 요약, 핵심 메커니즘, 통념과 다른 주장, 사례는 원문에 나온 내용을 AX Partners가 다시 정리했습니다. 기술·현업 디테일의 필드명, JSON 예시, 정밀도 기준, 일정, 질문, 판정 기준, 인포그래픽과 표는 실제로 돌릴 때 필요한 것을 새로 작성한 가상 예시입니다. 전체 내용은 원문에서 확인할 수 있습니다.