AX Enablement

AI Economics on Amazon Bedrock: Accenture가 토큰 비용을 40~85% 줄인 세 단계 순서

Accenture는 워크로드별 비용 귀속을 먼저 켠 뒤 캐시·일괄 처리, 라우팅·문맥 압축, semantic caching·distillation 순으로 적용해 고객사 네 곳의 토큰 지출을 약 40~85% 줄였습니다. 통신사는 연 1,200만 달러를 380만 달러로 낮췄고, 대기업은 최상위 모델이 필요한 작업이 약 15%뿐이었습니다.

출처
AWS Machine Learning Blog · Ilan Geller 외
원문 제목
Optimize AI economics on Amazon Bedrock with Accenture's sequenced approach
유형
포스트
읽은 날
2026.11.21
원문 발행
2026.11.19

AWS와 Accenture는 토큰 비용을 줄이는 수단 여섯 가지를 손이 덜 가는 순서로 세 단계에 묶고, 그보다 먼저 워크로드별 비용 추적부터 켜라고 권합니다. 고객사 네 곳에서 토큰 지출이 약 40~85% 줄었고, 통신사는 연 1,200만 달러를 380만 달러로 낮췄습니다. 따라 하려면 성과 하나당 비용과 품질 기준선을 먼저 재고 수단은 워크로드마다 하나씩 바꿔야 합니다.

요약

AWS Machine Learning Blog에 2026년 11월 19일 실린 글로, Accenture의 Ilan Geller와 Steven Cox, AWS의 Manoj Ravulapati와 Rajdeep Banerjee가 함께 썼습니다. 출발점은 토큰 단가가 떨어져도 전체 지출은 늘 수 있다는 관찰입니다. 값이 싸지면 쓰는 곳이 늘고, 에이전트는 요청 하나를 여러 번의 모델 호출로 불립니다. 저자들은 그래서 비용 절감 이전에 귀속(attribution, 비용을 팀·워크로드·에이전트에 나눠 붙이는 일)을 먼저 하라고 합니다. Amazon Bedrock의 애플리케이션 추론 프로필(application inference profile)에 팀·비용 센터·환경 태그를 달면 청구서의 한 줄짜리 AI 비용이 워크로드별로 쪼개집니다. 그다음 여섯 가지 수단을 세 단계로 적용합니다. 1단계는 설정만 바꾸는 prompt caching과 batch inference입니다. 2단계는 구조를 바꾸는 라우팅·RAG 최적화·문맥 줄이기이고, 3단계는 인프라와 학습에 돈을 쓰는 semantic caching과 distillation입니다.

0. 귀속추론 프로필 태그CUR 2.0·로그1단계 설정prompt cachingbatch inference2단계 구조라우팅·RAG문맥 범위·압축3단계 투자semantic cachingdistillation
손이 덜 가는 수단부터 순서대로, 워크로드별로 골라 적용

결과는 고객사의 출발점에 따라 달랐습니다. 아무 최적화가 없던 대기업 배포는 모델 등급 나누기(tiering), prompt caching, 일괄 처리를 함께 넣어 월 토큰 비용을 85% 줄였습니다. 이 회사에서 최상위 모델이 꼭 필요한 작업은 약 15%였습니다. 연 1,200만 달러를 쓰던 통신사는 분류 라우팅(triage routing), semantic caching, 문맥 압축을 한꺼번에 넣었습니다. 입력 토큰이 70% 줄었고 연 지출은 380만 달러(68% 감소)가 됐습니다. 출력 품질은 변경 전 자체 성능 벤치마크와 비교해 확인했습니다. 보험사와 광산사는 캐시 하나씩만 넣었는데 둘을 합쳐 약 40%가 줄었습니다. 저자들은 절감액이 워크로드마다 다르다고 밝히고, 운영 원칙으로 기준선 먼저 재기, 실제 트래픽으로 검증, 워크로드마다 수단 하나씩 바꾸기, 규제 업종의 기록 남기기를 듭니다. 아래에서는 단계별 수단이 어떻게 돌아가는지 풀고 우리 회사 AI 워크로드에 처음 적용할 때 필요한 기술·현업 디테일을 덧붙입니다.

대기업월 토큰 비용85%통신사연 토큰 지출68%보험사+광산사합산, 약 40%40%0100%
원문 수치, 0 기준 막대. 보험사·광산사는 두 곳 합산 값

핵심 메커니즘

Attribution과 CpBT: 성과 하나에 든 돈을 먼저 잰다

무엇인가. 비용을 줄이기 전에 어느 팀, 어느 워크로드, 어느 에이전트가 돈을 쓰는지 보이게 만드는 단계입니다. Accenture는 여기에 CpBT(Cost per Business Transaction, 성공한 업무 결과 하나에 든 총비용)라는 틀을 더합니다.

어떻게 작동하나. 워크로드마다 애플리케이션 추론 프로필을 하나씩 만들고 팀·비용 센터·환경 태그를 붙인 뒤 청구 콘솔에서 태그를 활성화합니다. 그러면 세 가지 자료가 서로 다른 질문에 답합니다. CUR 2.0(비용·사용량 보고서)은 얼마가 들었는지, CloudWatch는 얼마나 자주·빨리 호출됐는지, 모델 호출 로그는 요청마다 어떤 모델이 입력·출력 토큰을 몇 개 썼는지 알려 줍니다. CpBT는 성과 하나 뒤에 있는 모든 모델 호출, 재시도, 도구 호출, 에이전트 간 인계를 합칩니다. 실패한 시도까지 들어가므로 토큰 단가만 볼 때 숨는 비용이 드러납니다.

언제 쓰나. 모든 최적화의 전제입니다. 청구서가 커졌을 때 사용이 늘어 생긴 좋은 증가인지, 낭비인지 가르려면 비용을 업무 가치 옆에 놓고 봐야 합니다.

입력호출·재시도도구 호출·인계처리성과 단위로 합산실패 시도 포함출력CpBT성과 1건의 총비용판단업무 가치와 비교확장인가 낭비인가
토큰 단가가 아니라 성과 단위로 비용을 봄

Prompt Caching과 Batch Inference: 설정만 바꾸는 1단계

무엇인가. 코드 구조를 건드리지 않고 켤 수 있는 두 수단입니다. prompt caching은 시스템 지시문, 도구 정의, 참고 문서처럼 요청마다 반복되는 앞부분을 재사용합니다. batch inference는 급하지 않은 요청을 모아 비동기로 처리합니다.

어떻게 작동하나. 프롬프트에 캐시 체크포인트를 표시하면 Bedrock이 그 앞부분(prefix)의 계산 상태를 저장합니다. 다음 요청은 그 부분을 다시 계산하지 않습니다. 지원 모델에서 캐시된 입력 토큰 비용을 최대 90% 줄이도록 설계돼 있습니다. batch inference는 요청을 작업 단위로 제출하면 묶어서 돌리고 결과를 Amazon S3에 씁니다. 일부 모델에서 온디맨드 대비 50% 쌉니다.

언제 쓰나. prompt caching은 같은 문맥이 반복되는 대화형 트래픽에, batch는 야간 보고서·문서 처리·평가 실행처럼 즉시 답이 필요 없는 일에 씁니다. batch는 응답 시간을 내주고 값을 받는 거래이고, caching은 동기 호출을 그대로 두고 프롬프트 모양을 바꿉니다.

Prompt cachingBatch inference· 반복되는 앞부분 재사용· 동기 호출 유지· 캐시 입력 최대 90%↓· 급하지 않은 요청 묶음· 결과는 S3로· 일부 모델 50%↓
둘 다 설정 변경만으로 적용하는 1단계 수단

Routing과 문맥 줄이기: 구조를 바꾸는 2단계

무엇인가. 요청마다 맞는 크기의 모델을 고르고, 모델에 들어가는 문맥 토큰을 줄이는 구조 변경입니다. 원문은 지능을 얼마나, 어느 수준으로 쓸지를 결과마다 맞추는 일이 목표이고 토큰을 무조건 줄이는 일은 목표가 아니라고 밝힙니다.

어떻게 작동하나. intelligent prompt routing은 같은 모델 계열 안에서 작업의 복잡도·가치·위험에 맞는 모델로 요청을 보냅니다. AWS는 정확도를 해치지 않고 비용을 최대 30% 줄일 수 있다고 밝힙니다. Accenture의 모델 등급 나누기와 분류 라우팅도 같은 수단입니다. 문맥 쪽에는 세 가지가 있습니다. RAG 최적화는 계층형 청킹, 메타데이터 필터, 재순위(reranking)로 꺼내 오는 문서 조각을 줄입니다. context scoping(문맥 범위 제한)은 에이전트마다 자기 단계에 필요한 문서 조각만 넘깁니다. context compression(문맥 압축)은 문서를 모델에 보내기 전에 요약하거나 걸러 냅니다.

언제 쓰나. 쉬운 요청과 어려운 요청이 섞여 있는데 모두 최상위 모델로 가는 경우, 그리고 에이전트 여러 개가 사건 전체 문맥을 인계마다 통째로 넘겨 입력이 불어나는 경우입니다.

요청복잡도·가치·위험판정라우팅가장 작은적합 모델문맥RAG 조각 축소범위 제한·압축모델 호출입력 토큰 감소등급별 단가
어떤 모델에, 얼마만큼의 문맥을 보낼지를 함께 정함

Semantic Caching과 Distillation: 투자가 드는 3단계

무엇인가. semantic caching은 문구가 달라도 뜻이 비슷한 질문이 오면 저장해 둔 답을 돌려줍니다. model distillation은 큰 teacher 모델의 지식을 작고 빠른 student 모델에 옮깁니다.

어떻게 작동하나. semantic caching은 모델 앞에 Amazon ElastiCache 같은 벡터 저장소를 두고 새 질문과 저장된 질문의 유사도를 잽니다. AWS가 실제 챗봇 질문 63,796건으로 잰 벤치마크에서 유사도 임계값 0.90일 때 캐시 적중률 74.5%, 정확도 92.3%, 비용 절감 72.5%가 나왔습니다. 모든 경로에 Amazon Bedrock Guardrails를 유지하고 캐시 만료 시간을 둬 낡은 답이 나가지 않게 합니다. distillation으로 만든 모델은 원본보다 최대 500% 빠르고 최대 75% 싸며, RAG 같은 용도에서 정확도 손실이 2% 미만이라고 원문은 전합니다.

언제 쓰나. semantic caching은 비슷한 질문이 반복되는 상담·사내 문의에, distillation은 학습 비용을 거래량으로 회수할 수 있는 안정적이고 물량이 큰 워크로드에 씁니다. prompt caching이 프롬프트 앞부분을 재사용한다면 semantic caching은 답 전체를 재사용합니다.

캐시 적중률임계값 0.9074.5%정확도63,796건 기준92.3%비용 절감AWS 벤치마크72.5%0100%
원문이 전한 AWS 벤치마크 수치, 0 기준 막대

Operating Tenets: 한 번에 하나씩 바꾸고 실제 트래픽으로 확인한다

무엇인가. 수단을 운영 환경에 넣을 때 지키는 네 가지 원칙입니다.

어떻게 작동하나. 첫째, 어떤 수단이든 넣기 전에 비용과 품질 기준선을 잽니다. 둘째, 합성 벤치마크가 아니라 실제 운영 트래픽에서 떼어 둔 평가 세트로 검증합니다. 셋째, 워크로드마다 수단을 하나씩 바꿔 어느 변화가 얼마를 줄였는지 가르고, 품질이 허용선 아래로 떨어지면 깔끔하게 되돌립니다. 넷째, 금융·보험·의료처럼 규제가 있는 업종은 품질 시험 결과와 되돌리기 절차를 변경 관리 기록에 남깁니다. 품질 검증의 일괄 평가에는 Amazon Bedrock AgentCore Evaluations를 쓸 수 있다고 원문은 덧붙입니다.

언제 쓰나. 1단계부터 모든 변경에 적용합니다. 수단을 여러 개 동시에 넣으면 절감액이 어디서 왔는지 나눌 수 없습니다.

기준선비용·품질변경 전 측정평가 세트실제 트래픽에서떼어 둔 표본하나씩워크로드당수단 1개기록시험 결과되돌리기 절차
절감액을 변화 하나에 귀속하고 품질이 떨어지면 되돌림

통념과 다른 주장

흔히 이렇게 봅니다모델 토큰 단가가 계속 떨어지니 AI 비용 문제는 시간이 풀어 준다고 봅니다.

저자는 이렇게 봅니다단가가 내려가면 쓰는 곳이 늘고 에이전트가 호출 수를 불리므로 소비가 가격 하락을 앞지를 수 있습니다. 물어야 할 것은 업무 가치가 그 가치를 만드는 비용보다 빨리 느는지입니다.

근거저자들은 이 판단을 위해 성과 하나당 총비용(CpBT)을 재는 틀을 쓰고, 비용 귀속을 모든 최적화보다 먼저 둡니다.

흔히 이렇게 봅니다품질이 걱정되면 모든 요청을 가장 좋은 모델로 보내는 편이 안전하다고 봅니다.

저자는 이렇게 봅니다최상위 모델이 꼭 필요한 일은 일부이고, 나머지는 가벼운 모델로 보내도 됩니다.

근거대기업 사례에서 어렵고 열린 추론이 필요한 작업은 약 15%였고, 등급 나누기를 포함한 조합으로 월 토큰 비용이 85% 줄었습니다. 통신사는 변경 전 벤치마크로 품질을 확인했습니다.

작업 20건 중약 15%만 최상위 모델나머지는 가벼운 모델로
원문 비율을 점 20개로 환산한 그림

저자가 든 사례

고객사 이름은 원문에서 밝히지 않았고 업종으로만 구분합니다.

대기업 배포: 아무 최적화 없이 시작한 곳

구분내용
상황모든 요청이 최상위(frontier) 모델로 감. 캐시·등급 나누기·일괄 처리 없음
한 일모델 등급 나누기, prompt caching, 일괄 처리를 함께 적용
결과월 토큰 비용 85% 감소. 최상위 모델이 필요한 작업은 약 15%. 수단별 절감 분해는 원문에서 밝히지 않음
연결1단계(prompt caching, batch inference) + 2단계(routing)
상황전부 최상위 모델최적화 없음한 일등급 나누기캐시·일괄 처리결과월 토큰 비용 85%↓최상위 필요 약 15%
원문 수치

통신사: 에이전트가 요청을 끝없이 불리던 곳

구분내용
상황연 1,200만 달러 토큰 지출. 에이전트가 요청을 제한 없이 퍼뜨리고 복잡도와 상관없이 전부 최상위 모델로 보냄
한 일분류 라우팅, semantic caching, 문맥 압축을 함께 적용(적용 순서는 원문에서 밝히지 않음)
결과입력 토큰 70% 감소, 연 지출 380만 달러(68% 감소). 출력 품질은 변경 전 자체 성능 벤치마크로 검증
연결2단계(routing, context compression) + 3단계(semantic caching)
적용 전연 토큰 지출$12M적용 후라우팅·캐시·압축$3.8M0$12M
원문 수치, 0 기준 막대, 단위 백만 달러(연간)

보험사와 광산사: 캐시 하나씩만 넣은 곳

구분내용
상황반복되는 프롬프트 앞부분(보험사), 반복되는 질문(광산사)
한 일보험사는 모델 계층의 prefix caching, 광산사는 애플리케이션 계층의 semantic cache. 라우팅·학습 변경 없음
결과두 곳 합쳐 토큰 지출 약 40% 감소. 회사별 수치는 원문에서 밝히지 않음
연결1단계(prompt caching)와 3단계(semantic caching)를 각각 하나씩
보험사광산사· 모델 계층 캐시· 정적 프롬프트 앞부분 재사용· 애플리케이션 계층 캐시· 반복 질문에 저장된 답
두 곳 합산 약 40% 감소, 회사별 값은 원문에 없음

기술 디테일: 우리 워크로드에 세 단계를 붙인다면

아래는 원문에 없는 내용으로, 같은 순서를 실제로 돌릴 때 필요한 것을 정리했습니다. 필드명·설정값·수치는 모두 가상 예시입니다.

귀속(Attribution)과 CpBT를 재려면 호출 로그에 업무 키를 박아 둡니다. 태그만으로는 워크로드 단위까지만 보입니다. 성과 단위로 합치려면 요청마다 transaction_id를 만들어 에이전트 인계와 재시도에 그대로 물려줍니다. 호출 로그에는 workload, transaction_id, step, model_id, input_tokens, cached_input_tokens, output_tokens, retry_no, outcome(success·fail·escalated)을 남깁니다. 하루 단위로 transaction_id별 비용을 합친 뒤 outcome이 success인 건수로 나누면 CpBT가 나옵니다. 실패한 거래의 비용은 버리지 않고 분자에 남겨야 재시도 낭비가 보입니다.

{
  "workload": "claims-intake",
  "transaction_id": "TX-20261121-08817",
  "step": "doc_extract",
  "model_id": "mid-tier",
  "input_tokens": 6120,
  "cached_input_tokens": 4800,
  "output_tokens": 410,
  "retry_no": 0,
  "outcome": "success"
}
답하는 질문단위CUR 2.0얼마가 들었나워크로드·팀별 청구액CloudWatch얼마나 자주·빨리호출 수·지연호출 로그요청마다 무엇을모델·토큰 수업무 키성과 하나에 얼마transaction_id 합산
앞의 세 개는 원문, 업무 키는 가상 예시로 덧붙임

prompt caching 효과를 보려면 프롬프트 순서를 고정합니다. 캐시는 앞부분이 바이트 단위로 같아야 맞습니다. 시스템 지시문 → 도구 정의 → 참고 문서처럼 변하지 않는 부분을 앞에, 사용자 질문과 날짜·사용자 이름처럼 매번 바뀌는 값을 뒤에 둡니다. 지시문 맨 앞에 오늘 날짜를 넣는 습관 하나가 캐시를 매번 깨뜨립니다. 배포 첫 주에는 cached_input_tokens ÷ input_tokens 비율을 워크로드별로 매일 봅니다. 30% 아래면 프롬프트 템플릿에서 바뀌는 값이 앞쪽에 섞였는지부터 확인합니다(가상 기준).

라우팅을 돌리려면 분류기의 출력을 고정된 JSON으로 받습니다. 작은 모델에게 요청을 먼저 보여 주고 complexity(low·mid·high), risk(low·high), needs_reasoning(true·false), route(light·mid·frontier), reason 필드만 내게 합니다. temperature는 0으로 둡니다. risk가 high인 요청과 분류기가 JSON을 깨뜨린 요청은 frontier로 보내는 안전 기본값을 둡니다. 처음 2주는 실제로는 기존 모델로 처리하면서 분류 결과만 기록하는 그림자 모드로 돌립니다. 그동안 표본 200건을 frontier와 light 양쪽에 돌려 답을 비교하면 어느 구간을 내려도 되는지 근거가 생깁니다.

{
  "complexity": "low",
  "risk": "low",
  "needs_reasoning": false,
  "route": "light",
  "reason": "요금제 조회, 정형 답변"
}
요청원문 질의메타데이터분류기작은 모델temperature 0routelight·midfrontier안전 기본값risk highJSON 오류 → frontier
가상 예시, 모르면 큰 모델로 보내는 쪽을 기본값으로

문맥 압축은 인계 지점마다 토큰 수를 찍어 보고 시작합니다. 통신사처럼 에이전트가 요청을 불리는 구조에서는 인계마다 입력이 쌓입니다. step별 평균 input_tokens를 막대로 그려 가장 두꺼운 인계 하나를 고르고, 거기에만 “이 단계가 쓰는 필드 목록”을 정해 그 필드만 넘깁니다. 요약 압축은 숫자·날짜·계약 조건을 잃기 쉬우므로 요약문과 원문에서 숫자를 뽑아 서로 맞는지 자동 대조합니다.

semantic caching은 임계값과 만료를 워크로드별로 정합니다. 원문 벤치마크의 0.90은 출발점일 뿐입니다. 요금·재고·규정처럼 답이 자주 바뀌는 주제는 만료를 짧게(예: 24시간) 두거나 캐시에서 뺍니다. 계정 번호나 이름이 들어간 질문은 저장 전에 개인 정보를 지우거나 캐시하지 않습니다. 적중한 답도 Guardrails를 다시 거치게 둡니다. 운영 중에는 적중 답 중 매주 100건을 뽑아 사람이 맞고 틀림을 표시하고, 틀린 비율이 기준을 넘으면 임계값을 올립니다(가상 기준).

수단을 하나씩 바꿀 때 판정은 같은 평가 세트로 합니다. 지난 4주 운영 트래픽에서 300~500건을 떼어 정답 또는 채점 기준을 붙여 둡니다. 수단을 하나 넣을 때마다 이 세트를 3회 돌려 평균과 편차를 기록하고, 품질 점수가 기준선보다 2%p 넘게 떨어지면 되돌립니다(가상 기준). 규제 업종은 평가 결과 파일과 되돌리기 절차를 변경 요청서에 첨부합니다.

distillation은 물량과 안정성을 먼저 확인하고 결정합니다. 같은 형식의 요청이 3개월 넘게 꾸준히 들어오고 프롬프트가 그동안 거의 바뀌지 않은 워크로드만 후보로 둡니다. 학습·평가에 드는 비용을 월 절감 예상액으로 나눠 회수 기간을 내고, 그 기간이 6개월을 넘으면 1·2단계 수단을 더 다듬는 편이 낫습니다(가상 기준). student 모델은 teacher와 같은 평가 세트로 채점하고, 업무 규칙이 바뀌면 다시 학습해야 하므로 재학습 주기와 담당자를 함께 정합니다.

귀속1단계2단계판정1~2주귀속·기준선3~4주caching·batch5~6주라우팅 그림자7~8주판정·다음 수단
가상 예시 일정, 한 번에 수단 하나

현업 실행 디테일: 누가, 언제, 무엇을

역할맡는 일
워크로드 오너(현업 팀장)업무 성과 1건의 정의, 품질 허용선 승인, 최종 진행 판정
플랫폼·MLOps 엔지니어추론 프로필·태그, 호출 로그, 캐시·라우팅 구현
FinOps·재무 담당태그 활성화, CUR 2.0 집계, CpBT 월간 보고
품질 평가 담당평가 세트 구축, 채점 기준, 수단별 전후 비교
보안·컴플라이언스캐시 저장 범위(개인 정보), Guardrails, 변경 기록 승인

시작 전 준비물. AI 워크로드 목록과 각 워크로드의 월 토큰 지출, 워크로드마다 “성공한 성과 1건”의 정의 한 줄(예: 처리 완료된 상담 1건, 등록된 청구 1건), 지난 4주 운영 트래픽 표본, 그리고 품질이 얼마나 떨어지면 되돌릴지 현업과 합의한 허용선입니다.

기간할 일산출물
1~2주차태그·호출 로그 켜기, 지출 상위 워크로드 3개 선정, 비용·품질 기준선워크로드별 지출표, CpBT 기준선, 평가 세트
3~4주차대화형에 prompt caching, 비동기 작업에 batch inference캐시 적중 비율, 전후 비용 비교
5~6주차지출 1위 워크로드에 라우팅 그림자 모드분류 로그, 표본 200건 비교표
7~8주차라우팅 실가동 여부 판정, 다음 수단(문맥 압축 또는 semantic caching) 선택판정 보고서, 다음 분기 계획

1주차 첫 회의. 워크로드 오너, 플랫폼 엔지니어, FinOps 담당이 한 시간 동안 지출 상위 워크로드 3개와 각 워크로드의 성과 1건 정의를 확정합니다. 회의가 끝나면 플랫폼 엔지니어가 태그 작업을, 품질 평가 담당이 평가 세트 표본 추출을 시작합니다.

확인 질문. 지출 상위 워크로드 세 개를 지금 이름으로 말할 수 있나? 그 워크로드의 성과 1건은 무엇이고 한 건에 얼마가 드나? 재시도와 실패 호출이 비용의 몇 %인가? 모든 요청이 최상위 모델로 가고 있나? 답이 자주 바뀌는 질문과 개인 정보가 섞인 질문을 캐시에서 뺄 수 있나? 품질이 얼마나 떨어지면 되돌리는지 현업이 서명했나?

진행 판정 기준(가상 예시). 수단 하나를 넣은 뒤 세 조건을 봅니다. CpBT가 기준선 대비 20% 이상 줄었나, 평가 세트 품질이 기준선 대비 2%p 이내인가, 사용자 불만·재문의 건수가 그대로인가. 셋 다 맞으면 다음 수단으로 넘어갑니다. 품질이 허용선을 넘어 떨어지면 즉시 되돌리고 원인을 고친 뒤 2주 더 봅니다.

AX 적용 제언. 국내 기업이 이 글에서 가장 먼저 가져갈 것은 수단이 아니라 순서입니다. 많은 조직이 AI 비용을 IT 공통비 한 줄로 받고 있어 어떤 업무가 돈을 쓰는지 모릅니다. 첫 달에는 귀속과 CpBT만 만들어 경영진에게 “업무 성과 1건에 얼마”를 보여 주고, 둘째 달에 설정만 바꾸는 1단계로 빠른 절감을 확인합니다. 라우팅과 문맥 압축 같은 2단계는 통신사처럼 에이전트가 여러 겹으로 얽힌 콜센터·청구 처리 워크로드에서 효과가 큽니다. semantic caching과 distillation은 물량이 안정된 뒤에 투자 판단을 합니다. 절감액은 예산 반납보다 다음 AI 확장의 재원으로 잡아 두면 현업 스폰서를 설득하기 쉽습니다.

1개월귀속·CpBT성과 1건 원가2개월1단계 설정빠른 절감 확인3개월+2단계 구조에이전트 워크로드물량 안정 후3단계 투자캐시·distillation
가상 예시 순서, 절감액은 다음 확장의 재원으로

원문 사례

항목내용
글AWS Machine Learning Blog, 2026.11.19
저자Ilan Geller(Accenture), Steven Cox(Accenture AWS Business Group), Manoj Ravulapati(AWS), Rajdeep Banerjee(AWS)
업계 배경Linux Foundation이 AI 비용 경제의 개방형 표준을 위한 Tokenomics Foundation 출범
귀속애플리케이션 추론 프로필 + 비용 배분 태그, CUR 2.0·CloudWatch·모델 호출 로그, Accenture CpBT
1단계prompt caching(캐시된 입력 최대 90%↓), batch inference(일부 모델 50%↓)
2단계intelligent prompt routing(최대 30%↓), RAG 최적화, context scoping·compression
3단계semantic caching(63,796건, 임계값 0.90, 적중 74.5%, 정확도 92.3%, 절감 72.5%), distillation(최대 500% 빠름, 최대 75% 저렴, 정확도 손실 2% 미만)
대기업등급 나누기·prompt caching·일괄 처리, 월 토큰 비용 85%↓, 최상위 모델 필요 작업 약 15%
통신사분류 라우팅·semantic caching·문맥 압축, 입력 토큰 70%↓, 연 1,200만 → 380만 달러(68%↓), 변경 전 벤치마크로 품질 검증
보험사·광산사prefix caching / semantic cache 하나씩, 합산 약 40%↓
운영 원칙기준선 먼저, 실제 트래픽 평가, 워크로드당 수단 하나씩, 규제 업종 기록
시작 순서태그 적용 → 태그 활성화와 고소비 워크로드 파악 → 1단계 적용 후 측정, 참고: Well-Architected Agentic AI Lens AGENTCOST02

핵심 개념

Application inference profile
Bedrock에서 워크로드마다 따로 만드는 호출 경로로, 태그를 붙여 비용을 그 워크로드에 귀속시킵니다.
CUR 2.0
AWS Data Exports로 받는 비용·사용량 보고서로, 태그를 켜면 워크로드·팀별 청구액이 나옵니다.
Frontier model
한 시점에 가장 성능이 높은 최상위 모델로, 단가도 가장 높습니다.
Model tiering
작업 난이도에 따라 큰 모델과 가벼운 모델을 나눠 쓰는 방식입니다.
Teacher·student
distillation에서 지식을 주는 큰 모델과 그 지식을 배워 대신 일하는 작은 모델입니다.
Tokenomics Foundation
Linux Foundation이 AI 비용 경제의 개방형 표준을 만들려고 출범한 조직입니다.

내 메모

TODO: 내 생각 추가

원문은 AWS Machine Learning Blog에 실린 Ilan Geller, Steven Cox, Manoj Ravulapati, Rajdeep Banerjee의 글 「Optimize AI economics on Amazon Bedrock with Accenture’s sequenced approach」(2026.11.19)입니다. 요약, 핵심 메커니즘의 원문 수치, 사례는 저자들이 밝힌 내용을 AX Partners가 다시 정리했습니다. 단계별 사례 연결, 기술·현업 디테일, 인포그래픽, 표는 새로 작성했고 디테일 절의 필드명·수치·일정은 가상 예시입니다. 전체 내용은 원문에서 볼 수 있습니다.

Related

함께 읽으면 좋은 노트

AX Implementation아티클

Terminal X Eval Agent: 투자 산출물을 54개 항목 기준표로 채점해 시니어 판단과 맞춘 평가 에이전트

OpenAI 고객 사례 · Terminal X (StartupHub.ai, OrcaRouter 인용 기사로 확인)

Terminal X는 투자사의 실사·메모 결과물을 54개 항목 기준표로 통과·실패 채점하는 평가 에이전트를 따로 두고 실패와 사람의 수정을 메모리로 쌓습니다. 500건에서 시니어 심사역 판정과 88.6% 일치했고 PE 고객사는 연 240만 달러를 아꼈다고 밝혔습니다(회사 자체 기준표 결과).

CIO·CTOAX 추진현업 리더
#평가 에이전트#에이전트 2026.10.27 ↗
AX Enablement포스트

Hosted Agents: Novo Nordisk 임상 데이터 분석 에이전트가 자체 인프라를 내려놓은 방법

Microsoft Command Line · AI Acceleration Studio(Microsoft Frontier Company)

Novo Nordisk와 Microsoft FDE 팀은 의료 전문가가 임상시험 데이터를 프로토콜 밖 질문으로 파고드는 분석 에이전트를 Azure Container Apps에서 Microsoft Foundry hosted agent로 옮겼습니다. 에이전트 로직은 팀이 쥐고 세션 격리·scaling·추적은 플랫폼에 넘겼으며, 같은 평가 세트를 그대로 돌려 품질을 지켰습니다.

CIO·CTOCISOAX 추진
#에이전트#사례 2026.11.14 ↗
AX Strategy리포트

Databricks AI Index: 기업 1만여 곳 사용 데이터로 본 멀티 모델 전환과 작업당 비용

Databricks Blog · Databricks AI Product and Engineering Team

Unity Gateway를 쓰는 기업 1만여 곳의 데이터에서 공급사 한 곳만 쓰는 기업은 7월 약 64%에서 11월 28%로 줄고 오픈 웨이트 토큰 비중은 7.3%에서 30.9%로 늘었습니다. 코딩 에이전트 평가에서는 성공률이 같은 89.1%여도 작업당 비용이 0.05달러와 1.62달러로 갈렸습니다.

CIO·CTOCFOAX 추진
#벤더 전략#비용 절감 2026.11.21 ↗