AX Strategy

Databricks AI Index: 기업 1만여 곳 사용 데이터로 본 멀티 모델 전환과 작업당 비용

Unity Gateway를 쓰는 기업 1만여 곳의 데이터에서 공급사 한 곳만 쓰는 기업은 7월 약 64%에서 11월 28%로 줄고 오픈 웨이트 토큰 비중은 7.3%에서 30.9%로 늘었습니다. 코딩 에이전트 평가에서는 성공률이 같은 89.1%여도 작업당 비용이 0.05달러와 1.62달러로 갈렸습니다.

출처
Databricks Blog · Databricks AI Product and Engineering Team
원문 제목
Introducing the Databricks AI Index: The state of enterprise AI tokenomics
유형
리포트
읽은 날
2026.11.21
원문 발행
2026.11.16

기업은 모델 하나에 묶이지 않고 여러 공급사와 오픈 웨이트 모델을 작업마다 골라 쓰는 쪽으로 빠르게 옮겨 가고 있습니다. 모델을 고를 때 볼 숫자는 토큰 단가가 아니라 검증을 통과한 작업 하나에 든 비용입니다. 이 숫자를 내 작업으로 재려면 모든 호출을 한 게이트웨이로 모아 기록하고 사내 트레이스를 후보 모델로 다시 돌려 볼 수 있어야 합니다.

요약

Databricks의 AI 제품·엔지니어링 팀이 2026년 11월 16일 공개 지수 Databricks AI Index를 내놓았습니다. 지수는 두 가지 데이터로 만듭니다. 하나는 모델 게이트웨이 Unity Gateway(여러 공급사 모델 호출을 한곳에서 받아 관리하는 관문)를 쓰는 기업 1만여 곳의 사용 데이터입니다. 7월 20일부터 11월 7일까지를 익명으로 모았고 Anthropic·OpenAI 같은 외부 공급사로 가는 호출도 들어 있습니다. 다른 하나는 코딩 에이전트 평가입니다. Databricks 엔지니어가 실제로 한 PR 작성·리뷰, 이슈 조사, 복잡한 개발 작업을 비공개 코드베이스에서 뽑았고 결과는 LLM 채점이 아니라 숨겨 둔 테스트로 가립니다. 지출은 공급사 공개 가격으로 추정했습니다. 팀은 2026년 5월부터 플래그십 모델이 거의 매주 나왔다는 점을 배경으로 들고 지수를 매주 갱신하겠다고 밝혔습니다.

사용 데이터Unity Gateway기업 1만여 곳7.20~11.07사용 지표토큰·지출 비중사용자별 지출코딩 에이전트 평가사내 실제 작업숨긴 테스트로 채점AI Index공개, 매주 갱신성공률·작업당 비용
사용 데이터와 평가 데이터를 한 지수로 묶음

결과는 세 갈래입니다. 첫째, 기업이 쓰는 모델이 빠르게 흩어집니다. 공급사 한 곳만 쓰는 기업은 7월 약 64%에서 11월 2일 28%로 줄었습니다. 오픈 웨이트 모델(가중치를 내려받아 직접 돌릴 수 있는 모델)의 토큰 비중은 같은 기간 7.3%에서 30.9%로 늘었습니다. 둘째, 같은 성공률이라도 작업당 비용이 수십 배 차이 납니다. 모델마다 답에 이르는 턴 수와 출력 길이, 재시도 횟수가 다르기 때문입니다. 셋째, 지출은 소수에게 몰려 있습니다. 사용자별 지출 중앙값은 2.49달러, 99번째 백분위는 699.74달러입니다. 팀은 그래서 모델과 하네스(에이전트를 돌리는 실행 환경) 조합을 내 작업으로 재고 작업마다 필요한 품질에 맞춰 모델을 골라 보내라고 권합니다. 아래에서는 이 결론을 받치는 일곱 가지 메커니즘을 풀고 우리 회사 게이트웨이에서 같은 숫자를 재는 기술·현업 디테일을 덧붙입니다.

7월11월0%공급사 한 곳만 쓰는 기업약 64%28%오픈 웨이트 토큰 비중7.3%30.9%
두 지표의 분모는 다름(기업 수 / 토큰 트래픽), 0 기준 눈금

핵심 메커니즘

Model Churn: 기업이 기본 모델을 바꾸는 주기가 몇 주로 줄었다

무엇인가. 새 모델이 나오면 기업 트래픽이 몇 주 안에 그 모델로 옮겨 가고 밀린 모델의 비중도 그만큼 빨리 빠집니다.

어떻게 작동하나. 입력은 새 모델 출시입니다. 기업은 품질과 비용을 확인한 뒤 기본 모델을 바꿉니다. 그 결과가 토큰 비중의 이동으로 나타납니다. 원문에 따르면 Claude Opus 5.5의 비중은 독점 모델 토큰 기준으로 6주 만에 7.2%에서 37.9%가 됐습니다. 같은 기간 Anthropic 비중은 57.6%에서 68.8%로 올랐습니다(원문은 이 비중의 분모를 따로 밝히지 않음). 연중에는 OpenAI가 6 시리즈 Sol·Astra 모델로 비중을 꽤 늘렸다가, Opus 5.5 출시 뒤 흐름이 다시 Anthropic으로 돌아왔습니다. 반대로 Claude Fable 5.1은 출시 뒤 6주 동안 5.5%에서 0.6%로 내려갔습니다.

언제 쓰나. 모델 계약 기간, 사내 표준 모델 지정, 프롬프트·평가 자산의 이식성을 정할 때 이 속도를 전제로 둡니다. 한 모델에 맞춰 1년 단위로 고정하는 방식은 이 속도와 맞지 않습니다.

원문의 예. Databricks는 두 달 전부터 Day 1 모델 출시 대응 절차를 돌려 새 모델을 며칠 안에 평가합니다.

Opus 5.5, 6주 전독점 모델 토큰 중 비중7.2%Opus 5.5, 6주 뒤독점 모델 토큰 중 비중37.9%Fable 5.1, 출시 시점독점 모델 토큰 중 비중5.5%Fable 5.1, 6주 뒤독점 모델 토큰 중 비중0.6%040%
독점(proprietary) 모델 토큰 기준, 0 기준 막대

Multi-provider: 공급사 둘 이상을 게이트웨이 뒤에 둔다

무엇인가. 모델 호출을 게이트웨이 한 곳으로 모으고 그 뒤에 여러 공급사 모델을 붙여 두는 운영 방식입니다.

어떻게 작동하나. 애플리케이션은 게이트웨이만 부릅니다. 어느 공급사의 어느 모델로 보낼지는 게이트웨이 설정이 정합니다. 그래서 새 모델로 갈아탈 때 애플리케이션 코드를 고치지 않아도 됩니다. Unity Gateway를 쓰는 기업 가운데 공급사 한 곳만 쓰는 비율은 7월 약 64%에서 11월 2일 28%로 줄었습니다. 나머지는 두 곳 이상을 씁니다.

언제 쓰나. 쓰는 모델이 둘 이상이거나 앞으로 바꿀 가능성이 있으면 처음부터 게이트웨이를 둡니다. 호출량이 아주 적고 모델을 바꿀 계획이 없다면 직접 호출로 시작해도 됩니다.

7월공급사 1곳 의존약 64%11월 2일공급사 1곳 의존28%바뀐 운영2곳 이상을게이트웨이 뒤에 둠
Unity Gateway를 쓰는 기업 기준

Open-weight Adoption: 오픈 웨이트가 품질 상위권에 들어왔다

무엇인가. 가중치가 공개된 모델을 기업이 직접 호스팅하거나 호스팅 서비스로 쓰는 흐름입니다.

어떻게 작동하나. 오픈 웨이트 모델의 토큰 비중은 7월 7.3%에서 11월 30.9%로, 넉 달이 안 돼 네 배 넘게 늘었습니다. 원문은 이유로 성능 향상, 비용 효율, 배포 유연성을 꼽습니다. 품질 근거로는 코딩 평가 상위 10위 안에 오픈 웨이트 모델이 셋 들었고 DeepSeek V4.1과 GLM 5.3이 통과율 93.1%로 공동 3위라는 결과를 듭니다.

언제 쓰나. 반복 호출이 많아 단가가 누적되는 작업, 데이터를 사내에 두고 돌려야 하는 작업에 후보로 올립니다. 어느 쪽이 나은지는 작업 유형과 필요한 품질, 비용에 따라 달라진다고 원문은 덧붙입니다.

7월오픈 웨이트토큰 7.3%11월오픈 웨이트토큰 30.9%품질코딩 평가 상위 10위에오픈 웨이트 3개공동 3위DeepSeek V4.1GLM 5.3, 93.1%
넉 달이 안 돼 비중이 네 배 넘게 늘어남

Cost per Completed Task: 토큰 단가가 아니라 끝낸 작업 하나의 값을 본다

무엇인가. 작업 하나를 끝까지 성공시키는 데 든 평균 비용입니다. 토큰 단가에 그 모델이 답에 이르기까지 쓴 일의 양을 곱한 값으로 생각하면 됩니다.

어떻게 작동하나. 같은 작업이라도 모델마다 턴 수, 출력 길이, 실패 후 재시도가 다릅니다. 이 차이가 단가 차이보다 크게 벌어질 수 있습니다. 원문 평가에서 GPT-6 Luna와 Claude Opus 5.5는 성공률이 89.1%로 같았지만 작업당 비용은 약 0.05달러와 1.62달러로 약 32배 차이가 났습니다. Gemini 3.8 Flash는 토큰 단가가 낮은데도 작업당 평균 140턴을 돌아 약 11.97달러가 들었고 평가에서 가장 비싼 축에 들었습니다.

언제 쓰나. 에이전트처럼 한 작업에 호출이 여러 번 일어나는 업무에서는 이 지표를 먼저 봅니다. 질문 한 번에 답 한 번인 단순 호출에서는 토큰 단가와 큰 차이가 나지 않습니다.

GPT-6 Luna성공률 89.1%$0.05Claude Opus 5.5성공률 89.1%$1.62Gemini 3.8 Flash토큰 단가 낮음, 작업당 평균 140턴$11.970$12
작업 하나를 끝내는 데 든 평균 비용, 0 기준 막대

Model × Harness Frontier: 모델과 하네스를 한 묶음으로 잰다

무엇인가. 같은 모델도 어떤 하네스(Claude Code, Codex처럼 에이전트를 돌리는 도구)에서 돌리느냐에 따라 성공률과 비용이 달라집니다. 그래서 둘을 한 조합으로 보고 같은 비용에서 성공률이 가장 높은 조합들의 경계선인 비용·품질 프런티어를 찾습니다.

어떻게 작동하나. 9개 연구소의 모델을 Claude Code와 Codex에서 돌려 성공률과 작업당 비용을 쟀습니다. 프런티어에 오른 것은 OpenAI, DeepSeek, Meta, Anthropic 네 곳의 다섯 개 모델이었습니다. 어느 한 모델이나 하네스가 프런티어를 독차지하지 않았다는 뜻입니다.

언제 쓰나. 사내 코딩 에이전트 표준을 정하거나 모델 업그레이드를 판단할 때 씁니다. 원문은 공개 순위 대신 내 작업과 내 트레이스로 조합을 재라고 권합니다.

조합모델 × 하네스Claude Code, Codex측정작업 성공률작업당 비용프런티어9개 연구소 중4곳의 5개 모델결정내 작업 트레이스로다시 돌려 확인
어느 한 모델이나 하네스가 프런티어를 독차지하지 않음

Fit-for-purpose Quality: 1위 모델은 대개 가장 좋은 값이 아니다

무엇인가. 작업마다 필요한 품질을 먼저 정하고 그 품질을 넘는 모델 가운데 가장 싼 것을 고르는 방식입니다.

어떻게 작동하나. 원문 평가 1위인 Claude Fable 5.1은 성공률 96.0%에 작업당 약 7.47달러였습니다. Muse Wonder는 94.9%에 약 1.53달러였습니다. 1.1%p를 더 얻으려고 약 다섯 배를 내는 셈입니다. 원문은 복잡하고 위험이 큰 작업에는 상위 모델이 값을 하지만 일상 작업에는 더 싼 모델로 충분할 수 있다고 봅니다. 작업을 품질과 비용 기준으로 모델에 나눠 보내는 수단으로 Unity Gateway의 Smart Routing을 듭니다.

언제 쓰나. 작업 유형이 섞여 있는 사내 코딩 에이전트나 업무 에이전트에 씁니다. 작업마다 요구 품질을 정의하지 못하면 라우팅 기준이 서지 않습니다.

Claude Fable 5.1성공률 96.0%, 1위$7.47Muse Wonder성공률 94.9%$1.530$8
성공률 1.1%p 차이에 비용은 약 5배, 0 기준 막대

Spend Concentration: AI 지출은 소수 사용자에게 몰린다

무엇인가. 사용자별 AI 지출 분포가 한쪽으로 크게 치우쳐 있다는 관찰입니다.

어떻게 작동하나. 사용자별 지출 중앙값은 2.49달러, 99번째 백분위는 699.74달러로 약 281배입니다. 주간 지출 중앙값은 6주 동안 1.10달러에서 두 배 넘게 늘었고 90번째와 99번째 백분위는 거의 그대로였습니다. 하루 종일 코딩 에이전트를 돌리는 개발자와 하루에 몇 번 질문하는 직원이 같은 분포 안에 있기 때문입니다. 원문은 작은 집단이 AI 비용 대부분을 만든다고 정리합니다.

언제 쓰나. 예산과 지출 상한을 정할 때 씁니다. 분포를 알면 전 직원 사용을 막지 않고 상위 지출자에게만 맞춤 예산을 걸 수 있다고 원문은 봅니다.

중앙값 사용자50번째 백분위$2.49상위 1% 사용자99번째 백분위, 약 281배$699.740$700
0 기준 막대, 중앙값 막대는 너무 짧아 최소 폭으로 표시

통념과 다른 주장

흔히 이렇게 봅니다토큰 단가가 낮은 모델을 고르면 비용이 줄어듭니다.

저자는 이렇게 봅니다비용은 단가와 그 모델이 답에 이르기까지 하는 일의 양을 함께 봐야 합니다. 비교 기준은 완료 작업당 비용입니다.

근거토큰 단가가 낮은 Gemini 3.8 Flash는 작업당 140턴을 돌아 약 11.97달러가 들었습니다. 같은 성공률의 두 모델은 작업당 비용이 약 32배 차이 났습니다.

흔히 이렇게 봅니다가장 성능이 좋은 최신 모델을 사내 표준으로 두면 안전합니다.

저자는 이렇게 봅니다최고 성능 모델이 가장 좋은 값인 경우는 드뭅니다. 작업에 필요한 품질만큼만 사고 업그레이드도 내 트레이스로 따져 봐야 합니다.

근거1위 모델은 2위권보다 성공률이 1.1%p 높은 대신 비용이 약 다섯 배였습니다. Databricks는 Opus 5로 올리는 안을 사내 트레이스로 재 보고 4.8에 머물렀습니다.

흔히 보는 기준원문 데이터가 가리키는 기준· 토큰 단가가 싸면 싸다· 1위 모델을 표준으로· 공급사 한 곳과 깊게· 완료 작업당 비용· 작업에 필요한 품질만큼· 여러 공급사를 바꿔 끼움
원문 수치를 근거로 정리한 대비

저자가 든 사례

Databricks 사내: Opus 5.5를 Claude Code 기본 모델로 지정

구분내용
상황사내 직원 1만 2천여 명이 AI를 쓰고, 새 플래그십 모델이 거의 매주 나옴
한 일Day 1 모델 출시 대응 절차로 Opus 5.5를 며칠 안에 평가하고 Claude Code 기본 모델로 지정
결과이전 모델보다 품질은 좋고 세션당 비용은 29% 낮음. 절차의 세부 단계는 원문에서 밝히지 않음
연결Model Churn, Cost per Completed Task
상황Opus 5.5 출시Day 1 평가 절차한 일며칠 안에 평가Claude Code 기본값으로결과세션당 비용 29% 낮음품질은 더 좋음
원문이 밝힌 사내 결과

Databricks 사내: Opus 4.8에서 Opus 5로 올리지 않은 결정

구분내용
상황Opus 4.8에서 Opus 5로 업그레이드할지 판단해야 함
한 일비용·품질 Pareto 프런티어를 분석하고 사내 작업 트레이스를 다시 돌려 비교
결과사내 용도에서는 추가 비용만큼 이득이 없어 4.8 유지. 비용·성공률 수치는 원문에서 밝히지 않음
연결Model × Harness Frontier, Fit-for-purpose Quality
상황Opus 4.8에서Opus 5로 올릴지한 일비용·품질 Pareto 분석사내 트레이스 재실행결과추가 비용만큼 이득 없음4.8 유지
최신 모델로 올리지 않은 결정도 데이터로 내림

기술 디테일: 우리 게이트웨이에서 같은 숫자를 재려면

아래는 원문에 없는 내용으로, 같은 지표를 사내에서 직접 잴 때 필요한 것을 정리했습니다. 필드명과 수치는 모두 가상 예시입니다.

Multi-provider와 Spend Concentration을 재려면 호출 한 건마다 같은 필드를 남깁니다. 게이트웨이(Unity Gateway, LiteLLM 같은 프록시, 클라우드 사업자의 AI 게이트웨이 어느 것이든)에서 호출마다 아래 필드를 기록합니다. task_id는 빠뜨리면 안 됩니다. 에이전트 작업 하나는 호출 수십 번으로 이뤄지므로, 같은 작업의 호출을 하나로 묶을 키가 없으면 작업당 비용을 계산할 수 없습니다. 하네스가 작업 ID를 헤더로 넘기게 하고 없으면 세션 ID로 대신합니다. cost_usd는 공급사 공개 가격표를 날짜별로 저장해 두고 호출 시점 가격으로 계산합니다. 가격이 바뀐 날 앞뒤를 비교할 때 필요합니다. 오픈 웨이트를 직접 호스팅하면 토큰 가격이 없으므로 GPU 시간당 비용을 처리 토큰 수로 나눠 환산한 단가를 따로 둡니다.

{
  "request_id": "gw-20261121-88231",
  "user_id": "u-4410",
  "team": "payments-platform",
  "app": "coding-agent",
  "harness": "claude-code",
  "provider": "anthropic",
  "model": "opus-5.5",
  "task_id": "T-7781",
  "turn_no": 14,
  "input_tokens": 18240,
  "output_tokens": 1320,
  "cached_tokens": 15100,
  "cost_usd": 0.061,
  "task_success": null
}

cached_tokens는 따로 둡니다. 캐시된 입력은 단가가 낮아, 이 값을 빼고 계산하면 긴 맥락을 반복해 읽는 에이전트의 비용이 실제보다 크게 잡힙니다. 흔한 실패는 두 가지입니다. 개발자가 개인 API 키로 하네스를 돌려 호출이 게이트웨이를 거치지 않는 경우와, 하네스가 task_id를 넘기지 않아 작업 단위가 깨지는 경우입니다. 주간 청구서 합계와 게이트웨이 기록 합계를 맞춰 보고 차이가 5%를 넘으면 빠진 경로를 찾습니다. task_success는 작업이 끝난 뒤 채웁니다. 코딩 작업이면 CI 테스트 통과와 PR 머지 여부, 문서 작업이면 검수자 승인 여부로 판정합니다. 원문이 LLM 채점 대신 숨긴 테스트를 쓴 것처럼, 사람이 정한 통과 조건이 있는 작업부터 잽니다.

누가user_idteamapp무엇으로harnessprovidermodel얼마나input_tokensoutput_tokensturns결과task_idtask_successcost_usd
가상 예시, 호출 한 건마다 남기는 12개 필드

Cost per Completed Task는 실패한 시도까지 분자에 넣습니다. 계산은 “기간 안 모든 호출 비용의 합 ÷ task_success = true인 작업 수”로 합니다. 실패한 작업의 비용을 빼면 자주 실패하는 모델이 싸 보입니다. 함께 볼 보조 지표는 작업당 평균 턴 수, 작업당 출력 토큰, 성공률입니다. 원문의 Gemini 3.8 Flash처럼 턴 수가 튀는 모델은 턴 수만 봐도 먼저 드러납니다. 하네스에 작업당 턴 상한(예: 40턴)과 비용 상한(예: 5달러)을 두고 넘으면 멈추고 사람에게 넘기게 합니다.

분자성공·실패 시도의비용 전부 합산분모검증을 통과한작업 수결과완료 작업당 비용cost_per_completed_task
가상 예시 계산 방식, 재시도와 실패 비용도 분자에 넣음

Model × Harness Frontier를 사내에서 재려면 트레이스를 다시 돌립니다. Databricks가 Opus 5 업그레이드를 판단한 방식입니다. 지난 4주 게이트웨이 기록에서 작업 유형별로 50건씩 뽑고 현재 기본 모델과 후보 2~3개를 같은 하네스로 다시 돌립니다. 같은 작업을 3회씩 돌려 성공률 편차를 봅니다. 3회 결과가 갈리는 작업이 20%를 넘으면 표본을 늘립니다. 채점은 기존 테스트와 검수 기준으로 하고 LLM 채점을 쓰면 사람 검수 20건으로 일치율을 먼저 확인합니다. 결과는 가로축 작업당 비용, 세로축 성공률의 산점도로 그립니다. 그다음 더 싸면서 더 잘하는 조합이 없는 점들을 이어 프런티어로 표시합니다. 판정 규칙 예시는 “성공률 차이가 2%p 이내면 작업당 비용이 낮은 쪽을 고른다”입니다.

표본지난 4주 트레이스작업 유형별 50건후보현재 기본 모델후보 2~3개채점테스트·검수 통과같은 작업 3회판정성공률 차 2%p 이내작업당 비용 비교
가상 예시 설정값

Fit-for-purpose Quality를 운영하려면 작업 유형마다 기본 모델과 승격 조건을 둡니다. 라우팅 표에는 task_type, default_model, fallback_model, max_turns, max_cost_usd, escalate_if 필드를 둡니다. 단순 수정은 저가 모델로 보내고 테스트가 실패하면 한 단계 위 모델로 한 번만 다시 시도합니다. 복잡한 개발 작업은 처음부터 상위 모델을 쓰고 머지 전 사람 승인을 거칩니다. 라우팅 규칙은 Day 1 평가처럼 새 모델이 나올 때마다 트레이스 재실행으로 다시 확인합니다.

단순 수정저가 모델실패 시 한 단계 위PR 리뷰중간 모델턴 상한 30복잡한 개발상위 모델사람 승인 후 머지
가상 예시, 작업 유형마다 기본 모델과 승격 조건을 둠

Spend Concentration은 주간 백분위로 감시합니다. 매주 사용자별 지출의 50·90·99번째 백분위를 계산하고 상위 1% 사용자 목록과 그들이 쓴 앱·모델·작업당 비용을 함께 뽑습니다. 상위 지출자가 많이 쓰는 것 자체는 문제가 아닙니다. 같은 작업을 다른 사용자보다 비싸게 끝내고 있는지가 문제입니다. 그래서 상한은 사용자 총액보다 작업당 비용 기준으로 거는 편이 생산성을 덜 해칩니다.

일반 사용자주간 상한 없음분포만 관찰상위 10%팀 단위 예산주간 리포트상위 1%개인별 상한작업당 비용 검토
가상 예시, 소수에게만 통제를 걸어 다수의 사용을 막지 않음

현업 실행 디테일: 누가, 언제, 무엇을

역할맡는 일
AX 추진 리더(오너)지표 정의 승인, 모델 표준과 라우팅 정책 결정
플랫폼 엔지니어게이트웨이 설정, 호출 기록 필드와 task_id 전달 구현
개발 생산성 리드작업 유형 분류, 성공 판정 기준(테스트·머지) 정의, 재실행 평가 운영
FinOps·재무 담당가격표 관리, 주간 지출 분포 리포트, 팀별 예산 배분
보안·구매 담당공급사 추가 시 데이터 처리 조건 검토, 계약 기간과 해지 조건 정리

시작 전 준비물. 현재 쓰는 모델·공급사 목록과 계약 조건, 지난 3개월 AI 청구서, AI를 쓰는 앱과 팀 목록, 코딩 에이전트를 쓰는 저장소와 CI 테스트 현황, 그리고 “완료된 작업”을 무엇으로 셀지 정한 한 장짜리 정의서입니다.

기간할 일산출물
1주차모든 AI 호출을 게이트웨이로 모으고 기록 필드 적용호출 기록 테이블, 가격표
2주차사용자·팀·앱별 지출 분포와 공급사 의존도 산출주간 백분위 리포트, 상위 1% 프로필
3주차작업 유형 2~3개에서 트레이스 재실행 평가성공률·작업당 비용 산점도
4주차라우팅 규칙과 구간별 예산 적용, 월간 재평가 일정 확정라우팅 표, 예산 정책, 재평가 캘린더
1주2주3주4주1주차기록 켜기2주차분포 보기3주차재실행 평가4주차규칙·예산
가상 예시 일정

확인 질문. 지금 AI 호출 가운데 게이트웨이를 거치지 않는 것이 얼마나 되나? 공급사 하나가 장애를 일으키거나 가격을 올리면 몇 시간 안에 다른 모델로 넘길 수 있나? 작업 성공을 사람 판단 없이 테스트나 승인 기록으로 셀 수 있나? 지출 상위 1%는 누구이고 그들의 작업당 비용은 다른 사용자보다 높은가? 새 모델이 나왔을 때 평가해서 결정하기까지 며칠이 걸리나?

진행 판정 기준(가상 예시). 조건은 셋입니다. AI 호출의 90% 이상이 게이트웨이를 거칠 것, 대상 작업 유형의 작업당 비용을 주간 단위로 낼 수 있을 것, 재실행 평가에서 성공률 차이 2%p 이내로 작업당 비용을 30% 이상 낮추는 조합이 하나 이상 나올 것. 셋을 모두 채우면 라우팅을 전사로 넓힙니다. 조합이 나오지 않으면 현재 모델을 유지하고 다음 모델 출시 때 같은 평가를 반복합니다.

AX 적용 제언. 공급사 한 곳과 연 단위로 계약하고 사업부마다 따로 API 키를 받아 쓰는 회사라면 원문 데이터를 무겁게 볼 만합니다. 모델 순위는 몇 주 만에 바뀝니다. 그러니 먼저 손댈 곳은 모델 선택이 아니라 호출이 지나가는 길입니다. 게이트웨이 하나로 모든 호출을 모으고 작업당 비용을 재기 시작하면, 공급사 계약 협상과 오픈 웨이트 도입 검토, 사업부별 예산 배분이 같은 숫자 위에서 이뤄집니다. 경영진 보고에는 총 AI 비용과 함께 “완료 작업당 비용”과 “공급사 한 곳 장애 시 전환 시간”을 올려, AI 비용을 사용량이 아니라 결과 단가로 관리하고 있음을 보여 줍니다.

1단계게이트웨이 한 곳모든 호출 기록2단계작업당 비용으로모델 평가3단계작업별 라우팅공급사 2곳 이상4단계상위 지출자 관리월 1회 재평가
가상 예시 순서

원문 사례

항목내용
발표Databricks Blog, Databricks AI Product and Engineering Team, 2026.11.16
데이터Unity Gateway 사용 기업 1만여 곳의 익명 집계(7.20~11.07), 지출은 공급사 공개 가격으로 추정
평가사내 실제 코딩 작업, 비공개 코드베이스, 숨긴 테스트로 채점, 9개 연구소 모델, Claude Code·Codex
모델 교체Opus 5.5 독점 모델 토큰 비중 7.2% → 37.9%(6주), Anthropic 57.6% → 68.8%, Fable 5.1 5.5% → 0.6%
공급사공급사 한 곳만 쓰는 기업 약 64%(7월) → 28%(11.2)
오픈 웨이트토큰 비중 7.3% → 30.9%, 상위 10위에 3개, DeepSeek V4.1·GLM 5.3 93.1%로 공동 3위
작업당 비용GPT-6 Luna 약 0.05달러, Opus 5.5 약 1.62달러(둘 다 89.1%), Gemini 3.8 Flash 140턴·약 11.97달러
1위와 차선Fable 5.1 96.0%·약 7.47달러, Muse Wonder 94.9%·약 1.53달러
프런티어4개 연구소(OpenAI, DeepSeek, Meta, Anthropic)의 5개 모델
지출 분포중앙값 2.49달러, 99번째 백분위 699.74달러(약 281배), 주간 중앙값 6주간 1.10달러에서 두 배 넘게 상승
사내 사례Opus 5.5 기본 지정(세션당 비용 29% 낮음), Opus 5 업그레이드 보류(4.8 유지)
권고 수단Unity Gateway CLI, 사용 대시보드, 통합 트레이스, Smart Routing, 예산·지출 상한

핵심 개념

Tokenomics
AI 호출이 늘수록 토큰 사용량과 비용이 함께 움직이는 구조를 가리키는 말로, 원문은 기업의 모델 사용과 지출 흐름 전체를 이 이름으로 묶습니다.
Unity Gateway
Databricks의 모델 게이트웨이로, 사내·오픈 웨이트·외부 공급사 모델 호출을 한곳에서 받아 기록하고 예산과 라우팅을 겁니다.
Harness
모델에게 도구 사용과 반복 실행을 시켜 에이전트로 일하게 하는 실행 환경으로, 원문 평가에서는 Claude Code와 Codex입니다.
Trace replay
실제 작업에서 남은 호출 기록을 다른 모델로 다시 돌려 성공률과 비용을 비교하는 평가 방법입니다.
Pareto frontier
비용을 더 들이지 않고는 품질을 더 올릴 수 없는 조합들을 이은 경계선입니다.
Smart Routing
작업을 품질과 비용 기준으로 알맞은 모델에 자동으로 나눠 보내는 Unity Gateway 기능입니다.
Day 1 model rollout
새 모델이 나오면 며칠 안에 평가해 사내 기본값 여부를 정하는 Databricks의 사내 절차입니다.

내 메모

TODO: 내 생각 추가

원문은 Databricks Blog에 실린 Databricks AI Product and Engineering Team의 글 「Introducing the Databricks AI Index: The state of enterprise AI tokenomics」(2026.11.16)입니다. 요약, 핵심 메커니즘의 수치와 원문의 예, 통념과 다른 주장, 사례, 원문 사례 표는 원문이 전한 사실을 AX Review가 다시 정리했습니다. 사용자별 지출 2.49달러와 699.74달러는 원문이 주간 지출 분포를 다루는 절에서 밝힌 값이며 기간 단위를 숫자 옆에 따로 적지는 않았습니다. 핵심 메커니즘 이름(Model Churn, Multi-provider 등)은 이해를 돕기 위해 붙인 것입니다. 호출 기록 필드, 계산식, 재실행 평가 설정, 라우팅 표, 예산 구간, 역할·일정·판정 기준, 인포그래픽은 원문에 없는 내용으로 새로 작성했으며 그 안의 이름과 숫자는 가상 예시입니다. 전체 내용과 매주 갱신되는 지수는 원문 페이지에서 볼 수 있습니다.

Related

함께 읽으면 좋은 노트

AX Strategy아티클

As Many Models as Firms: 회사마다 자기 모델을 두고 팀장은 에이전트를 부리는 조직으로

Every · Grant Harvey

Microsoft CEO 사티아 나델라는 Ignite 간담회에서 회사 수만큼 모델이 있어야 한다며 고객이 MAI 모델 가중치를 받아 자기 데이터로 고쳐 쓰게 하겠다고 했습니다. 팀장은 에이전트를 관리하는 개인 기여자가 되고 토큰 예산을 받으며 보수는 올라야 한다고도 했습니다. 자체 모델 비교 평가와 토큰 예산 설계를 붙였습니다.

CEOCIO·CTOCHRO
#벤더 전략#조직 설계 2026.11.19 ↗
AX Strategy팟캐스트

Intelligence Isn't the Bottleneck: Databricks CEO가 꼽은 기업 AI의 네 관문과 사내 병목 지표

All-In 팟캐스트 · Ali Ghodsi(Databricks)

Databricks CEO 알리 고드시는 All-In 대담에서 대부분 기업이 AI를 검색 대용과 20~30% 빠른 코딩에만 쓴다고 봤습니다. 막는 관문으로 맥락, 보안, 토큰 비용, 종속과 IP 넷을 꼽았고 사내에서는 일이 다른 부서를 기다리며 멈추는 '사람 병목'을 지표로 잰다고 했습니다. 관문별 점검 필드와 4주 진단 계획을 붙였습니다.

CEOCIO·CTOAX 추진
#에이전트#조직 설계 2026.11.19 ↗
AX Strategy아티클

Put Agents on a Budget: 에이전트 작업량에 상한을 걸고 결과 책임자를 정하는 AI 비용 관리

TechTarget · Tim Murphy

Forrester의 Kevin Ogunsua는 AI 청구서가 토큰 단가보다 에이전트가 요청 하나에 하는 일의 양에 따라 흔들린다고 봅니다. 입력량·모델 호출 수·하위 에이전트 수에 상한을 두고 예산이 확인된 지출만 승인하며 확대 전에 매출·비용·리스크 지표와 결과 책임자 1명을 정하라고 권합니다.

CIO·CTOCFOAX 추진
#비용 절감#에이전트 2026.11.08 ↗