The Four Questions of AI: AI 4층의 돈 문제, 그리고 하네스가 마진을 가르는 이유

AI 비용과 마진은 모델보다 그 모델을 감싼 하네스(harness)에서 더 크게 갈립니다. 같은 모델이라도 맥락을 얼마나 덜 보내고 어떤 단계를 코드로 돌리느냐에 따라 과제당 비용이 70% 넘게 달라지므로, 기업은 하네스와 맥락·메모리·권한을 자기 손에 두고 모델은 바꿔 끼울 수 있게 설계해야 합니다.

요약

Theory Ventures의 Tomasz Tunguz는 2026년 11월 2일 블로그 글에서 AI 산업을 네 층으로 나눕니다. 맨 위는 사용자가 만나는 앱(Application), 그 아래는 모델을 감싸 맥락을 고르고 도구를 부르는 하네스와 맥락(Harness & Context) 층, 그다음은 모델(Model), 맨 아래는 GPU와 전력을 담는 데이터센터(Data Center)입니다. 그는 층마다 아직 답이 없는 경제 질문을 하나씩 붙이고 자신이 7월부터 10월까지 쓴 글과 외부 연구·시장 데이터를 근거로 각 질문의 현재 상태를 정리합니다.

가장 구체적인 숫자는 하네스 층에서 나옵니다. 에이전트가 쓰는 토큰의 최대 98%가 입력 맥락이라, 무엇을 보내고 무엇을 캐시할지 정하는 하네스가 청구서를 사실상 정합니다. UC Berkeley 연구에서는 같은 모델을 다른 하네스에 올리자 해결한 과제당 비용이 71% 줄었고 품질 차이는 유의하지 않았습니다. Tunguz는 이 차이가 연 25만 달러 계약의 매출총이익률을 약 38%에서 약 75%로 바꾼다고 계산합니다. 모델 층에서는 학습비 회수가 불확실한 가운데 작은 모델과 도메인 모델로 일이 옮겨 갑니다. 데이터센터 층에서는 부채·전력·GPU 임대료가 한계에 다가섭니다. 그는 네 층이 서로 묶여 있어 한 층의 변화가 다른 층의 셈법을 바꾼다고 봅니다. 아래에서는 이 구조를 다섯 가지 메커니즘으로 풀고 하네스 비용을 실제로 재고 줄이는 기술·현업 디테일을 덧붙입니다.

핵심 메커니즘

Application Moat: 앱 층은 해자를 어디서 만드나

앱 층의 질문은 오래가는 해자(moat, 경쟁자가 쉽게 넘지 못하는 방어벽)를 만들 수 있느냐입니다. Tunguz는 반짝 인기를 끈 앱이 새 모델 하나로 사라질 수 있고 모델이 기능을 흡수하면 얇은 래퍼(wrapper, 모델 위에 화면만 얹은 제품)는 버티지 못한다고 봅니다. 그가 꼽는 선택지는 넷입니다. 브랜드를 쌓거나, 기존 강자를 가격으로 흔들거나, 자체 모델을 만들거나, 경쟁자보다 빨리 영역을 넓히는 것입니다. 여기에 한 가지 질문이 더 붙습니다. 에이전트는 화면 없는(headless) 소프트웨어로 일하므로, 사용자 화면이 살아남을지 아니면 앱이 하네스 같은 중간 계층으로 흡수될지입니다. 가상 예시로, 사내 계약서 검토 앱을 만든 팀이라면 화면 기능보다 축적된 조항 판단 기록과 권한 체계를 해자로 삼아야 모델이 바뀌어도 남습니다.

Harness & Context: 입력 맥락이 청구서를 정한다

하네스는 모델 주변에서 어떤 맥락을 모델에 보낼지 고르고 도구를 부르고 결과를 이어 붙이는 실행 환경입니다. Claude Code, Codex, Cursor가 대표적인 예입니다. Tunguz가 7월 28일 글에서 인용한 OpenRouter 자료를 보면, 주요 모델 다섯 개의 토큰 가운데 입력이 85.7~98.2%를 차지합니다. 출력 토큰이 입력보다 비싸도 양이 워낙 적어 청구서의 대부분은 입력에서 나옵니다. 그래서 무엇을 보내고 무엇을 캐시하고 무엇을 빼느냐를 정하는 하네스가 비용을 좌우합니다. 품질도 하네스에 따라 움직입니다. Endor Labs 벤치마크에서 GPT-5.5는 Codex에서 61.5%, Cursor에서 87.2%를 기록했고 Claude Opus 4.7은 Claude Code에서 87.2%, Cursor에서 91.1%였습니다.

Smart Harness: 반복 단계를 코드로 돌려 마진을 지킨다

Tunguz가 말하는 똑똑한 하네스는 자주 반복되는 작업 흐름을 정해진 코드나 skill(재사용 가능한 작업 묶음)로 바꾸고 비싼 모델은 꼭 필요한 몇 단계에만 부릅니다. 그가 9월 17일 글에서 인용한 UC Berkeley의 HarnessTax 연구는 모델·하네스 조합 21개를 SWE-bench Lite와 Terminal-Bench 2.0 과제 30개로 시험했습니다. 같은 모델 GPT-5.6 Sol을 Claude Code에서 돌리면 해결한 과제당 1.540달러, Pi에서 돌리면 0.441달러였습니다. 71% 차이입니다. 같은 모델 안에서 하네스를 비교한 42건 모두 품질 차이는 통계적으로 유의하지 않았습니다. 연구진은 표본이 작아 약 15점 이하의 품질 차이는 잡아내지 못한다는 점도 함께 밝혔습니다.

이 차이를 계약에 옮기면 숫자가 커집니다. Tunguz는 5,000개 회사를 평가하는 연 25만 달러짜리 AI 어소시에이트 계약을 가정합니다. 비싼 하네스를 쓰는 회사는 추론비가 13.1만 달러, 똑똑한 하네스를 쓰는 회사는 3.7만 달러입니다. 호스팅·평가 인프라·사람 검수 비용 2.5만 달러는 양쪽이 같습니다. 매출총이익률은 약 38%와 약 75%로 갈리고 계약을 따는 데 든 영업비 15만 달러의 회수 기간도 약 19개월과 10개월로 벌어집니다. 그는 평가가 약 8,600건을 넘으면 비싼 하네스 쪽은 한 건을 더 할수록 손해라고 계산합니다.

Corporate Sovereign AI: 맥락·메모리·권한은 회사가 쥔다

Tunguz는 기업이 하네스 층을 직접 쥐는 흐름을 corporate sovereign AI(기업 주권 AI)라고 부릅니다. 회사의 맥락, 메모리, 권한을 사내에 두고 그 아래 모델은 필요에 따라 갈아 끼웁니다. 프롬프트에 회사 데이터를 담아 외부 모델 회사로 보내는 양을 줄이는 구조이기도 합니다. 그는 이 흐름을 데이터 주권 의무, zero data retention(입력 데이터를 저장하지 않는 계약 조건), 모델 접근 등급 분리와 연결합니다. 하네스가 비용을 좌우한다면, 그 하네스를 모델 회사에 맡기는 것은 비용 결정권과 데이터를 함께 넘기는 일이 됩니다. 가상 예시로, 제조사가 품질 문서 검색 에이전트를 만든다면 문서 색인·사용자 권한·대화 기억은 사내에 두고 모델 호출만 어댑터 하나로 묶어 교체할 수 있게 합니다.

The Middle Market of Models: 일은 작은 모델로 옮겨 간다

모델 층의 질문은 학습비가 언제 회수되느냐입니다. 최첨단 모델 학습에는 수십억 달러가 듭니다. Tunguz는 Anthropic S-1을 근거로 2025 회계연도 영업손실 81억 달러와 컴퓨트 약정 6,370억 달러를, OpenAI는 2030년까지 누적 현금 소진을 2,780억 달러로 예상한다고 적습니다. 그 사이 수요는 중간으로 이동합니다. OpenRouter 토큰의 84%가 최첨단 모델이 아니고 대형 기업 계정에서 최첨단 모델의 토큰 비중은 8월 초 53%에서 9월 45%로 내려갔습니다. 에이전트 작업의 약 83%는 작은 모델이나 도메인 모델로 갑니다. 예로 Cursor의 Composer 2는 이전 모델보다 비용을 86% 줄였고 Harvey의 도메인 모델은 Sonnet 5보다 셀당 비용을 55% 낮췄습니다. 확산(diffusion) 언어 모델과 JEPA(Joint-Embedding Predictive Architecture, 다음 토큰 대신 의미 표현을 예측하는 구조) 같은 새 구조도 무작정 키우는 방식의 대안으로 소개합니다.

Credit and Power: 데이터센터는 돈과 전기가 따라오나

맨 아래 층의 질문은 신용과 전력이 GPU 수요를 따라갈 수 있느냐입니다. Tunguz의 현재 답은 아니오입니다. 제약 없이 짓는다면 5년 동안 새 부채가 4조 달러 필요합니다. 5년 CDS(신용부도스와프, 부도 위험을 사고파는 계약) 스프레드는 Meta 108bp, Oracle 322bp, CoreWeave 1,090bp까지 올랐습니다. 건축비는 땅값을 빼고 제곱피트당 1,033달러로 세 배가 됐습니다. 발전소용 변압기는 납기가 3년 가까이 걸리고, 가스터빈은 2029년까지 생산분이 다 팔렸습니다. Ornn B300 지수 기준 GPU 임대료는 6월 중순 약 5.53달러에서 시간당 12.29달러로 올랐습니다. 그는 남은 질문을 셋으로 정리합니다. 현금흐름이 20년짜리 부채·임대 기간과 맞는지, GPU가 5년을 버티는지, GPU 시간당 가격이 오를지 내릴지입니다.

Coupled Layers: 한 층의 변화가 다른 층의 셈법을 바꾼다

Tunguz는 네 층이 따로 움직이지 않는다는 점을 결론으로 둡니다. 앱 층의 이익은 아래 층의 GPU 가격과 이자 부담을 흡수할 수 있습니다. GPU 금융 비용이 오르면 토큰을 아끼는 하네스의 가치가 올라갑니다. 모델과 추론을 함께 설계하면 같은 데이터센터 장비로 더 많은 사용자를 받습니다. 예로 DeepSeek의 Multi-head Latent Attention은 토큰당 KV 캐시를 약 70KB로 줄였는데, Qwen-2.5 72B는 327KB, Llama-3.1 405B는 516KB입니다. 그는 이 구조를 이중 진자에 빗댑니다. 부분은 단순하지만 묶이면 앞을 내다보기 어렵다는 뜻입니다. 기업에는 한 층의 숫자만 보고 계약하지 말고 아래 층 가격이 흔들릴 때 내 비용이 어디서 움직이는지 함께 보라는 신호입니다.

통념과 다른 주장

저자가 든 사례

사례 1. Berkeley HarnessTax: 하네스만 바꾼 비용 비교

상황	한 일	결과	연결
하네스가 비용·품질에 주는 영향을 알고 싶음	모델·하네스 조합 21개, 과제 30개, 과제당 3회 실행	같은 모델에서 해결 과제당 1.540달러 → 0.441달러(71%↓). 42개 비교 모두 품질 차이 유의하지 않음	Smart Harness

사례 2. AI 어소시에이트 계약 마진 모델

상황	한 일	결과	연결
연 25만 달러, 회사 5,000곳 평가 계약(가정)	추론비만 다른 두 회사를 비교	매출총이익률 약 38% vs 약 75%, 회수 기간 약 19개월 vs 10개월	Smart Harness

사례 3. Cursor와 Harvey의 자체 조정 모델

상황	한 일	결과	연결
최첨단 모델 비용 부담	Cursor는 공개 가중치 Kimi K2.5를 조정해 Composer 2를, Harvey는 법률 도메인 모델을 만듦	Cursor 비용 86%↓, Harvey 셀당 비용 55%↓(Sonnet 5 대비)	The Middle Market of Models

기술 디테일: 하네스 비용을 재고 줄이려면

아래 필드명, 설정값, 숫자는 원문에 없는 가상 예시입니다. 원문의 메커니즘을 실제로 돌릴 때 필요한 것을 정리했습니다.

하네스가 청구서를 정한다는 주장(Harness & Context)을 우리 숫자로 확인하려면 먼저 과제 단위 비용 기록부터 남깁니다. 호출 단위가 아니라 “해결한 과제 1건” 단위로 묶어야 Berkeley 연구처럼 해결 과제당 비용을 비교할 수 있습니다. 한 과제의 모든 모델 호출에 같은 task_id를 달고 입력·캐시 적중·출력 토큰을 따로 셉니다. 입력 비중이 85%를 넘으면 맥락 줄이기가 첫 과제입니다.

{
  "task_id": "T-20261105-0193",
  "workflow": "invoice_exception_review",
  "harness": "internal-v2",
  "model": "small-domain-8b",
  "calls": 7,
  "tokens": { "input": 182400, "cached_input": 141000, "output": 3900 },
  "input_share": 0.979,
  "deterministic_steps": 4,
  "model_steps": 3,
  "resolved": true,
  "cost_usd": 0.12,
  "price_list_date": "2026-11-01"
}

Smart Harness처럼 반복 단계를 코드로 돌리려면 작업 흐름 로그에서 매번 같은 입력·같은 출력이 나오는 단계를 찾습니다. 형식 검사, 금액 대조, 코드 조회처럼 규칙으로 답이 정해지는 단계는 skill이나 함수로 바꾸고 모델 호출에서 뺍니다. 모델이 남는 단계는 temperature 0과 JSON 스키마로 출력을 고정하고 같은 입력을 3회 돌려 결과가 갈리는 단계만 큰 모델로 올립니다. 가격표 날짜를 고정해 두지 않으면 모델 가격 변동이 하네스 개선 효과와 섞입니다. 원문이 인용한 7월 글에서는 안정적인 프롬프트 앞부분을 캐시하면 40~80%가 절약된다고 했으므로, 시스템 지침과 고정 문서를 맥락 앞쪽에 두고 매번 바뀌는 내용은 뒤로 보냅니다.

Corporate Sovereign AI 구조를 만들려면 하네스와 모델 사이에 어댑터 하나를 둡니다. 하네스는 model_route만 정하고 실제 호출은 어댑터가 모델별 형식으로 바꿉니다. 맥락 색인, 대화 메모리, 사용자 권한은 사내 저장소에 두고 모델에는 그 과제에 필요한 조각만 보냅니다. 외부 모델로 나가는 호출에는 zero data retention 조건을 계약서에서 확인하고 민감 등급 문서는 사내 작은 모델로만 가게 라우팅 규칙을 겁니다. 모델을 바꿀 때는 기준 과제 50건을 새 모델로 다시 돌려 해결률과 과제당 비용을 함께 비교합니다.

실패하는 경우	대응 (가상 예시)
하네스를 바꿨더니 비용은 줄고 해결률이 떨어짐	기준 과제 50건 해결률을 함께 보고 5%p 넘게 떨어지면 되돌림
모델 가격 인하가 하네스 개선 효과처럼 보임	가격표 날짜를 고정해 다시 계산
캐시 적중률이 낮음	매번 바뀌는 값(날짜·사용자명)이 맥락 앞쪽에 있는지 확인
작은 모델로 보낸 과제의 오류가 늘어남	3회 실행 결과가 갈리는 과제만 큰 모델로 올리는 규칙 추가
외부 모델로 민감 문서가 나감	문서 등급별 라우팅 규칙과 호출 로그 감사

현업 실행 디테일: 누가, 언제, 무엇을

하네스 비용을 점검하는 6주 계획을 예로 듭니다. 아래 역할, 일정, 기준은 모두 가상 예시입니다.

역할	맡는 일 (가상 예시)
CFO·재무 담당	AI 비용을 과제당 비용으로 보고받는 형식 확정, 계약 마진 영향 계산
CIO·플랫폼 엔지니어	task_id 기록 연결, 하네스 비교 실험, 어댑터 구조 설계
업무 오너	시범 작업 흐름 선정, 해결 여부 판정 기준 제공
구매·법무	모델 계약의 데이터 보관 조건, 모델 교체 조항 확인

시작 전 준비물은 최근 1개월 모델 호출 로그, 모델별 청구서, 시범 작업 흐름 한 개의 절차서, 사람이 판정한 기준 과제 50건, 현재 모델 계약서입니다.

기간	할 일	산출물
1주	시범 작업 흐름 선정, task_id 기록 연결, 기준 과제 50건 확정	과제당 비용 기준선, 입력 비중
2~3주	반복 단계 코드화, 캐시 순서 정리, 작은 모델 라우팅 시험	하네스 v2
4~5주	기존 하네스와 v2를 같은 과제로 비교, 모델 교체 시험	비교표(해결률·과제당 비용)
6주	판정 회의, 확대 범위와 계약 조건 결정	판정 보고서

확인 질문은 이렇게 준비합니다. 우리 AI 비용 가운데 입력 토큰이 몇 %입니까? 해결한 과제 1건에 얼마가 듭니까? 매번 같은 결과를 내는 단계에도 모델을 부르고 있습니까? 지금 하네스를 모델 회사에 맡기고 있다면, 모델을 바꿀 때 맥락과 메모리를 그대로 가져올 수 있습니까? GPU 임대료나 모델 가격이 두 배가 되면 어느 계약의 마진이 먼저 무너집니까?

진행 판정 기준의 출발점은 셋입니다. 과제당 비용 40% 이상 감소, 기준 과제 해결률 하락 5%p 이내, 민감 문서 외부 전송 0건입니다. 비용만 줄고 해결률이 떨어지면 v2를 확대하지 않고 해당 단계를 다시 모델 단계로 돌립니다.

AX 적용 제언. 국내 기업이 이 글에서 가져갈 것은 AI 예산을 모델 단가가 아니라 해결한 과제당 비용으로 보는 습관입니다. 첫 대상은 호출량이 많고 맥락 문서가 긴 업무, 예컨대 사내 규정 질의응답이나 송장 예외 검토가 좋습니다. 과제의 주인은 CIO와 CFO가 함께 맡고 모델 계약을 갱신하기 전에 하네스 비교 결과를 먼저 받습니다. 맥락 색인·메모리·권한을 사내에 두는 구조를 첫 업무에서 만들어 두면, 다음 업무부터는 모델 가격이나 GPU 임대료가 흔들릴 때 모델만 바꿔 대응할 수 있습니다. 외부 AI 서비스를 사는 쪽이라면 공급사에 과제당 비용과 하네스 구조를 묻는 것만으로도 가격 협상의 근거가 생깁니다.

원문 사례

항목	내용
원문	Tomasz Tunguz 블로그, 2026.11.2 게재(11.3 수정)
구조	앱 · 하네스와 맥락 · 모델 · 데이터센터 4층, 층마다 경제 질문 하나
앱 층	해자 선택지: 브랜드, 가격 파괴, 자체 모델, 빠른 확장. 화면이 살아남을지 하네스로 흡수될지
입력 맥락	OpenRouter 주요 모델 5개에서 입력이 토큰의 85.7~98.2% (7.28 글)
하네스 품질	Endor Labs: GPT-5.5 Codex 61.5% / Cursor 87.2%, Opus 4.7 Claude Code 87.2% / Cursor 91.1%
하네스 비용	Berkeley HarnessTax: 같은 모델 과제당 1.540 → 0.441달러(71%↓), 42개 비교 품질 차이 유의하지 않음 (9.17 글)
계약 마진	연 25만 달러 계약 가정: 추론비 13.1만 vs 3.7만 달러, 마진 약 38% vs 약 75%
기업 주권 AI	맥락·메모리·권한은 사내, 모델은 교체. 데이터 주권 의무, zero data retention, 접근 등급 분리
모델 층	Anthropic 영업손실 81억 달러·컴퓨트 약정 6,370억 달러, OpenAI 누적 소진 2,780억 달러 전망. OpenRouter 토큰 84% 비최첨단, 에이전트 작업 약 83% 작은·도메인 모델
새 구조	확산 언어 모델(Mercury 2.5), JEPA(1.09억 파라미터, 학습 표본 42배 적음)
데이터센터 층	5년 새 부채 4조 달러, CDS Meta 108bp·Oracle 322bp·CoreWeave 1,090bp, B300 시간당 약 5.53 → 12.29달러
층 사이 연결	앱 이익이 인프라 비용 흡수, GPU 금융비 상승이 하네스 가치 상승, DeepSeek MLA 토큰당 KV 캐시 약 70KB

핵심 개념

OpenRouter

여러 회사의 모델을 한 API로 골라 쓰게 해 주는 중개 서비스입니다. 토큰 사용 통계를 공개합니다.

SWE-bench Lite

실제 오픈소스 저장소의 이슈를 코드로 고치게 하는 코딩 에이전트 평가 과제 묶음입니다.

gross margin

매출에서 그 매출을 내는 데 직접 든 비용을 빼고 남은 몫의 비율입니다. AI 서비스에서는 추론비가 가장 크게 움직입니다.

prompt caching

매번 같은 맥락 앞부분을 저장해 두고 다시 보낼 때 싼 값으로 처리하는 기능입니다.

KV cache

모델이 앞 토큰을 다시 계산하지 않도록 GPU 메모리에 담아 두는 중간 값입니다. 작을수록 같은 장비로 더 많은 사용자를 받습니다.

CDS spread

회사 부도에 대비한 보험료 성격의 가격입니다. 높을수록 시장이 부도 위험을 크게 봅니다.

내 메모

TODO: 내 생각 추가

원문은 Tomasz Tunguz 블로그의 「The Four Questions of AI」(2026.11.2 게재)입니다. 하네스 층의 세부 수치와 연구 설계는 원문이 링크한 Tunguz의 이전 글 「Aftermarket Harnesses」(2026.7.28)와 「The Harness Margin Opportunity」(2026.9.17)에서 확인해 보강했습니다. 요약, 핵심 메커니즘의 원문 내용, 통념과 다른 주장, 사례, 원문 사례 표는 이 글들을 AX Review가 다시 정리했습니다. 핵심 메커니즘의 작은 예시, 기술·현업 실행 디테일, JSON 예시, 실패 대응 표, 역할·일정·판정 기준, 인포그래픽은 원문에 없는 내용으로 새로 작성했고 그 안의 필드명과 숫자는 가상 예시입니다. 전체 글과 출처 링크는 원문 페이지에서 볼 수 있습니다.