Own Your Own Intelligence: 모델은 가두고 평가 기준은 지키라는 나델라의 기업 AI 원칙

나델라의 결론은 두 가지입니다. 모델 제공사를 믿고 맡기지 말고 에이전트마다 신원·기록·정책·감시를 두르고, 우리 업무로 만든 평가 기준은 회사 밖으로 내보내지 말라고 합니다. 실제로 하려면 사내 에이전트 목록과 변조할 수 없는 호출 기록, 업무별 평가 문항 100~300건부터 갖춰야 합니다.

요약

Microsoft CEO 사티아 나델라(Satya Nadella)는 2026년 10월 26일 공개된 20VC 팟캐스트에서 진행자 Harry Stebbings와 약 24분간 이야기했습니다. 주제는 프런티어 모델 제공사를 믿어도 되는지, open 모델과 closed 모델 중 어느 쪽이 이기는지, 기업이 자기 지능(intelligence)을 소유해야 하는 이유, 칩부터 모델까지 한 회사가 다 가져야 하는지였습니다. 나델라는 정렬(alignment, 모델이 사람이 의도한 대로 행동하게 만드는 일)을 보는 자신의 생각이 바뀌었다고 털어놓으며 시작합니다. 모델이 커지면 정렬도 저절로 따라올 거라 믿었지만 그렇지 않았습니다.

그래서 그는 모델을 믿는 대신 가두라고 처방합니다. 모델이 이미 침해됐을 수 있다고 가정하고, 에이전트에 신원을 주고, 도구와 모델 호출을 추론 과정까지 변조할 수 없게 기록하고, 정책을 어기는지 감시합니다. 시장 쪽으로는 대부분 기업 업무의 능력이 곧 포화되고, 그 업무는 싼 open·closed 모델이 나눠 가지며 인프라 층에서는 혹독한 가격 전쟁이 벌어진다고 봅니다. 이때 기업이 지켜야 할 것은 사내 평가 기준(private eval)입니다. 쓸수록 공급사가 우리에 대해 배우는 구조이므로, 우리 업무로 모델을 채점하는 기준이 곧 경쟁력이 된다는 주장입니다. 아래에서는 이 주장을 다섯 개념으로 풀고, 사내에서 바로 시작할 수 있는 기록 필드와 6주 일정을 덧붙입니다.

핵심 메커니즘

Zero Trust for Models: 모델을 믿지 않는 직원처럼 다루기

zero trust는 원래 네트워크 보안 원칙입니다. 안쪽에 있다고 믿지 않고, 매번 신원과 권한을 확인합니다. 나델라는 이 원칙을 모델과 에이전트에 그대로 씁니다. 정렬이 풀릴 때까지 기다리지 않고, 완전히 믿을 수 없는 직원을 다루듯 모델을 울타리 안에 넣고 일을 시킵니다. 그의 표현으로는 “treat them inside a zero-trust architecture”입니다. 작동 순서는 네 단계입니다. 에이전트마다 고유한 신원을 주고, 그 에이전트가 부른 도구와 모델 호출을 추론 과정까지 기록하고, 이 기록을 변조할 수 없게 보관하고, 회사가 정한 정책에서 벗어나는지 감시합니다. Microsoft는 이 구조를 Agent 365와 에이전트 신원 계층으로 제공한다고 그는 설명했습니다. 다만 그는 울타리가 안전 연구를 대신하지는 못한다고 선을 긋습니다. 가상 예시로, 구매 에이전트가 승인 한도를 넘는 발주를 시도하면 정책 단계에서 막히고 그 시도가 기록에 남아 보안팀이 다음 날 아침 확인합니다.

Alignment Beyond Scale: 정렬은 크기에서 저절로 나오지 않는다

나델라는 2018~2019년 무렵 scaling law(데이터·연산·모델 크기를 늘리면 성능이 예측대로 오른다는 경험 법칙)를 믿었고, 능력은 실제로 그 기대대로 자랐다고 말합니다. 바뀐 쪽은 정렬을 보는 눈입니다. 능력이 커지면 정렬도 따라 나올 거라 봤지만 지금은 더 어렵고 성격이 다른 문제라고 봅니다. 정렬은 주로 훈련 단계, 어쩌면 사전학습부터 다뤄야 하고, 학습이 끝난 뒤 강화학습(RL)으로 덧대는 것만으로는 부족하다는 것이 그의 판단입니다. 모델 내부가 어떻게 작동하는지 밝히는 과학도 아직 잡히지 않았다고 덧붙였습니다. 기업으로서는 다음 세대 모델이 안전 문제를 풀어 줄 거라 기대하고 통제 설계를 미룰 이유가 없어집니다.

Inspectable Reasoning: 추론 과정을 들여다볼 수 있어야 한다

chain of thought(모델이 답을 내기 전에 거치는 단계별 추론)는 모델의 실제 판단과 어긋날 수 있다고 나델라는 지적합니다. 그는 이를 unfaithful(충실하지 않은) 추론이라고 부르고, 이 추론을 숨기면 문제가 더 커진다고 말합니다. 그래서 신뢰할 수 있는 파트너에게는 추론 과정을 사람이 읽을 수 있는 말로 넘겨, 감사하고 다른 모델로 교차 점검할 수 있게 해야 한다고 봅니다. closed 모델 제공사가 이 필요를 받아들이지 않으면 고객이 추론을 들여다볼 수 있는 open-weight 모델로 옮겨 갈 수 있다고 경고했습니다. 특정 회사를 지목하지는 않았습니다. 앞의 zero trust 기록에서 추론 칸이 비어 있으면 감사가 반쪽이 되므로, 모델을 고를 때 추론 공개 여부를 조건으로 넣어야 합니다.

Commodity Tokens: 대부분의 업무는 싼 모델이 나눠 갖는다

나델라는 대부분의 기업 업무에서 모델 능력이 곧 포화된다고 봅니다. 그다음에는 open 모델이나 가벼운 closed 모델이 물량 대부분을 가져가고, 프런티어 모델은 과학 연구처럼 앞선 능력이 꼭 필요한 영역에서 프리미엄을 유지합니다. 인프라 층에서는 혹독한 가격 전쟁이 불가피하다고 그는 말합니다. Microsoft 자신도 Copilot에서 싼 closed 모델과 open 모델을 매일 대량으로 섞어 쓰고 있다고 밝혔습니다. Microsoft의 자체 모델 MAI는 open-weight로 풀지 않고 licensed weights(사용권을 파는 가중치)로 팔겠다고 했습니다. 네트워크 효과에 기대지 않는 단순한 소프트웨어 사업으로 보겠다는 뜻입니다. 기업으로서는 모델 하나를 고르는 일보다 업무마다 맞는 모델을 연결하고 바꾸는 능력이 더 중요해집니다.

Reverse Information Paradox: 보호받아야 할 쪽은 이제 사는 쪽이다

경제학자 Kenneth Arrow의 정보 역설은 파는 쪽의 문제였습니다. 정보를 팔려면 보여 줘야 하는데, 보여 주는 순간 사는 쪽은 값을 치를 이유가 줄어듭니다. 나델라는 AI에서 이 관계가 뒤집혔다고 말합니다. 기업이 모델을 쓸 때마다 상호작용 기록이 공급사에게 공짜 학습 재료가 될 수 있고, 가치가 우리 회사가 아니라 공급사 쪽에 쌓입니다. 그래서 그는 5년 안에 기업마다 사내 평가 기준을 가장 중요한 지적 재산으로 여기게 될 것이라고 전망했습니다. 이 기준으로 외부 모델을 모두 채점하고 가성비가 가장 나은 쪽을 사는 방식입니다. 평가 기준에는 우리 업무가 무엇을 잘한 것으로 보는지가 담기므로, 이것을 공급사에 넘기면 우리의 판단 기준까지 넘기는 셈입니다.

통념과 다른 주장

저자가 든 사례

Microsoft Copilot: 모델 하나에 묶이지 않기

상황은 Microsoft의 AI 비서 제품 Copilot입니다. 나델라는 Copilot이 싼 closed 모델과 open 모델을 매일 대량으로 섞어 쓴다고 밝혔습니다. 결과로 그가 강조한 것은 특정 모델의 능력보다 여러 모델을 연결하고 다스리는 쪽에 무게가 옮겨 간다는 점입니다. 혼용 비율과 모델 이름은 밝히지 않았습니다. Commodity Tokens 개념의 사례입니다.

Agent 365: 정렬이 풀리기 전에 모델을 쓰는 법

Microsoft는 정렬 문제가 해결되기를 기다리지 않고 사내에서 모델을 씁니다. 대신 Agent 365와 신원 계층으로 에이전트마다 신원을 주고, 도구·모델 호출과 추론을 기록하고, 정책 이탈을 잡습니다. 나델라는 믿지 못하는 직원을 다룰 때 쓰는 보안 방식과 같다고 설명했습니다. 도입 효과를 보여 주는 수치는 밝히지 않았습니다. Zero Trust for Models 개념의 사례입니다.

Factory: 5위 업체도 이기는 시장

나델라는 코딩 도구 시장에서 5위인 Factory가 계속 고객을 얻고 있다고 말했습니다. 1등이 시장을 다 가져간다는, 그가 배운 벤처 경제학과는 다른 모습입니다. 그는 소프트웨어 수요가 생각보다 훨씬 탄력적이라고 해석했습니다. 값이 내려가면 수요가 그 이상으로 늘어난다는 뜻입니다. 매출이나 점유율 수치는 밝히지 않았습니다. 층마다 여러 승자가 나온다는 수평 분업 전망과 이어지는 사례입니다.

중국 open-weight 모델 질문

Stebbings는 상위 open-weight 모델 다수가 중국 모델이라는 점을 짚었습니다. 나델라는 안전 장치 없는 AI는 미국·영국·중국 모두에 해롭고, 정렬되지 않은 중국 open-weight 모델은 중국에도 해를 끼칠 것이라고 답했습니다. 모델이 어디서 왔는지보다 울타리와 정렬이 있느냐가 기준이라는 뜻으로 읽힙니다. Alignment Beyond Scale 개념과 이어집니다.

1,000억 달러급 훈련비와 GDP

대담은 한 번에 1,000억 달러급 비용이 드는 훈련이 가능한지도 다뤘습니다. 나델라는 이런 지출은 결국 세계 실질 GDP 성장으로 정당화돼야 한다고 말합니다. 그가 보는 지표는 AI가 세계 GDP 성장률을 눈에 띄게 끌어올리느냐입니다. 낙관하는 근거로는 공공 의료비 절감과 효율, 아직 채워지지 않은 소프트웨어 개발 수요를 들었습니다. 칩부터 앱까지 한 회사가 다 갖는 수직 독점은 가능성이 매우 낮고, 층마다 여러 승자가 나와 고객이 조립하는 구조가 될 것이라는 전망도 밝혔습니다.

기술 디테일: 울타리와 평가 기준을 실제로 만들려면

Zero Trust for Models를 돌리려면 사내 에이전트 목록부터 만듭니다. 에이전트마다 agent_id, 소유 부서, 담당자, 쓰는 모델, 부를 수 있는 도구, 접근하는 데이터 등급을 적습니다. 목록에 없는 에이전트는 API 게이트웨이에서 호출을 막습니다. 신원은 사람 계정을 빌리지 않고 에이전트 전용 서비스 계정으로 발급해야 기록에서 사람과 에이전트를 가를 수 있습니다.

변조할 수 없는 호출 기록은 호출마다 한 줄씩 append-only로 쌓고, 줄마다 직전 줄의 해시를 넣어 사슬을 만듭니다. 한 줄이라도 고치면 그 뒤 해시가 모두 어긋나므로 사후 조작을 잡을 수 있습니다. 저장소는 WORM(한 번 쓰고 지울 수 없는) 설정의 객체 스토리지를 쓰고 보존 기간은 감사 주기에 맞춥니다. 아래는 가상 예시입니다.

{
  "ts": "2026-11-03T09:14:22+09:00",
  "agent_id": "proc-po-agent-07",
  "owner": "구매팀",
  "call": {"type": "tool", "name": "erp.create_po", "input_hash": "sha256:…", "output_hash": "sha256:…"},
  "model": {"name": "모델명", "version": "공급사 버전"},
  "reasoning": "추론 요약 또는 null(공급사가 제공하지 않음)",
  "policy_check": {"result": "block", "rule_id": "PO-LIMIT-50M"},
  "chain_hash": "sha256:직전 줄 해시"
}

정책 이탈 감시는 규칙과 모델 점검 두 겹으로 둡니다. 금액 한도, 접근 데이터 등급, 근무 시간 밖 대량 호출처럼 숫자로 정할 수 있는 것은 규칙으로 막습니다. 규칙으로 잡기 어려운 것은 하루치 기록을 다른 공급사의 모델에 넘겨 정책 문서와 대조하게 하고, 두 모델 판단이 다르면 사람이 봅니다. Inspectable Reasoning에서 말한 교차 점검을 사내에서 돌리는 방법입니다. reasoning 칸이 비는 모델은 고위험 업무에서 빼는 것도 선택지입니다.

private eval을 만들려면 최근 3개월 실제 업무에서 업무별 100~300건을 뽑아 문항으로 씁니다. 문항마다 정답과 0·3·5점 채점표를 붙이고 현업 2명이 따로 채점해 기준을 맞춥니다. 후보 모델마다 같은 문항을 temperature 0~0.2로 3~5회 돌리고, 같은 문항의 점수 편차가 1점을 넘으면 문항이나 채점표를 다시 봅니다. 결과는 업무별로 평균 점수, 건당 비용, 실패 유형을 한 표로 만들어 점수 대비 비용으로 모델을 고릅니다. 평가 문항과 정답은 사내 저장소에만 두고, 공급사 API로 채점할 때도 학습 미사용 조건이 확인된 계약으로만 보냅니다. 문항이 새 나가면 Reverse Information Paradox가 말하는 판단 기준이 그대로 넘어갑니다.

Commodity Tokens에 맞추려면 앱이 모델을 직접 부르지 않고 라우팅 층을 거치게 합니다. 업무 유형마다 기본 모델과 대체 모델을 정해 두고, private eval 점수가 기준선 아래로 떨어지거나 가격이 바뀌면 설정 한 줄로 갈아탈 수 있어야 합니다. 프롬프트는 모델별로 분기하지 않도록 공통 형식으로 관리하고, 출력은 JSON 스키마로 고정해 모델이 바뀌어도 뒤 단계가 깨지지 않게 합니다. 라우팅 설정은 아래처럼 업무 단위로 둡니다(가상 예시).

po_approval:            # 구매 승인 검토
  primary: 경량-closed-A
  fallback: open-weight-B
  min_eval_score: 4.2   # private eval 평균, 5점 만점
  max_cost_per_task_krw: 30
  require_reasoning: true
  log: append_only

min_eval_score 아래로 떨어지면 fallback으로 넘기고, require_reasoning이 true인 업무는 추론 과정을 주지 않는 모델을 후보에서 뺍니다.

실패하는 경우와 대응도 정해 둡니다. 공급사가 추론 과정을 주지 않으면 reasoning을 null로 남기고 해당 업무의 위험 등급을 올립니다. 기록 저장 비용이 커지면 입력·출력 원문 대신 해시와 요약만 남기고 원문은 30~90일만 보관합니다. 평가 점수가 모델 업데이트 뒤 갑자기 바뀌면 버전을 고정하고 재채점이 끝날 때까지 이전 버전을 씁니다.

현업 실행 디테일: 누가, 언제, 무엇을

역할	맡는 일	산출물
CEO	사내 평가 기준을 회사 자산으로 지정, 공급사 데이터 정책 승인	결정 메모 1장
CISO	에이전트 목록, 신원 발급, 호출 기록·정책 설계	에이전트 레지스트리, 정책 규칙 목록
AX 추진	대상 업무 선정, 평가 문항·채점표 작성, 모델 채점	업무별 private eval, 채점 결과표
현업 리더	문항과 정답 검수, 채점 참여	검수 완료 문항
법무·구매	공급사 계약의 학습 사용·추론 공개·기록 반출 조항 점검	조항 비교표, 협상안
CIO·CTO	라우팅 층과 기록 저장소 구축, 최종 판정	아키텍처 문서, 판정 보고

1주 차에 할 일은 요일까지 정해 둡니다. 월요일에 CISO가 부서별 AI 도구·에이전트 설문을 보내고, 수요일까지 AX 추진이 현업 리더와 대상 업무 2~3개를 고르며, 금요일에 법무가 현재 공급사 계약서의 학습 사용 조항을 표로 뽑아 옵니다.

시작 전 준비물은 네 가지입니다. 현재 쓰는 AI 도구와 에이전트 목록(부서 설문으로 1주 안에 모음), 공급사 계약서 원본, 대상 업무 2~3개의 최근 3개월 처리 기록, 기존 접근 권한 정책 문서입니다.

공급사에 물을 질문도 미리 정해 둡니다. 가상 예시입니다.

1. 우리 프롬프트·출력·수정 이력이 모델 학습에 쓰이는가, 쓰이지 않는다면 계약서 어느 조항에 있는가.
2. 추론 과정을 사람이 읽을 수 있는 형태로 받을 수 있는가, 받을 수 없다면 어떤 대체 정보를 주는가.
3. 호출 기록을 우리 저장소로 실시간 내보낼 수 있는가.
4. 모델 버전을 고정할 수 있는 기간은 얼마이고, 바뀔 때 며칠 전에 알리는가.
5. 계약을 끝낼 때 우리 데이터와 미세조정 결과는 어떻게 처리되는가.

진행 판정 기준(가상 예시)은 다음과 같습니다. 7주 차에 사내 에이전트의 90% 이상이 레지스트리에 올라 있고, 대상 업무의 호출이 100% 기록되며, 업무 2개 이상에서 private eval로 모델 2개 이상을 채점해 점수 대비 비용 비교표가 나왔다면 다음 업무로 넓힙니다. 레지스트리 등록이 70% 미만이거나 공급사 계약에서 학습 미사용을 확인하지 못했다면 확장을 멈추고 계약과 목록부터 정리합니다.

AX 적용 제언입니다. 고객사가 이미 한 공급사와 전사 계약을 맺었다면 첫 질문은 “어느 모델이 좋은가”가 아니라 “우리 업무 기준으로 채점해 본 적이 있는가”여야 합니다. 그래서 첫 과제로 구매 승인이나 고객 문의 분류처럼 정답이 분명하고 건수가 많은 업무 하나를 골라 private eval을 만드는 일을 권합니다. 평가 기준이 생기면 보안팀의 에이전트 통제와 재무팀의 모델 비용 협상이 같은 자료를 쓰게 됩니다. 보안과 비용을 따로 보던 관행을 하나의 기록과 하나의 평가표로 묶는 일부터 시작합니다.

원문 사례

항목	내용
대담	20VC, 진행 Harry Stebbings, 2026.10.26 공개, 약 24분
화자	Satya Nadella, Microsoft CEO(입사 34년)
정렬	2018~2019년 scaling law를 믿었고 능력은 기대대로 성장, 정렬이 저절로 나온다는 생각은 바꿈. 훈련 단계에서 다뤄야 하고 RL 사후 보정만으로는 부족
보안	모델이 침해됐을 수 있다고 가정, zero trust. Agent 365와 신원 계층으로 신원 부여, 도구·모델 호출과 추론 기록, 변조 불가 기록, 정책 이탈 감지
추론 공개	chain of thought는 unfaithful일 수 있고 숨기면 악화. 신뢰 파트너에게 읽을 수 있는 형태로 제공해 감사·교차 점검 요구
모델 시장	대부분 업무는 능력 포화 뒤 싼 open·closed 모델로, frontier는 과학 연구 등 틈새. 인프라 가격 전쟁 불가피. Copilot은 싼 모델들을 매일 혼용
MAI	open-weight로 풀지 않고 licensed weights로 판매, 단순한 소프트웨어 사업
기업 자산	Arrow 정보 역설이 뒤집혀 사는 쪽이 보호 필요. 5년 안에 사내 평가 기준이 핵심 IP
시장 구조	칩부터 앱까지 수직 독점 가능성 낮음, 층마다 여러 승자
소프트웨어 수요	예상보다 탄력적. 코딩 도구 5위 Factory도 이기고 있음
훈련비·GDP	1,000억 달러급 훈련은 세계 실질 GDP 성장으로 정당화돼야 함. 공공 의료, 숨은 소프트웨어 수요를 근거로 낙관
중국	상위 open-weight 다수가 중국 모델이라는 질문에, 안전 없는 AI는 미·영·중 모두에 해롭다고 답함

핵심 개념

Frontier model

그 시점에 가장 앞선 능력을 가진 대형 모델. 나델라는 과학 연구 같은 일부 영역에서만 가격 프리미엄을 지킬 것으로 봅니다.

Open-weight

학습된 가중치를 공개해 누구나 내려받아 돌릴 수 있는 모델. 코드와 데이터까지 공개하는 오픈소스와는 범위가 다를 수 있습니다.

Licensed weights

가중치를 공개하지 않고 사용권을 파는 방식. 나델라가 Microsoft MAI 모델의 사업 방식으로 든 말입니다.

Agent 365

Microsoft가 에이전트에 신원을 주고 호출을 기록·감시하는 데 쓴다고 나델라가 설명한 제품.

Private eval

회사가 자기 업무 문항과 채점 규칙으로 만든 비공개 평가 세트. 공개 벤치마크와 달리 공급사가 미리 맞춰 둘 수 없습니다.

Kenneth Arrow

정보는 팔려면 보여 줘야 하고 보여 주면 값어치가 떨어진다는 정보 역설을 제시한 경제학자.

Tamper-proof log

한 번 쓴 기록을 고치거나 지우면 바로 드러나게 만든 기록. 해시 사슬이나 WORM 저장소로 구현합니다.

내 메모

TODO: 내 생각 추가

원문: 20VC, 「Satya Nadella on Open vs Closed Models: Who Wins | Whether to Trust Frontier Model Providers | Why Companies Need to Own Their Own Intelligence | The Importance of Verticalisation」(2026.10.26). 원 음성은 직접 듣지 않았고 전체 녹취도 확보하지 못했습니다. 에피소드 제목·날짜·주제 목록은 libsyn 에피소드 페이지와 Podscan에서, 발언 내용은 공개 보도·요약 네 종(The Next Web, Scuttlebutt 공개 부분, 36Kr, BigGo Finance)에서 서로 맞는 내용만 AX Review가 다시 정리했습니다(보도 기준). 같은 주 런던 행사 기조연설에서 나온 사례는 넣지 않았습니다. 기술·현업 디테일, JSON·YAML 예시, 문항 수·반복 횟수·판정 기준, 질문 목록, 일정, 인포그래픽은 새로 작성한 것이며 그 안의 필드명과 숫자는 가상 예시입니다. 에피소드 전체는 20VC 채널에서 들을 수 있습니다.