Intelligence Isn't the Bottleneck: Databricks CEO가 꼽은 기업 AI의 네 관문과 사내 병목 지표
Databricks CEO 알리 고드시는 All-In 대담에서 대부분 기업이 AI를 검색 대용과 20~30% 빠른 코딩에만 쓴다고 봤습니다. 막는 관문으로 맥락, 보안, 토큰 비용, 종속과 IP 넷을 꼽았고 사내에서는 일이 다른 부서를 기다리며 멈추는 '사람 병목'을 지표로 잰다고 했습니다. 관문별 점검 필드와 4주 진단 계획을 붙였습니다.
모델의 지능은 이미 충분하며 기업 AI를 막는 것은 맥락·보안·비용·종속 네 관문이라는 것이 Databricks CEO의 진단입니다. 넘으려면 결정이 일어나는 자리의 기록을 AI에 넘기는 규칙, 에이전트별 권한과 예산, 모델을 갈아 끼울 수 있는 구조를 먼저 갖추고 일이 사람을 기다리며 멈추는 지점을 숫자로 재야 합니다.
요약
Databricks 공동창업자이자 CEO인 알리 고드시(Ali Ghodsi)가 2026년 11월 17일 공개된 All-In 팟캐스트 대담에 나왔습니다. 그는 UC Berkeley AMPLab 시절의 정의로 보면 범용 인공지능(AGI)은 이미 왔다고 말합니다. 반면 스스로 더 빨리, 더 싸게 다음 모델을 만드는 재귀적 자기개선(RSI)은 아직 일어나지 않았다고 봅니다. 대담의 무게는 기업 현장에 실려 있습니다. 대형 고객 대부분은 AI를 고급 검색창처럼 쓰고 코딩 속도는 20~30% 빨라진 정도라고 했습니다. 에이전트 수천 개를 돌리는 고객은 아직 보지 못했다고도 했습니다.
그 이유로 그는 네 관문을 차례로 듭니다. AI가 결정이 내려지는 회의에 없으니 맥락이 없습니다. 에이전트에 넓은 권한을 주면 내부자 위협과 공격면이 커집니다. 토큰 비용은 매출보다 빨리 늘어 결국 CFO가 막습니다. 모델 회사에 데이터를 맡기면 IP가 흡수되거나 그 회사와 경쟁하게 될까 걱정합니다. 그는 이 간극을 메우는 데 10~15년이 걸린다고 봤습니다. 연구소들이 말하는 6~24개월과는 거리가 멉니다. Databricks 안에서는 엔지니어 약 2,000명의 산출이 L자로 갈린다는 점, 그리고 일이 법무·재무 같은 다른 조직을 기다리며 멈추는 횟수를 줄이는 것이 자신의 운영 지표라는 점을 소개했습니다. 아래에서는 네 관문과 사내 장치를 개념별로 풀고 실제로 진단할 때 필요한 필드와 일정을 붙입니다.
핵심 메커니즘
Context Gap: 결정이 내려지는 자리에 AI가 없다
AI가 회사 일을 도우려면 무엇이 왜 결정됐는지 알아야 합니다. 그런데 결정은 대개 회의에서 말로 내려지고 기록되지 않습니다. 고드시는 한 대형 은행 CEO가 법적 책임 때문에 회의를 절대 녹음하지 않겠다고 했다는 일화를 듭니다. 입력(회의·메일·메신저의 결정)이 비면 처리(에이전트의 판단)가 아무리 좋아도 출력은 일반론에 머뭅니다. 그가 경제 효과를 10~15년으로 길게 보는 근거도 여기에 있습니다. 맥락을 남기지 않는 회사는 에이전트에 일을 맡길 수 없기 때문입니다.
Agent Attack Surface: 권한을 넓힐수록 내부자가 하나 더 생긴다
두 번째 관문은 보안입니다. 에이전트가 모든 데이터와 시스템에 손이 닿으면, 그 에이전트를 속이거나 장악한 쪽이 곧 내부자가 됩니다. 고드시는 대기업이 공격을 가장 큰 걱정으로 꼽는다고 전합니다. 그는 공격과 방어의 비대칭도 짚었습니다. 공격자는 에이전트 수천 개를 돌려 한 번만 성공하면 되고 방어자는 모두 막아야 합니다. 다만 새로 쓰는 코드는 AI로 검사하고 오래된 코드는 다시 쓰거나 보완할 수 있으며 숨은 취약점의 수도 유한해, 이 불균형은 언젠가 가라앉는다고 봤습니다.
Token Economics: 비용 곡선이 매출 곡선을 앞지른다
세 번째는 비용입니다. 토큰 사용량은 지수적으로 늘 수 있지만 매출이 그 속도로 느는 회사는 없다고 그는 말합니다. 그러면 CFO가 언젠가 제동을 겁니다. Databricks 자체 데이터에서도 산출이 가장 높은 엔지니어가 토큰을 가장 많이 쓰는 사람은 아니었습니다. 그래서 그는 쉬운 질의는 값싼 모델이나 오픈 모델로 보내는 라우팅을 비용 절감 수단으로 듭니다.
Lock-in and IP: 모델 회사가 내 데이터를 배우고 내 시장에 들어온다
네 번째 관문은 특정 모델 회사에 묶이는 문제입니다. 고객은 맡긴 데이터가 다음 모델에 흡수되거나 모델 회사가 자기 제품 영역으로 들어올까 걱정합니다. 고드시는 모델 회사가 스프레드시트부터 이미지 편집까지 고객이 파는 제품 영역으로 넓혀 가는 흐름을 예로 듭니다. 그는 네 관문을 순서대로 넘어야 하는 문으로 설명했고, Databricks가 이 넷을 모두 겨냥해 제품을 판다고 덧붙였습니다.
Code Factory와 Human Blockers: 사내 산출은 L자, 병목은 사람 사이
고드시는 엔지니어 약 2,000명이 주마다 내보낸 운영 코드를 그래프로 보여 줬습니다. 소수가 나머지를 크게 앞서는 L자였고 그 소수는 코드를 자동으로 만들어 내는 공장(automated factory)을 돌리고 있었습니다. AI로 개인 작업이 빨라지면 일은 이제 사람 사이에서 멈춥니다. 법무, 재무, 마케팅, 합의가 필요한 형제 조직이 동의하지 않으면 일은 다음 회의로 넘어가고 결국 관리자에게 올라갑니다. 그는 이 human blocker(일이 다른 사람의 승인·합의를 기다리며 멈추는 지점)를 재서 줄이는 것을 자신의 단 하나의 명시적 운영 지표로 둔다고 했습니다.
통념과 다른 주장
흔히 이렇게 봅니다기업 AI가 더딘 것은 모델이 아직 덜 똑똑하기 때문이다.
저자는 이렇게 봅니다지능은 이미 충분합니다. 막히는 곳은 맥락, 보안, 비용, 종속이라는 기업 내부의 관문입니다.
근거대형 은행은 회의를 기록하지 않아 AI가 결정에 낄 수 없습니다. 고객 대부분은 여전히 검색과 코딩 보조에 머물러 있으며 에이전트 수천 개를 돌리는 곳은 없다고 했습니다.
흔히 이렇게 봅니다토큰을 많이 쓰는 개발자일수록 AI로 더 많이 만들어 낸다.
저자는 이렇게 봅니다산출을 가르는 것은 사용량이 아니라 자동화 공장을 갖췄느냐입니다.
근거Databricks 엔지니어 약 2,000명의 산출에 비용을 겹치자 가장 많이 만든 사람이 가장 많이 쓴 사람은 아니었습니다.
저자가 든 사례
회의를 녹음하지 않겠다는 은행
| 구분 | 내용 |
|---|---|
| 상황 | 한 대형 은행 CEO가 회의 녹음을 거부. 이유는 법적 책임 |
| 한 일 | 원문에서 밝히지 않음 |
| 결과 | AI가 회의에서 내려지는 결정에 접근하지 못해 판단을 돕지 못함 |
| 연결 | Context Gap |
Databricks 엔지니어 산출 분포
| 구분 | 내용 |
|---|---|
| 상황 | 엔지니어 약 2,000명이 AI 코딩 도구를 쓰는 환경 |
| 한 일 | 주별 운영 코드 산출과 토큰 비용을 사람별로 그래프화 |
| 결과 | L자 분포. 상위 소수는 자동화 공장을 운영했으며 산출 1위가 비용 1위는 아니었음 |
| 연결 | Code Factory, Token Economics |
Genie로 본 직원 조사
| 구분 | 내용 |
|---|---|
| 상황 | 직원 1만 명 넘게 응답한 사내 조사에서 ‘피드백 후 조치’ 점수가 낮음 |
| 한 일 | 사내 에이전트 Genie에게 원인을 묻고 부서별로 나눠 봄 |
| 결과 | 워라밸과의 상관(인과 아님)을 찾음. 부서별 원인은 프로덕트는 이해관계자 과다, 엔지니어링은 도구, 영업 운영은 경력 성장으로 갈림. 데이터팀이 하면 약 1주 걸릴 분석 |
| 연결 | Context Gap(조직 데이터를 에이전트가 읽게 함) |
기술 디테일: 네 관문을 점검표로 바꾼다면
아래 필드명, 설정값, 기준은 실제로 돌릴 때 필요한 것을 새로 쓴 가상 예시입니다.
Context Gap을 메우려면 회의 전체가 아니라 결정만 남기는 형식부터 정합니다. 녹음 거부의 이유가 법적 책임이라면 원본 음성 대신 회의 끝에 결정 기록 한 건을 남기게 합니다. 회의록 초안은 전사 도구로 만들고 LLM이 아래 형식으로 결정만 뽑게 한 뒤, 회의 주관자가 확인한 것만 저장합니다. 원본 전사는 7일 뒤 지우고 결정 기록만 보관하면 법무 부담이 줄어듭니다. 추출은 temperature 0으로 두고 근거 발언 시각을 함께 받아 사람이 확인할 수 있게 합니다.
{
"decision_id": "mtg-2026-1119-004",
"meeting": "주간 가격 정책 회의",
"decision": "B2B 할인 상한 12%로 조정",
"reason": "3분기 이익률 하락",
"owner": "영업 본부장",
"evidence_ts": ["00:14:20", "00:16:05"],
"confirmed_by": "회의 주관자",
"raw_transcript_ttl_days": 7
}
Agent Attack Surface를 줄이려면 에이전트마다 신원과 권한 범위를 따로 줍니다. 에이전트 하나에 서비스 계정 하나, 읽기와 쓰기 도구를 분리한 허용 목록, 쓰기 작업의 사람 승인, 모든 호출의 감사 로그(agent_id, tool, target, 결과)를 둡니다. 외부 문서나 메일을 읽는 에이전트에는 쓰기 도구를 주지 않습니다. 프롬프트 주입(외부 글에 숨긴 지시)에 속더라도 피해가 읽기에서 멈추게 하려는 장치입니다.
{
"agent_id": "ag-procure-summary-01",
"owner": "구매팀장",
"service_account": "svc-ag-procure-01",
"tools_read": ["erp.po.read", "mail.inbox.read"],
"tools_write": [],
"write_requires_human": true,
"monthly_token_budget_usd": 300,
"audit_log": ["agent_id", "tool", "target", "result", "ts"]
}
Token Economics를 관리하려면 사용량이 아니라 완료한 일 하나당 비용을 봅니다. 팀·에이전트별로 월 토큰 비용과 완료 건수를 함께 기록합니다. 건당 비용은 (토큰 비용 + 사람 검토 시간 × 시간당 인건비) ÷ 완료 건수로 계산해, 사람이 다시 손본 시간까지 비용에 넣습니다. 분류·요약 같은 쉬운 질의는 작은 모델이나 오픈 모델로 보냅니다. 라우팅 규칙은 처음에는 작업 유형(분류, 요약, 추출, 생성, 다단계 추론)으로 정하고 앞의 셋만 작은 모델로 보냅니다. 라우팅 전후로 같은 평가 세트 200건을 3회씩 돌려 품질 하락이 2%p 안이고 반복 편차보다 작으면 전환합니다. 고드시가 보여 준 산출 대 비용 그래프는 엔지니어별 커밋 수와 토큰 비용을 산점도로 그리면 그대로 재현됩니다.
Lock-in and IP에 대비하려면 모델 호출을 한 겹 감쌉니다. 애플리케이션은 내부 게이트웨이만 부르고 게이트웨이가 모델을 고릅니다. 평가 세트와 프롬프트는 회사 저장소에 두고 계약서에는 입력 데이터의 학습 사용 금지 조항을 확인합니다. 그래야 모델을 바꿀 때 같은 시험으로 비교할 수 있습니다.
Human Blocker를 재려면 업무 티켓의 대기 상태를 이벤트로 남깁니다. 아래처럼 대기 시작·종료와 기다린 조직을 기록하면 조직별 대기 횟수와 시간이 나옵니다.
{"ticket": "PRJ-2231", "blocked_on": "법무", "reason": "계약 조항 검토", "waiting_since": "2026-11-12T10:00", "released_at": "2026-11-14T16:30", "escalated": false}
| 막히는 경우 | 증상 | 대응 |
|---|---|---|
| 결정 추출이 빈약함 | 회의마다 결정 0건 | 회의 끝 2분 동안 주관자가 결정을 소리 내 정리하도록 운영 규칙 추가 |
| 승인 대기가 쌓임 | 에이전트 쓰기 작업이 하루 넘게 대기 | 금액·범위 기준 아래는 사후 검토로 전환 |
| 라우팅 후 품질 저하 | 평가 세트 점수 하락 | 하락한 질의 유형만 상위 모델로 되돌림 |
| 대기 기록 누락 | 티켓 상태를 안 바꿈 | 승인 요청 메일·메신저에서 대기 이벤트를 자동 생성 |
현업 실행 디테일: 누가, 언제, 무엇을
아래 역할, 일정, 기준은 대담 내용을 참고해 새로 짠 가상 예시입니다.
| 역할 | 맡는 일 |
|---|---|
| CEO·AX 추진 책임자 | 네 관문 중 우선순위 결정, 사람 병목 지표를 경영 회의 정례 안건으로 |
| CIO·CTO | 모델 게이트웨이, 에이전트 신원·권한 설계 |
| CISO | 에이전트 권한 검토, 감사 로그 기준 |
| CFO | 완료 건당 비용 기준선과 예산 한도 |
| 법무 | 결정 기록 보관 규칙, 모델 계약의 데이터 조항 |
| 현업 리더 | 대기 이벤트 기록, 병목 원인 검토 |
준비물. 최근 3개월 AI 도구별 비용 청구서, 주요 회의 목록, 에이전트·서비스 계정 목록, 업무 티켓 시스템 접근 권한, 모델 계약서가 필요합니다.
| 기간 | 할 일 | 산출물 |
|---|---|---|
| 1주 | 네 관문 자가 진단, AI 비용 기준선 산출, 에이전트 권한 목록 정리 | 관문별 현황표, 건당 비용 기준선 |
| 2주 | 회의 3개에서 결정 기록 시범, 모델 게이트웨이 설계, 대기 이벤트 기록 시작 | 결정 기록 샘플, 게이트웨이 설계서 |
| 3주 | 쉬운 질의 라우팅 시험, 쓰기 권한 분리, 조직별 대기 집계 | 라우팅 전후 품질·비용, 대기 상위 조직 목록 |
| 4주 | 결과 정리와 다음 분기 목표 설정 | 경영 회의 보고서, 관문별 목표 |
경영진과 현업에게 물을 것.
- 지난달 가장 중요한 결정 세 가지는 어디에 기록돼 있나요? AI가 읽을 수 있나요?
- 에이전트가 쓰기 권한이 있는 시스템은 몇 개이고 누가 승인하나요?
- AI 비용이 늘었을 때 그만큼 늘어난 산출은 무엇으로 확인하나요?
- 지금 쓰는 모델을 다음 달 바꿔야 한다면 무엇이 막히나요?
- 지난 분기 일이 가장 오래 멈춘 곳은 어느 조직의 승인이었나요?
진행 판정 기준(예시). 1주 진단에서 결정 기록이 거의 없으면 다른 관문보다 맥락부터 손댑니다. 쓰기 권한이 있는 에이전트에 감사 로그가 없으면 확대를 멈춥니다. 건당 비용을 계산할 수 없으면 새 에이전트 예산을 승인하지 않습니다.
AX 적용 제언. AI 파일럿을 여럿 돌렸는데 쓰임이 검색과 코딩 보조에 머문 기업이라면, 다음 파일럿을 고르기 전에 네 관문 진단부터 하는 편이 낫습니다. 경영진 보고 지표로는 사용자 수보다 ‘조직별 대기 시간’과 ‘완료 건당 비용’을 권합니다. 고드시가 자기 운영 지표로 사람 병목을 고른 이유도 여기에 있습니다. AI로 빨라진 일이 결국 법무·재무 승인에서 멈춘다면, 그 승인 규칙을 바꾸는 것이 조직 설계 과제가 됩니다. 규제가 강한 금융·제약 기업은 녹음 대신 결정만 남기는 규칙으로 맥락 관문을 여는 것부터 시작하기 좋습니다.
원문 사례
| 항목 | 내용 |
|---|---|
| 대담 | All-In 팟캐스트 인터뷰, 2026.11.17 공개(약 1시간 2분) |
| 화자 | Ali Ghodsi, Databricks 공동창업자·CEO |
| AGI 관점 | AMPLab 정의로는 이미 도달. RSI의 조건(더 빠르고 싸게, 전 영역 개선, 반복)은 아직 충족되지 않음 |
| 기업 현황 | 고급 검색 대용과 코딩 보조. 코딩 속도 20~30% 개선. 에이전트 수천 개를 돌리는 고객은 없음 |
| 네 관문 | 맥락, 보안, 비용, 종속과 IP |
| 맥락 사례 | 대형 은행 CEO가 법적 책임 때문에 회의 녹음 거부 |
| 사내 산출 | 엔지니어 약 2,000명, 주별 운영 코드 산출이 L자 분포. 상위 소수는 자동화 공장 운영. 산출 1위가 비용 1위는 아님 |
| 운영 지표 | 사람 병목(법무·재무·마케팅·형제 조직의 승인 대기) 횟수를 줄이는 것 |
| Genie 사례 | 1만 명 넘는 직원 조사의 원인을 부서별로 분석. 데이터팀이 하면 약 1주 분량 |
| 시간표 | 연구소 6~24개월, 고드시는 맥락 간극 해소에 10~15년 |
| 기타 | 단기 위험은 사이버 공격. 상장은 하되 지금처럼 변동이 큰 시기는 아님 |
핵심 개념
- AGI
- 특정 과제가 아니라 여러 분야의 일을 사람 수준으로 해내는 AI입니다. 고드시는 Berkeley 연구실이 2010년 무렵 쓰던 정의를 기준으로 삼습니다.
- RSI (Recursive Self-Improvement)
- AI가 다음 세대 AI를 더 빠르고 싸게 만들고 그 과정이 반복되는 상태입니다. 고드시는 지금은 훈련이 오히려 느려지고 비싸진다고 봅니다.
- Genie
- Databricks의 사내 데이터 에이전트입니다. 조직도, 메일, 회의, 메신저, 문서를 읽고 경영진의 질문에 답합니다.
- Tender offer
- 비상장 회사가 정해진 기간에 직원 주식을 사 주는 절차입니다. 고드시는 비상장을 유지하는 대가로 이를 해마다 크게 치른다고 말했습니다.
- Model routing
- 질의의 난이도에 따라 큰 모델과 작은 모델 중 어디로 보낼지 정하는 방식입니다.
내 메모
TODO: 내 생각 추가
원문은 All-In 팟캐스트의 Ali Ghodsi 인터뷰 「Databricks CEO: AGI Is Already Here, Why Companies Are Behind, and the Superintelligence Debate」(2026.11.17)입니다. 에피소드 페이지와 녹취 전문은 열지 못해, 공개 요약 자료인 FounderList, Scuttlebutt, BigGo Finance의 정리와 GitHub에 공개된 요약을 함께 읽고 자료끼리 일치하는 내용만 실었습니다. 자료마다 다르게 적힌 상위 엔지니어의 산출 배수, 사람 병목 지표의 사내 공개 여부, 은행 규모 같은 세부는 넣지 않았습니다. 요약, 핵심 메커니즘, 통념과 다른 주장, 사례는 대담에 나온 내용을 AX Partners가 다시 정리했습니다. 기술·현업 디테일의 필드명, JSON 예시, 지표와 목표, 일정, 질문, 판정 기준, 인포그래픽과 표는 실제로 돌릴 때 필요한 것을 새로 작성한 가상 예시입니다. 전체 대화는 원문 에피소드에서 들을 수 있습니다.