영업 문의 처리를 에이전트에 맡긴 Vercel의 방법: 정해진 규칙은 코드로, 판단만 AI에 맡겼습니다
VC Tomasz Tunguz가 Vercel의 COO Jeanne DeWitt Grosser와 나눈 대화를 글로 정리했습니다. Vercel은 최고 영업 담당자(SDR)가 쓴 125줄 프롬프트로 시작해, 첫 100건은 전부 사람이 읽고 이후에는 100건 중 1건만 뽑아 검수했습니다. 프롬프트가 1,000줄로 불어나자 모델이 규칙을 놓치는 일이 생겼고, 그래서 자격 판정 규칙 14개는 코드로 빼고 사람이 하던 판단만 모델에 남겼습니다. 연간 운영비는 약 1,000달러이고, SDR 전원은 아웃바운드 영업으로 옮겼습니다.
검토해 볼 질문우리 회사가 에이전트에 맡기려는 업무에서 '규칙'과 '판단'을 나눠 적어 봤습니까? 규칙까지 프롬프트에 넣어 두고 있지는 않습니까?
기술 디테일
- 시작: GTM 엔지니어 한 명이 업무 시간의 약 20%를 들여 6월에 착수, 8월까지 사람 검수를 이어 갔습니다.
- 검수 방식: 처음에는 에이전트가 조사·판정·초안까지만 하고 발송은 하지 않았습니다. 첫 100건 전수 검토 → 약 1%(100건 중 1건) 표본 검수로 바꿨습니다.
- 구조: 결정형 규칙 14개(예: Salesforce에 열린 영업 기회가 있으면 담당 AE에게 배정)는 코드, 판단은 모델. 규칙 위반을 감시하는 별도 '에스컬레이션 에이전트'를 둡니다.
- 근거로 든 연구(Tunguz): 운영 중인 에이전트 워크플로 14개에서 노드의 65%가 순수 코드, 완전 에이전트형은 14%였습니다.
- 연간 약 1,000달러는 추론·인프라 비용만입니다(회사 자체 설명). 엔지니어 인건비는 들어 있지 않습니다.
원문 한글 정리 · AX 관점 메모
원문 한글 정리
- 배경. Tunguz의 'Office Hours'에 Vercel COO가 나와 영업 문의(인바운드) 에이전트를 만든 과정을 설명했습니다.
- 작게 시작. 엔지니어 한 명이 일부 시간만 들였고, 꽤 정해진 문제를 골라 회사 맥락을 붙이는 데서 출발했습니다.
- 신입처럼 관리. SDR이 에이전트를 새로 들어온 직원처럼 관리했습니다. 6주간 쌓인 검수 기록이 '전부 읽기'에서 '표본만 보기'로 넘어갈 근거가 됐습니다.
- 프롬프트의 한계. 사업이 커지며 프롬프트가 1,000줄이 됐고, 모델이 그 안의 규칙을 늘 지키지는 않았습니다. 자격 판정 단계의 상당수는 사실 규칙이었다는 것이 깨달음입니다.
- 규칙과 판단의 분리. 규칙 14개는 코드로 옮기고, 모델은 예전에 사람이 생각하던 자리에서만 쓰도록 좁혔습니다. 규칙 위반은 별도 에이전트가 살핍니다.
- 사람의 자리. SDR은 관례인 1년을 건너뛰고 모두 아웃바운드로 승진했습니다. 사람의 가치는 대화에 있다는 설명입니다.
AX 관점 메모
- 현업 리더(영업). 영업 문의 처리 규칙(배정, 자격 판정)을 먼저 문서로 적고, 그중 코드로 옮길 것을 고릅니다.
- AX 추진. 새 에이전트는 '전수 검수 기간 → 표본 검수' 전환 기준을 미리 정해 두고 시작합니다.
핵심 인용
"we're really only using the model for thinking exactly where a human would have thought previously."모델은 예전에 사람이 생각하던 바로 그 자리에서만 생각하는 데 씁니다. (Jeanne DeWitt Grosser, Vercel COO)