Same Business Metrics: ElevenLabs가 영업·채용·상담 에이전트를 굴리고 실수를 고치는 법

ElevenLabs는 팀마다 엔지니어를 한 명씩 두고 영업·채용·상담에 에이전트를 붙이되, 성과는 매출·속도·고객만족처럼 원래 쓰던 지표로 잽니다. 따라 하려면 에이전트의 판단을 하나하나 기록하고, 실수가 나면 그 통화를 테스트로 재현해 프롬프트와 가드레일을 고치는 운영 장치를 먼저 갖춰야 합니다.

요약

Fortune의 John Kell은 2026년 11월 4일 CIO Intelligence 뉴스레터에서 음성 AI 스타트업 ElevenLabs의 CTO Alex Holt를 만나 사내 에이전트 운영 방식을 전했습니다. Holt는 Palantir에서 5년을 일한 뒤 2023년 9월 엔지니어로 합류했고, 2026년 6월 CTO가 됐습니다. 회사는 지금 네 종류의 사내 에이전트를 씁니다. 인바운드 영업 리드를 거르는 SDR(Sales Development Representative, 영업 개발 담당) 에이전트, 신입 영업 사원이 고객 응대를 연습하는 코칭 에이전트, 지원자 1차 면접을 보는 채용 에이전트, Slack에서 사내 절차 질문에 답하는 에이전트입니다. 직원 대부분이 에이전트와 함께 일하고, 절반 넘는 직원이 반복 업무용 에이전트를 직접 만들었습니다.

숫자가 가장 뚜렷한 곳은 영업입니다. SDR 에이전트는 올해 리드 3,000건 이상을 32개 언어로 받았고, 그중 90% 넘게 사람 손을 거치지 않고 선별했습니다. 채용에서는 거의 모든 지원자를 AI 면접관이 먼저 만나며, 채용 담당자는 과정 끝에 지원자를 설득할 시간을 30분가량 더 얻습니다. Holt는 이 성과를 조직 설계와 묶어 설명합니다. 팀은 모두 10명 미만이고 팀마다 엔지니어가 한 명 있으며, AI 과제는 사업 부서가 이끌고 에이전트는 도구로 씁니다. 상담 에이전트가 30달러 미만 환불을 잘못 내주고 직원에게 넘기지 않은 일도 있었습니다. 팀은 그 통화를 테스트로 재현해 원인을 찾았습니다. 아래에서는 이 운영 방식을 다섯 가지 장치로 나눠 보고, 실제로 만들 때 필요한 기술·현업 디테일을 덧붙입니다.

핵심 메커니즘

SDR Agent: 음성으로 구매 의사를 가려 사람에게 넘기는 1차 창구

SDR 에이전트는 들어온 영업 문의에 가장 먼저 응대해 살 의사가 있는지 가리는 에이전트입니다. 문의가 들어오면 음성 AI로 상대와 대화하며 구매자가 얼마나 진지한지 가늠하고, 진지하다고 본 리드에 사람 영업 담당을 붙입니다. 문의가 많고 언어가 여러 개라 사람이 1차 응대를 다 감당하지 못하는 곳에 맞습니다. 가격 협상처럼 판단 폭이 큰 단계는 이 에이전트의 몫이 아닙니다. 가상 예시를 들면, 산업용 부품 회사가 해외 견적 문의를 이 방식으로 받으면 현지어 통화로 수량·납기·예산을 확인한 뒤 조건이 맞는 건만 지역 영업에게 넘길 수 있습니다.

Agent Handoff: 에이전트가 다음 에이전트에게 일을 넘기는 멀티 에이전트

Holt는 multi-agent system(여러 에이전트가 맥락을 나누며 일을 이어 받는 구조)을 다음 단계로 꼽습니다. 에이전트끼리 공유하는 맥락이 커지고 인계가 복잡해지는 구조입니다. ElevenLabs는 영업 리드에 이 구조를 개발하고 있습니다. 한 고객은 이미 두 에이전트만 거쳐 구매를 마쳤습니다. SDR 에이전트가 첫 문의를 받았고, AE(Account Executive, 계약을 맡는 영업 담당) 에이전트가 법률 문서와 계약을 처리했습니다. Holt는 단순하고 반복적인 건을 이렇게 자동화하면 직원이 복잡한 문의와 upsell(기존 고객 추가 판매)에 시간을 쓸 수 있다고 봅니다. 실제로 돌릴 때는 조건이 표준에서 벗어난 건을 어느 지점에서 사람에게 넘길지부터 정해 둡니다.

AI Recruiter와 FDE Pod: 채용 앞단은 에이전트가, 끝단은 사람이

채용팀에는 FDE(Forward Deployed Engineer, 현업 팀에 들어가 함께 만드는 엔지니어) 2명이 HR 직원과 한 pod(소규모 공동 작업 팀)로 일합니다. 목표는 면접 과정을 줄이는 것입니다. 거의 모든 지원자가 먼저 AI 리크루터의 면접을 보고, 그 뒤 단계로 넘어갑니다. Holt는 이렇게 아낀 시간 가운데 약 30분을 채용 담당자가 과정 끝에서 지원자를 설득하는 데 쓴다고 말합니다. 반복 질문이 많은 1차 면접은 에이전트에게 맡기고, 사람만 할 수 있는 설득은 사람이 맡는 배치입니다. 지원자가 많고 1차 질문이 표준화된 직무일수록 잘 맞습니다.

Engineer on Every Team: 사업 부서가 이끌고 원래 지표로 재는 조직

ElevenLabs는 팀마다 엔지니어를 한 명씩 두고, 모든 팀을 10명 미만으로 꾸립니다. AI 과제는 사업 부서가 이끌고 에이전트는 그 목표를 위한 도구입니다. 그래서 목표도 바뀌지 않습니다. 영업팀은 더 많은 매출을 더 빨리 내야 하고, 고객 상담은 만족 점수로 평가받습니다. Holt의 표현으로는 “exactly the same business metrics”입니다. 다만 채용한 사람이 잘 맞는지, 상담 점수가 오르는지처럼 결과가 늦게 보이는 지표가 있어 도입에는 인내가 필요합니다. 그 사이를 메우려고 사업 오너가 선행 지표를 직접 고릅니다.

Incident Replay: 실수한 통화를 테스트로 재현해 고치는 운영 루프

ElevenLabs는 사람이 이끄는 모니터링·관찰 층으로 에이전트를 관리합니다. 한 번은 상담 에이전트가 30달러 미만 환불을 잘못 내주고 직원에게 올리지도 않았습니다. 팀은 그 통화와 에이전트의 추론 과정을 그대로 재현하는 테스트 케이스를 만든 뒤 프롬프트와 가드레일을 고쳤습니다. Holt는 에이전트의 결정을 모두 추적하기 때문에 이런 실수가 드러났고, 사람이 같은 실수를 했다면 아무도 몰랐을 것이라고 봅니다. 에이전트를 쓰면 데이터가 더 쌓이고, 논의는 프로세스를 어떻게 최적화할지로 옮겨 간다는 것이 그의 전망입니다. 돈이 나가거나 고객과 약속이 생기는 행동을 맡길 때는 이 루프를 처음부터 갖춰 둡니다.

통념과 다른 주장

저자가 든 사례

사례 1. SDR 에이전트의 인바운드 리드 선별

상황	한 일	결과	연결
여러 언어로 영업 문의가 들어옴	SDR 에이전트가 음성으로 1차 응대하고 진지한 구매자를 사람 영업에게 넘김	올해 리드 3,000건 이상, 32개 언어, 90% 이상 사람 개입 없이 선별	SDR Agent

사례 2. 두 에이전트로 끝난 구매

상황	한 일	결과	연결
단순·반복적인 구매 문의	SDR 에이전트가 첫 문의를, AE 에이전트가 법률 문서와 계약을 처리	고객 1곳이 두 에이전트만 거쳐 구매 완료. 전체 구조는 개발 중	Agent Handoff

사례 3. 상담 에이전트의 환불 오류

상황	한 일	결과	연결
상담 에이전트가 30달러 미만 환불을 잘못 내주고 직원에게 올리지 않음	통화와 에이전트 추론을 재현한 테스트 케이스 작성	프롬프트와 가드레일 수정. 재발률은 원문에서 밝히지 않음	Incident Replay

사례 4. 채용 pod와 AI 리크루터

상황	한 일	결과	연결
면접 과정을 줄이고 싶음	FDE 2명이 HR과 pod를 꾸리고, AI 리크루터가 1차 면접	거의 모든 지원자를 AI가 먼저 봄. 채용 담당자는 끝단에서 약 30분 확보	AI Recruiter와 FDE Pod

기술 디테일: 같은 구조를 직접 만든다면

아래 필드명, 설정값, 숫자는 모두 원문에 없는 가상 예시입니다. 기사가 밝힌 운영 방식을 실제로 돌릴 때 필요한 것을 정리했습니다.

SDR 에이전트의 리드 선별을 돌리려면 통화를 그대로 판단에 쓰지 말고 구조화 출력부터 만듭니다. 음성은 STT(음성→텍스트)로 받아 언어를 감지하고, LLM은 temperature 0으로 아래 JSON 스키마를 강제해 채웁니다. seriousness는 0~5점으로 매기되, 같은 녹취로 3회 실행해 중앙값을 씁니다. 세 값의 차이가 2점 이상이면 사람이 봅니다. 라우팅은 LLM이 아니라 규칙 엔진이 정합니다. 예를 들어 4점 이상이면 사람 영업, 2~3점이면 후속 관리, 1점 이하면 종료로 둡니다. 32개 언어를 다루려면 언어별로 녹취 20건씩 사람이 채점한 기준 세트를 두고, 모델이 바뀔 때마다 일치율을 다시 잽니다.

{
  "lead_id": "L-20261105-0412",
  "language": "de",
  "company_size": "200-999",
  "use_case": "콜센터 다국어 응대",
  "budget_signal": "확인됨",
  "timeline_weeks": 8,
  "seriousness": 4,
  "seriousness_runs": [4, 4, 5],
  "route": "human_ae",
  "reasons": ["예산 담당자 직접 통화", "도입 일정 제시"],
  "transcript_ref": "s3://calls/L-20261105-0412.json"
}

에이전트 사이 인계(Agent Handoff)를 만들려면 두 에이전트가 대화 전체를 넘겨받지 않게 합니다. SDR 에이전트는 deal_id를 키로 handoff 패킷을 공유 맥락 저장소에 씁니다. 패킷에는 고객이 말한 요구 사항, 확인된 사실, 미확인 항목만 넣습니다. AE 에이전트는 이 패킷을 읽고 표준 계약서 템플릿 안에서만 문서를 만듭니다. 조항을 바꿔 달라는 요청, 할인율 상한 초과, 미확인 항목이 남은 건은 needs_human=true로 사람 AE에게 갑니다. 인계 실패를 잡으려면 handoff 패킷과 최종 계약서의 핵심 필드(수량, 금액, 기간)가 일치하는지 자동 비교를 한 단계 둡니다.

AI 리크루터의 1차 면접을 돌리려면 직무마다 역량 항목 4~6개를 정하고 항목별 0·3·5점 기준표를 씁니다. 모델은 답변 녹취를 읽고 항목마다 점수와 근거 문장을 JSON으로 냅니다. 3점 근처 경계 사례는 사람이 녹취를 다시 듣습니다. 매주 통과·탈락 표본 10건을 사람이 재채점해 일치율을 보고, 언어·억양·성별 같은 집단별로 통과율 차이를 따로 집계합니다. 지원자가 사람 면접을 요청할 수 있는 경로도 둡니다.

Incident Replay를 코드로 만들려면 에이전트의 결정마다 trace를 한 행씩 남깁니다. 필드는 trace_id, step, tool, args, policy_check, model_version, prompt_version, escalated 정도면 됩니다. 사고가 나면 그 통화의 녹취와 도구 응답을 고정해 replay 테스트로 만들고, 기대 행동을 assert로 적습니다. 환불 사례라면 refund 도구 호출 전에 escalate=true가 나와야 통과입니다. 가드레일은 프롬프트 문구만으로 두지 않고 도구 쪽에 겁니다. 예를 들어 refund 도구는 금액과 관계없이 승인 ID가 없으면 거절하게 합니다. 이렇게 만든 테스트는 회귀 세트에 쌓아 프롬프트나 모델을 바꿀 때마다 전부 다시 돌립니다.

실패하는 경우	대응 (가상 예시)
같은 녹취인데 실행마다 선별 점수가 다름	3회 실행 중앙값 사용, 편차 2점 이상은 사람 검토
특정 언어에서 선별 정확도가 떨어짐	언어별 기준 세트 일치율을 따로 보고, 기준 미달 언어는 사람 1차 응대로 되돌림
AE 에이전트가 패킷에 없는 조건을 계약서에 넣음	패킷·계약서 핵심 필드 자동 비교, 불일치면 발송 차단
프롬프트를 고친 뒤 예전 사고가 다시 남	회귀 세트 전체 통과를 배포 조건으로 둠
상위 보고가 필요한데 에이전트가 직접 처리	돈·계약이 걸린 도구는 승인 ID 없이는 실행 거절

현업 실행 디테일: 누가, 언제, 무엇을

ElevenLabs처럼 팀 단위로 에이전트를 붙인다면 역할부터 나눕니다. 아래 표와 일정, 기준은 모두 가상 예시입니다.

역할	맡는 일 (가상 예시)
사업 오너(영업·상담·채용 팀장)	바뀌지 않는 목표 지표 확인, 선행 지표 2~3개 선택, 확대 여부 최종 판정
임베디드 엔지니어(팀당 1명)	에이전트 구축, 프롬프트·가드레일 관리, trace와 replay 테스트 운영
FDE	업무 흐름을 현업과 함께 다시 설계, 첫 시범 업무에서 pod로 상주
모니터링 담당	관찰 층 기록을 매일 검토, 이상 건을 사고 티켓으로 발행
법무·리스크	환불·계약 같은 권한 한도와 가드레일 승인

시작 전 준비물은 네 가지입니다. 최근 3개월치 인바운드 문의나 상담 녹취 200건, 사람이 매긴 선별 결과, 표준 계약서와 환불 정책 문서, 팀이 이미 쓰는 목표 지표 정의서입니다.

기간	할 일	산출물
1~2주	시범 업무 하나 선정, 목표 지표와 선행 지표 확정, 사람 판정 기준 세트 작성	지표 정의서, 기준 세트 200건
3~4주	SDR(또는 상담) 에이전트 구축, trace 필드와 replay 테스트 틀 연결	동작하는 에이전트, trace 대시보드
5~6주	사람과 병행하는 그림자 운영, 매일 불일치 건 검토	불일치 목록, 사고 replay 테스트
7~8주	판정 회의, 확대·보류·중단 결정	판정 보고서, 다음 업무 후보

확인 질문은 이렇게 준비합니다. 이 업무에서 이미 쓰는 목표 지표는 무엇이고, 결과가 나오기까지 얼마나 걸립니까? 그 사이 무엇을 보면 방향이 맞는지 알 수 있습니까? 에이전트가 사람 승인 없이 해도 되는 행동과 금액 한도는 어디까지입니까? 에이전트가 실수했을 때 누가 몇 시간 안에 알아야 합니까? 사람에게 넘길 때 무엇을 정리해 넘겨야 받는 쪽이 다시 묻지 않습니까?

진행 판정 기준은 시범 업무마다 다시 정하되, 출발점은 세 가지입니다. 무인 처리율 70% 이상, 표본 재검토에서 사람 판정과 일치율 90% 이상, 상위 보고 누락 0건입니다. 누락이 한 건이라도 나오면 그 건을 replay 테스트로 만들고 고친 뒤 다시 2주를 봅니다.

AX 적용 제언. 국내 기업이 이 사례에서 가져갈 것은 에이전트 목록보다 운영 순서입니다. 첫 대상은 문의량이 많고 판정 기준이 비교적 분명한 인바운드 영업 선별이나 1차 면접이 좋습니다. 과제의 주인은 IT가 아니라 사업 오너로 두고, 성과는 그 팀이 이미 쓰는 지표로 보고합니다. 엔지니어는 중앙 AI 조직에 모아 두기보다 시범 팀에 한 명씩 붙입니다. 환불, 계약, 가격처럼 돈이 걸린 행동은 처음부터 trace와 replay 테스트, 도구 단위 승인을 갖춘 뒤에만 맡깁니다. 이 순서를 지키면 첫 업무에서 만든 기준 세트와 회귀 세트가 다음 업무로 그대로 넘어가므로, 두 번째 팀부터는 구축 기간이 짧아집니다.

원문 사례

항목	내용
원문	Fortune CIO Intelligence, John Kell, 2026.11.4
인물	Alex Holt, ElevenLabs CTO. Palantir 5년, 2023년 9월 엔지니어로 합류, 2026년 6월 CTO
회사	음성 AI 스타트업. CTO 취임 3개월 뒤 기업가치가 두 배인 220억 달러가 됐다는 보도. CEO Mati Staniszewski는 2028년 상장 준비 가능성 언급
사내 에이전트	SDR, 영업 코칭(롤플레이), 채용 1차 면접, Slack 사내 절차 답변
SDR 성과	올해 리드 3,000건 이상, 32개 언어, 90% 이상 사람 개입 없이 선별
멀티 에이전트	영업 리드용으로 개발 중. 고객 1곳이 SDR·AE 두 에이전트만으로 구매 완료
조직	팀마다 엔지니어 1명, 모든 팀 10명 미만. 채용은 FDE 2명과 HR이 pod 구성
채용	거의 모든 지원자를 AI 리크루터가 먼저 면접. 채용 담당자는 끝단에 약 30분 확보
지표	매출·속도·고객만족 등 기존 사업 지표 유지. 사업 오너가 선행 지표 선정
사고	상담 에이전트가 30달러 미만 환불을 잘못 처리하고 보고 누락. 통화·추론 재현 테스트 후 프롬프트·가드레일 수정
시장 배경	BCG: AI 가치 중 agentic AI 비중 2025년 17%, 올해 22%, 2030년 39% 전망

핵심 개념

CIO Intelligence

Fortune이 IT 리더를 위해 매주 내는 뉴스레터입니다.

upsell

이미 거래하는 고객에게 더 높은 등급이나 추가 상품을 파는 일입니다.

guardrail

에이전트가 해서는 안 되는 행동을 막는 규칙입니다. 프롬프트 지시와 도구 쪽 차단이 모두 포함됩니다.

observation layer

에이전트가 무엇을 왜 했는지 기록하고 사람이 검토하는 운영 층입니다.

leading indicator

최종 결과보다 먼저 움직여 방향을 알려 주는 지표입니다.

agentic AI

목표를 받아 스스로 단계를 나누고 도구를 써서 일을 끝내는 AI입니다.

내 메모

TODO: 내 생각 추가

원문은 Fortune CIO Intelligence의 「How ElevenLabs’ CTO is rolling out AI agents—and why he thinks bigger efficiency gains are ahead for the voice AI startup」(John Kell, 2026.11.4 게재)입니다. 기사 주소의 영문 슬러그는 다른 기사 제목처럼 보이지만, 같은 주소에서 이 기사 본문을 읽었습니다. 요약, 핵심 메커니즘의 기사 내용, 통념과 다른 주장, 사례, 원문 사례 표는 기사 내용을 AX Review가 다시 정리했습니다. 핵심 메커니즘의 작은 예시, 기술·현업 실행 디테일, JSON 예시, 실패 대응 표, 역할·일정·판정 기준, 인포그래픽은 원문에 없는 내용으로 새로 작성했고 그 안의 필드명과 숫자는 가상 예시입니다. 기사 전문은 원문 페이지에서 볼 수 있습니다.