Custom Guardrails: Orange가 요금·계정 상담 AI 에이전트마다 대화 범위와 비용 상한을 따로 거는 방식

규제가 걸린 요금·계정 상담에 에이전트를 넣으려면 모델을 더 좋은 것으로 바꾸기보다 에이전트 하나하나에 경계를 그어야 합니다. Orange는 에이전트마다 다룰 주제, 민감한 대화의 선, 실행 비용 상한을 따로 정하고, 답이 청구 기록·요금제·정책으로 되짚어지게 했습니다. 따라 하려면 에이전트별 범위 정의서, 근거 데이터 연결, 평가 세트 세 가지를 먼저 준비해야 합니다.

요약

검색·검색 기반 AI 플랫폼 기업 Algolia가 2026년 11월 4일 보도자료로 통신사 Orange 그룹의 도입 소식을 알렸습니다. Orange는 B2B·B2C 사업의 요금 청구와 계정 지원 상담에 Algolia의 Agent Studio(LLM과 실시간 검색, 행동 데이터, 설정 가능한 규칙을 묶어 에이전트를 만드는 도구)로 만든 에이전트를 넣기 시작했습니다. 대상 사업은 26개가 넘는 나라에 걸쳐 있고, 지금은 그중 여러 나라에서 가동 중입니다. 고객은 모바일, 웹, TV로 들어오기 때문에 한 번의 상담이 여러 채널을 오가고, 그 과정이 규제 요건을 지켜야 합니다. 핵심 장치는 에이전트마다 따로 거는 두 가지 경계입니다. 하나는 무엇을 이야기해도 되는지 정하는 가드레일(guardrail, 허용 범위를 넘는 질문과 답을 막는 규칙)이고, 다른 하나는 실행 비용의 상한입니다.

Orange 요금·계정 상담 에이전트가 답을 내는 경로

이 구조가 통하는 이유는 에이전트가 모델의 일반 지식이 아니라 Orange의 상품 데이터, 요금제, 고객 맥락, 업무 규칙, 지식 콘텐츠에 근거해 답하기 때문입니다. 그래서 답 하나하나를 특정 청구 기록이나 요금제, 정책으로 거슬러 확인할 수 있습니다. 에이전트는 Orange가 24개 시장에서 이미 쓰는 Algolia 검색 기반 위에 올라갔고, 검색창과 추천과 에이전트가 같은 데이터 층을 씁니다. 보도자료에 실린 성과 수치(검색 경유 주문률 63% 증가 등)는 이 검색 기반의 개별 도입에서 나온 것으로 에이전트의 성과는 아닙니다. Orange는 결과에 따라 확대 여부를 정하고, 다음 단계로 에이전트가 장바구니에 상품을 담고 나중에는 주문까지 하는 실험을 하고 있습니다. 아래에서 다섯 가지 작동 원리와 원문 사례를 본 뒤, 직접 돌릴 때 필요한 기술·현업 디테일을 붙입니다.

같은 기반 위에서 검색, 상담 에이전트, 거래 실험 순으로 넓힘

핵심 메커니즘

Per-agent Guardrails: 에이전트마다 다룰 주제와 민감 대화의 선을 따로 긋는다

무엇인가. 상담 에이전트 하나하나에 허용 주제와 금지 범주를 따로 정하는 규칙입니다. 요금 문의 에이전트와 계정 변경 에이전트는 다룰 수 있는 이야기가 다르므로 경계도 따로 둡니다.

어떻게 작동하나. Algolia 문서 기준으로 가드레일은 세 단계로 돕니다. 먼저 고객 질문을 미리 정한 위반 범주(category)로 분류하고, 걸리면 주 모델을 부르지 않고 정해 둔 안내 문구를 돌려줍니다. 통과하면 에이전트가 답을 만들고, 완성된 답을 다시 분류해 걸리면 안내 문구로 바꿉니다. 분류는 주 모델과 다른 별도 LLM 호출로 하므로 에이전트의 모델을 바꿔도 가드레일 판단은 흔들리지 않습니다.

언제 쓰나. 오답이 곧 규제·평판 리스크가 되는 상담(요금, 계약, 개인정보)에 씁니다. 사내 아이디어 브레인스토밍처럼 범위가 열려 있어야 하는 용도에는 맞지 않습니다.

원문의 예. Orange는 에이전트마다 민감한 대화의 한계를 정해 두었습니다. IT Brief 보도는 여러 전문 에이전트가 한 상담을 함께 처리한다는 Algolia CEO의 설명도 전합니다.

작은 예시(가상). 요금 문의 에이전트는 이번 달 청구액이 왜 늘었는지 설명할 수 있지만, 해지 위약금 분쟁이나 법적 대응 질문이 들어오면 상담원 연결 안내로 돌립니다.

Agent Studio 가드레일의 세 단계. 분류는 주 모델과 다른 별도 LLM 호출

Cost Ceiling: 에이전트마다 실행 비용 상한을 건다

무엇인가. 에이전트 하나가 쓸 수 있는 요청 수, 토큰, 대화 길이, 도구 사용 단계에 위쪽 한도를 두는 장치입니다. 보도자료는 이 상한이 AI의 비용을 행동만큼 통제 가능하게 만든다고 설명합니다.

어떻게 작동하나. Algolia가 2026년 7월 Agent Studio에 더한 비용 통제는 전체 요청 수와 IP별 요청 수 상한, 응답당 최대 토큰, 대화 깊이 상한, 도구를 쓰는 에이전트의 완료 한 번당 최대 단계로 구성됩니다. 가드레일과 마찬가지로 에이전트마다 따로 설정합니다. 한 에이전트가 같은 질문에 도구를 수십 번 부르거나 봇 트래픽이 몰려도 상한에서 멈춥니다.

언제 쓰나. 고객 대면 상담처럼 호출량을 회사가 통제할 수 없는 곳에 반드시 씁니다. 내부 배치 작업처럼 호출량이 예측 가능한 곳은 월 예산 한도로도 충분합니다.

원문의 예. Orange는 민감한 대화의 한계와 함께 실행 비용의 상한을 에이전트별로 걸었습니다.

작은 예시(가상). 요금 문의 에이전트는 응답당 600토큰, 대화 깊이 12턴, 완료당 도구 호출 4단계로 묶고, 계정 변경 에이전트는 본인 확인 단계가 있어 도구 단계를 6으로 둡니다.

Algolia가 7월에 공개한 비용 통제 항목. 에이전트마다 따로 설정

Grounded Answers: 답을 청구 기록·요금제·정책으로 되짚을 수 있게 묶는다

무엇인가. 에이전트가 모델의 일반 지식 대신 회사 데이터에서 찾은 내용으로만 답하게 하는 방식입니다. 답에는 근거가 된 기록이 따라붙습니다.

어떻게 작동하나. Agent Studio는 Algolia의 검색(retrieval) 기능과 MCP(Model Context Protocol, 에이전트가 외부 데이터·도구를 부르는 표준 규약) 기반 위에서 돌아갑니다. 질문이 들어오면 상품 데이터, 요금제, 고객 맥락, 업무 규칙, 지식 콘텐츠에서 관련 항목을 찾아 모델에 넘기고, 모델은 그 항목 안에서 답합니다. 그래서 답을 특정 청구 기록, 요금제, 정책으로 거슬러 확인할 수 있습니다.

언제 쓰나. 고객이 숫자(금액, 날짜, 요금제 조건)를 묻는 상담에 씁니다. 근거 데이터가 최신이 아니면 오히려 틀린 답을 자신 있게 하게 되므로, 데이터 갱신 주기를 먼저 확인해야 합니다.

원문의 예. IT Brief는 계정·요금 상담에서 근거 없는 답이 규제와 평판 리스크로 이어진다고 짚었습니다.

작은 예시(가상). “이번 달 4만 2천 원이 더 나왔다”는 질문에 에이전트가 해당 월 청구서의 로밍 항목과 요금제 약관 조항 번호를 함께 보여 줍니다.

Orange가 택한 쪽은 오른쪽. 항목 구성은 새로 묶음

One Governed Layer: 검색창, 추천, 에이전트가 같은 데이터 층을 쓴다

무엇인가. 검색, 추천, 대화형 에이전트를 따로 만들지 않고 하나의 색인과 규칙 위에 올리는 구조입니다.

어떻게 작동하나. Orange는 온라인 숍, 지원 사이트, TV 앱의 콘텐츠를 모두 Algolia에 색인해 두었습니다. Agent Studio는 이 기반을 대화형 경험으로 넓힌 것이고, 그 덕분에 세 창구의 관련성을 한 곳에서 통제하고 감사하고 측정합니다. 요금제 하나가 바뀌면 검색 결과, 추천, 에이전트 답이 같은 데이터를 보고 함께 바뀝니다.

언제 쓰나. 고객 접점이 여러 채널로 흩어진 회사에 맞습니다. 채널마다 다른 데이터 원천을 쓰고 있다면 에이전트보다 데이터 통합이 먼저입니다.

원문의 예. 보도자료는 검색창, 추천, 에이전트를 하나의 통제된 층이 함께 받친다고 설명합니다.

검색, 추천, 에이전트가 같은 데이터 층을 씀

Test in One Market: 한 시장에서 시험하고 결과를 보고 넓힌다

무엇인가. 새 기능을 한 나라나 한 시장에 먼저 넣어 보고 성과가 확인되면 다른 시장으로 넓히는 방식입니다.

어떻게 작동하나. Orange는 InstantSearch(기본 검색 화면 구성 도구)에서 출발해 필터와 패싯, AI 동의어, Dynamic Re-Ranking(행동 데이터로 순위를 바꾸는 기능), Collections, Query Categorization, AI Recommendations, 고급 개인화를 차례로 더했습니다. 모든 콘텐츠가 같은 플랫폼에 색인돼 있어 기능 하나를 한 시장에서 시험한 뒤 전 세계로 넓힐 수 있었습니다. 에이전트도 같은 길을 밟아 지금은 여러 나라에서 가동 중이고, 확대 여부는 결과에 따라 정합니다.

언제 쓰나. 나라나 사업부마다 규제와 요금 체계가 다른 회사에 맞습니다. 한 나라에서 통과한 가드레일 설정을 다른 나라에 그대로 옮기지 말고 규제 차이를 다시 확인합니다.

기능을 한 시장에서 시험하고 넓히는 방식으로 쌓은 순서

통념과 다른 주장

흔히 이렇게 봅니다AI 에이전트를 안전하게 쓰려면 더 정확한 모델을 고르는 것이 먼저라고 봅니다.

저자는 이렇게 봅니다Algolia CEO Stephen Lynch는 규제 산업에서 안전은 거버넌스에서 나온다고 봅니다. 회사 데이터에 근거를 묶고, 명시적 규칙으로 경계를 긋고, 비용에 상한을 거는 세 조건입니다.

근거Orange는 에이전트마다 범위와 비용 상한을 따로 걸고 답을 청구 기록·요금제·정책에 묶은 상태로 여러 나라 상담에 에이전트를 가동했습니다. Lynch는 이를 "Accountable agents are the ones that get deployed."라고 정리했습니다.

Stephen Lynch가 말한 세 조건을 오른쪽에 정리

저자가 든 사례

Orange 요금·계정 상담 에이전트

구분	내용
상황	B2B·B2C 사업이 26개 넘는 나라에 걸쳐 있고, 고객이 모바일·웹·TV를 오가며 규제가 걸린 요금·계정 상담을 받음
한 일	Agent Studio로 상담 에이전트를 만들고, 에이전트마다 가드레일과 비용 상한을 따로 설정, 답을 자사 데이터에 근거하게 함
결과	여러 나라에서 가동 중. 에이전트 자체의 성과 수치는 원문에서 밝히지 않음. 확대는 결과에 따라 결정
연결	Per-agent Guardrails, Cost Ceiling, Grounded Answers

Orange 검색 기반: 24개 시장의 개별 도입 성과

구분	내용
상황	온라인 숍, 지원 사이트, TV 앱에서 고객이 원하는 답이나 상품을 바로 찾게 해야 함
한 일	InstantSearch에서 시작해 동의어, 순위 조정, 추천, 개인화를 차례로 더하고 한 시장씩 시험
결과	검색 경유 주문률 +63%, Neural Search 적용 클릭률 +14%, no-results(검색 결과 없음) 비율 −53%, 고객 지원 NPS +7포인트, 장바구니 담기율 +7%
연결	One Governed Layer, Test in One Market

Orange Digital Factory 디렉터 Nicolas Coudert는 좋은 검색이 페이지 목록이 아니라 바로 쓸 수 있는 답을 줘야 하고, 즉시 답하는 것이 고객 경험을 높인다고 말했습니다.

개별 검색 도입에서 나온 수치. 에이전트 성과가 아님. 지원 NPS +7포인트는 단위가 달라 막대에서 뺌

기술 디테일: 요금 상담 에이전트를 설정하는 법

에이전트별 가드레일을 걸려면 범위 설명과 위반 범주를 에이전트마다 따로 씁니다. Agent Studio의 config.guardrail 필드 구조를 따르면 요금 문의 에이전트는 아래처럼 됩니다(가상 예시). scope에는 에이전트의 영역을 1,024자 안에서 구체적으로 적고, 범주는 8개 아래로 유지해야 지연이 늘지 않습니다.

{
  "config": {
    "guardrail": {
      "enabled": true,
      "required": true,
      "providerId": "PROVIDER_UUID",
      "model": "fast-classifier-model",
      "scope": "B2C 모바일 요금 청구 문의: 청구 항목 설명, 납부일, 요금제 조건",
      "categories": [
        {"name": "out_of_scope", "scope": "input",
         "description": "요금 청구와 무관한 질문, 다른 회사 상품 비교",
         "fallbackResponse": "요금 청구 관련 질문을 도와드릴 수 있습니다."},
        {"name": "dispute_legal", "scope": "input",
         "description": "위약금 분쟁, 소송, 규제 기관 민원 제기",
         "fallbackResponse": "상담원에게 연결해 드리겠습니다."},
        {"name": "personal_data", "scope": "output",
         "description": "전체 카드 번호, 계좌 번호, 다른 고객의 정보",
         "fallbackResponse": "해당 정보는 이 채널에서 보여 드릴 수 없습니다."}
      ]
    }
  }
}

가드레일이 조용히 열리지 않게 하려면 required를 true로 둡니다. 문서에 따르면 분류 모델이 시간 초과나 오류로 응답하지 않을 때 기본값에서는 내용을 그대로 통과시킵니다(fail-open). 규제 상담에서는 분류기가 멈추면 503을 돌려 상담원 연결로 넘기는 쪽이 안전합니다. 스트리밍으로 답을 보낼 때는 출력 검사가 답이 끝난 뒤 돌기 때문에, 화면은 위반 이벤트(data-guardrail-violation)를 받으면 이미 보낸 글을 지우고 fallbackResponse로 바꿔야 합니다.

비용 상한을 정하려면 시범 기간 2주 동안 실제 질문의 토큰 수, 대화 턴 수, 도구 호출 수 분포를 기록하고 95번째 백분위수보다 20~30% 위에 상한을 둡니다(가상 기준). 상한에 걸린 대화 비율이 2%를 넘으면 상한이 아니라 에이전트 설계를 다시 봅니다. IP별 요청 상한은 봇 트래픽을 막는 용도로 별도로 둡니다.

답을 근거에 묶으려면 구조화 출력에 근거 필드를 강제합니다. 예를 들어 {"answer": "...", "evidence": [{"type": "bill_line", "id": "..."}, {"type": "tariff", "id": "..."}, {"type": "policy", "id": "...", "version": "2026-10"}]}처럼 받고, evidence가 비어 있으면 답을 내보내지 않습니다. 요금제·정책 문서는 버전과 시행일을 색인에 함께 넣어야 지난달 약관으로 이번 달 청구를 설명하는 일을 막습니다.

설정을 검증하려면 에이전트마다 평가 세트를 만듭니다. 정상 질문 150개, 범위 밖 질문 30개, 민감 질문 20개 정도로 200개를 꾸리고(가상 기준), 같은 세트를 temperature 0으로 3회 돌려 결과가 흔들리는 질문을 따로 봅니다. 볼 지표는 네 가지입니다.

지표	뜻	시범 통과 기준(가상)
근거 일치율	답의 숫자가 `evidence` 기록과 맞는 비율	98% 이상
과잉 차단율	정상 질문인데 가드레일에 걸린 비율	3% 이하
누락 차단율	민감 질문인데 통과한 비율	0건
상한 도달율	비용 상한에 걸린 대화 비율	2% 이하

현업 실행 디테일: 누가, 언제, 무엇을

역할(가상 예시).

역할	하는 일
요금 상담 운영 리더	에이전트별 다룰 주제와 상담원 연결 조건을 정하고 평가 세트 질문을 모음
준법·법무 담당	민감 범주(분쟁, 개인정보, 규제 민원)와 안내 문구를 승인
데이터 담당	청구 기록, 요금제, 정책 문서의 버전과 갱신 주기를 색인에 연결
플랫폼 엔지니어	가드레일·비용 상한 설정, 근거 필드 강제, 평가 자동화
재무 담당	에이전트별 월 비용 한도와 상한 도달 보고 기준을 정함

시작 전 준비물. 최근 3개월 상담 기록에서 뽑은 문의 유형 상위 20개, 문의 유형별 상담원 처리 규칙, 요금제·정책 문서의 최신본과 시행일 목록, 나라별 상담 규제 요건 목록이 필요합니다.

운영 리더가 먼저 답할 질문.

이 에이전트가 절대 답하면 안 되는 질문은 무엇이고, 그때 어디로 넘기나?
고객이 금액을 물을 때 어떤 기록을 근거로 보여 줘야 하나?
나라마다 다르게 적용되는 규제 요건은 무엇인가?
상한에 걸린 대화는 누가 언제 다시 보나?

가상 예시 일정. 에이전트 하나 기준

진행 판정 기준(가상 예시). 4주차 시범에서 위 표의 네 지표를 모두 넘기고, 상담원 연결 비율이 기존 대비 늘지 않으면 두 번째 나라로 넓힙니다. 누락 차단이 한 건이라도 나오면 범주 설명을 고치고 평가를 다시 돌린 뒤에만 넘어갑니다. 장바구니 담기처럼 행동을 하는 에이전트는 조회 전용 에이전트가 두 분기 이상 안정적으로 돈 다음에 시작합니다.

AX 적용 제언. 국내 통신사, 카드사, 보험사의 요금·청구 문의가 가장 가까운 적용처입니다. 순서는 조회 전용 문의(청구 항목 설명, 납부일 안내)부터 시작해, 다음에 계정 변경처럼 본인 확인이 필요한 일로, 마지막에 상품 추천·주문처럼 거래가 따르는 일로 갑니다. 이 사례에서 옮겨 올 것은 특정 도구가 아니라 에이전트를 업무 단위로 잘게 나누고 하나마다 범위·비용·근거 세 가지를 문서로 정하는 관행입니다. 이미 사내 검색이나 FAQ 색인을 운영하고 있다면 그 색인을 에이전트의 근거 층으로 재사용하는 것이 가장 빠른 출발점입니다.

원문 사례

항목	내용
발표	Algolia 보도자료(Business Wire), 2026년 11월 4일, 샌프란시스코
함께 읽은 보도	IT Brief UK, 2026년 11월 9일
도입 기업	Orange 그룹(통신사)
업무	B2B·B2C 요금 청구와 계정 지원 상담
범위	26개 넘는 나라의 사업 대상, 현재 여러 나라에서 가동
채널	모바일, 웹, TV
통제	에이전트별 가드레일(다룰 주제, 민감 대화 경계)과 비용 상한
근거 데이터	상품 데이터, 요금제, 고객 맥락, 업무 규칙, 지식 콘텐츠
기존 기반	Algolia 검색, 24개 시장(온라인 숍·지원 사이트·TV 앱)
검색 성과	주문률 +63%, 클릭률 +14%, no-results −53%, 지원 NPS +7포인트, 장바구니 담기율 +7% (에이전트 성과 아님)
다음 계획	TV로 확장, 쇼핑 어시스턴트·추천·개인화 상담, 장바구니 담기와 주문 실험
발언	Nicolas Coudert(Orange Digital Factory 디렉터), Stephen Lynch(Algolia CEO)

핵심 개념

Agent Studio: Algolia의 에이전트 구축 도구. LLM에 실시간 검색, 행동 데이터, 설정 가능한 규칙을 묶습니다.
fallbackResponse: 가드레일 범주에 걸렸을 때 고객에게 대신 보여 주는 안내 문구입니다.
fail-open: 검사 장치가 고장 나면 막지 않고 통과시키는 동작. 반대는 fail-closed입니다.
Neural Search: 키워드와 벡터(의미) 검색을 함께 쓰는 Algolia 검색 방식입니다.
no-results rate: 검색했는데 결과가 하나도 나오지 않은 비율입니다.
NPS: Net Promoter Score. 추천 의향으로 재는 고객 만족 지표입니다.
MCP: Model Context Protocol. 에이전트가 외부 데이터와 도구를 같은 방식으로 부르게 하는 규약입니다.

내 메모

TODO: 내 생각 추가

원문은 Algolia가 Business Wire로 낸 보도자료 「Algolia’s Custom Guardrails Enable Orange Group to Deploy AI Agents Into Billing and Account Support」(2026.11.4)이며, 본문은 Algolia 뉴스룸 게시본으로 읽었습니다. 같은 사건을 다룬 IT Brief UK 기사 「Orange deploys AI agents for billing support queries」(2026.11.9)를 함께 읽었습니다. 가드레일의 세 단계 작동, 설정 필드, fail-open 동작은 Algolia 공식 문서(Agent Studio Guardrails)에서, 비용 통제 항목은 Algolia의 2026년 7월 29일 Agent Studio 기능 발표를 다룬 Agile Brand Guide 기사에서 보강했습니다. 요약, 핵심 메커니즘의 원문 설명, 통념과 다른 주장, 사례, 원문 사례 표는 이 자료를 AX Review가 다시 정리했습니다. 성과 수치는 Orange의 검색 도입분이며 에이전트 성과가 아닙니다. 작은 예시, JSON 설정 예, 근거 필드, 평가 지표와 기준, 역할·일정·판정 기준, 인포그래픽은 원문에 없는 내용으로 새로 작성했고 그 안의 숫자는 가상 예시입니다. 전체 내용은 원문 페이지에서 볼 수 있습니다.