Box Context Retrieval: 스캔본·영상까지 권한대로 찾아 에이전트에 근거를 주는 검색 엔진
Box가 BoxWorks 2026에서 Nvidia Nemotron Retriever 임베딩 모델로 스캔 문서·이미지·음성·영상까지 색인하고 파일 권한대로만 찾아 주는 Context Retrieval을 발표했습니다(내년 초 정식 출시). 회사는 Recall@5 최대 20% 향상, 토큰 90% 감소, 답변 약 4배 단축을 기대 효과로 내세웠습니다. 내 문서로 이 수치를 다시 재는 평가 설계와 6주 준비안을 붙였습니다.
Box는 회사 문서를 형식과 상관없이 한 색인으로 묶고 질문한 사람이 볼 수 있는 파일 안에서만 에이전트에 근거를 찾아 주는 검색 엔진 Context Retrieval을 내년 초 정식 출시합니다. 회사가 내세운 정확도·토큰·속도 개선을 내 조직에서 얻으려면 출시 전에 파일 권한과 분류부터 정리하고 내 질문셋으로 기준선을 재 둬야 합니다.
요약
SiliconANGLE의 Mike Wheatley가 2026년 11월 5일 Box의 연례 고객 행사 BoxWorks 2026 발표를 정리했습니다. 중심은 Nvidia와 넓힌 협력입니다. Box는 Nvidia의 Nemotron Retriever 임베딩 모델(문서를 의미 벡터로 바꾸는 오픈 모델)로 만든 검색 엔진을 공개했습니다. 보도자료 이름은 Box Context Retrieval이고 기사 본문은 대부분 Content Retrieval이라고 부릅니다. 이 엔진은 계약서, 정책 매뉴얼, 내부 메일처럼 데이터베이스 밖에 있는 비정형 콘텐츠를 색인합니다. 스캔 문서, 이미지, 음성, 영상도 대상입니다. 에이전트는 이 색인에서 근거를 찾되 파일마다 원래 걸려 있는 권한을 그대로 따릅니다. 같은 자리에서 Box는 Nemotron 3 Ultra 같은 Nvidia 오픈 웨이트 모델을 Box AI에 넣었습니다. 자연어로 에이전트 업무 흐름을 설계하는 Box Architect와 에이전트 통제 기능도 함께 발표했습니다.
CEO Aaron Levie가 내세운 논리는 에이전트가 받는 맥락만큼만 쓸모 있다는 것입니다. 맥락이 모자라면 에이전트가 실수하고 실수하는 에이전트에게 기업은 일을 맡기지 않습니다. Box는 이 협력을 기업 콘텐츠의 “new intelligence layer”라고 불렀습니다. 기대 효과로는 검색 정확도 최대 20% 향상(Recall@5 기준), 토큰 사용 90% 감소, 질문 응답 약 4배 단축을 들었습니다. 보도자료는 이를 고객이 얻을 수 있는 가능성으로 표현했고 비교 기준이나 시험 데이터셋은 밝히지 않았습니다. 새 기능을 쓰는 고객 이름도 나오지 않았습니다. Context Retrieval은 내년 초 Enterprise Advanced 고객에게 정식 출시됩니다. 아래에서 다섯 가지 메커니즘을 풀고 출시 전에 준비할 평가 설계와 6주 일정을 붙입니다.
핵심 메커니즘
Multimodal Indexing: 스캔본·음성·영상을 한 색인에
무엇인가. 텍스트 파일뿐 아니라 스캔한 문서, 사진, 녹음, 영상까지 검색할 수 있게 만드는 색인입니다.
어떻게 작동하나. 파일을 Nemotron Retriever 임베딩 모델에 넣어 의미를 담은 벡터로 바꾸고 파일 위치와 함께 색인에 저장합니다. 질문이 들어오면 질문도 같은 방식으로 바꿔 가까운 조각을 찾습니다. 보도자료는 수백만 개 파일 규모를 다룬다고 밝혔습니다. 형식별 처리 순서 같은 내부 파이프라인은 공개하지 않았습니다.
언제 쓰나. 근거가 여러 형식에 흩어진 업무에 맞습니다. 보험 청구처럼 스캔한 서식, 현장 사진, 녹취, 영상이 한 묶음으로 오는 경우가 대표적입니다. 반대로 숫자를 집계하는 질문(분기 매출 합계)은 ERP나 데이터 웨어하우스에 묻는 편이 맞습니다.
작은 예시(가상). 제조사 품질팀이 “작년 3월 사출 불량 회의에서 금형 온도 얘기가 나왔나”를 묻습니다. 회의 녹음과 스캔한 점검표가 함께 검색돼 두 근거가 같이 나옵니다.
Hybrid Search: 정확한 단어와 뜻을 함께 맞추기
무엇인가. 키워드 일치와 의미 유사도를 함께 써서 찾는 방식입니다. 보도자료는 정확한 단어를 몰라도 찾을 수 있다는 점을 강조합니다.
어떻게 작동하나. 키워드 색인은 품번, 조항 번호, 고유명사처럼 글자가 정확히 맞아야 하는 것을 잡습니다. 의미 색인은 “해지”와 “계약 종료”처럼 표현은 달라도 뜻이 같은 것을 잡습니다. 두 결과를 합쳐 순위를 매깁니다.
언제 쓰나. 법무팀이 다른 표현으로 쓰인 조항과 선례를 찾을 때 효과가 큽니다. 회사도 이 경우를 예로 들었습니다. 품번 하나만 정확히 찾는 질문이라면 키워드 검색만으로 충분합니다.
Permission-aware Retrieval: 사람의 권한을 에이전트가 그대로 따름
무엇인가. 에이전트가 검색할 때, 질문한 사용자가 열 수 있는 파일만 후보로 삼는 방식입니다.
어떻게 작동하나. Box에 이미 걸려 있는 폴더·파일 권한을 검색 단계에서 그대로 적용합니다. 에이전트에 별도 권한을 새로 주지 않습니다. 같은 질문이라도 묻는 사람에 따라 근거가 달라집니다.
언제 쓰나. 대출 신청서, 인사 기록, 소송 자료처럼 볼 수 있는 사람이 정해진 문서를 다룰 때 필요합니다. 회사는 재무 분석가가 자기 권한 안의 근거만으로 대출 신청서에 대한 답을 받는 예를 들었습니다. 이 방식은 지금 걸린 권한이 정확하다는 전제에서만 안전합니다. 너무 넓게 공유된 폴더가 있으면 에이전트도 그만큼 넓게 봅니다.
Real-time Freshness: 바뀐 파일을 다음 질문부터 반영
무엇인가. 새로 올라오거나 고쳐진 파일을 곧바로 다시 색인해 에이전트가 최신판을 쓰게 하는 기능입니다.
어떻게 작동하나. 보도자료는 색인 속도가 크게 빨라지고 지연이 줄어, 새 콘텐츠와 수정본이 실시간으로 에이전트에 제공된다고 설명합니다. 구체적인 지연 시간 값은 밝히지 않았습니다.
언제 쓰나. 규정, 진료 지침, 단가표처럼 자주 바뀌고 옛 판으로 답하면 사고가 나는 문서에 필요합니다. 회사는 임상 연구자가 새로 바뀐 정책과 진료 프로토콜을 바로 찾는 경우를 예로 들었습니다.
Agent Guardrails: 에이전트가 볼 것과 할 일을 따로 제한
무엇인가. 검색 권한과 별개로, 에이전트가 어떤 분류의 파일에 닿고 어떤 도구를 쓸 수 있는지 관리자가 정하는 통제 묶음입니다.
어떻게 작동하나. 세 가지가 지금 제공됩니다. Classification 정책은 기밀 등급 같은 분류 라벨별로 어느 에이전트가 접근할 수 있는지 정합니다. MCP Guardrails(에이전트가 외부 도구를 부르는 표준인 MCP에 거는 제한)는 콘텐츠 생성, 이동, 외부 공유 같은 동작을 막거나 허용합니다. Threshold 정책은 에이전트 행동이 고객이 정한 한도를 넘으면 담당자에게 알립니다. 이와 별도로 대량 유출, 세션 탈취, 계정 탈취, 대량 삭제를 잡는 위협 탐지가 내년 초 나옵니다. 위험도에 따라 다운로드 제한, 추가 인증 요구, 세션 종료 가운데 하나로 대응합니다.
언제 쓰나. 사람에게는 열려 있어도 에이전트에게는 막아야 하는 문서가 있을 때 씁니다. 사람이 하던 일을 에이전트가 대신해 동작 횟수가 크게 늘 때도 필요합니다.
통념과 다른 주장
흔히 이렇게 봅니다에이전트의 답이 틀리면 더 큰 모델로 바꾸거나 문서를 더 많이 넣으면 나아진다고 봅니다.
Box는 이렇게 봅니다에이전트는 받는 맥락만큼만 쓸모 있습니다. 필요한 근거를 권한 안에서 정확히 골라 넘기는 검색 계층이 먼저입니다.
근거Box는 이 검색 엔진으로 정확도는 올리고 토큰 사용은 90% 줄일 수 있다고 제시했습니다. 문서를 통째로 넣는 대신 필요한 조각만 넘기기 때문입니다.
흔히 이렇게 봅니다기업용으로는 성능이 가장 좋은 폐쇄형 모델 하나로 통일하는 편이 안전하다고 봅니다.
Box는 이렇게 봅니다오픈 웨이트 모델은 폐쇄형을 대신하는 것이 아니라 보완합니다. 업무 단계마다 모델을 골라 쓰는 편이 낫습니다.
근거Box는 Nemotron 3 Ultra를 Box AI에 넣으면서 오픈 웨이트라 Anthropic·OpenAI의 폐쇄형 모델보다 훨씬 싼 값에 쓸 수 있다고 설명했습니다. Box Architect도 Anthropic, OpenAI, Google, Nvidia, IBM 모델 가운데 단계별로 복잡도와 비용에 맞춰 고르게 합니다.
저자가 든 사례
이번 발표에는 이름이 공개된 고객 사례가 없습니다. 아래는 회사가 기능을 설명하며 든 업종별 활용 예이고 효과 수치는 원문에서 밝히지 않았습니다.
| 활용 예 | 상황 | 한 일 | 결과 | 연결된 메커니즘 |
|---|---|---|---|---|
| 보험 감사 | 청구 한 건에 스캔 서식, 물건 사진, 녹취, 영상이 섞여 옴 | 묶음 전체를 색인해 한 번에 분석 | 원문에서 밝히지 않음 | Multimodal Indexing |
| 법무 | 계약·사건 파일마다 같은 뜻을 다른 말로 씀 | 의미로 조항과 선례를 찾음 | 원문에서 밝히지 않음 | Hybrid Search |
| 대출 심사 | 신청서는 볼 수 있는 사람이 정해져 있음 | 분석가 권한 안의 근거로만 답 | 원문에서 밝히지 않음 | Permission-aware Retrieval |
| 은행 온보딩 | 신청부터 계좌 개설까지 여러 도구를 거침 | Architect로 Forms 접수, Extract 신분증 확인, Doc Gen·Sign 계약을 한 흐름으로 묶음 | 원문에서 밝히지 않음 | Agent Guardrails, Box Architect |
기술 디테일: 회사 수치를 내 문서로 다시 재는 법
Recall@5를 내 질문으로 다시 재려면 정답이 표시된 질문셋부터 만듭니다. 회사가 말한 최대 20%는 회사가 고른 조건의 값입니다. 내 문서에서 얼마가 나올지는 직접 재야 압니다. 실제 업무 질문 150개를 모으고 질문마다 정답 파일 ID를 1~3개 표시합니다. 형식별로 나눠 둡니다(텍스트 60, 스캔 40, 이미지 20, 음성·영상 30). 지금 쓰는 검색을 기준선으로 같은 질문을 3회 돌리고 상위 5개 안에 정답 파일이 하나라도 있으면 맞은 것으로 셉니다. 3회 결과의 편차가 5%p를 넘으면 질문 문구가 모호한지 먼저 봅니다.
{
"qid": "Q-037",
"question": "작년 개정된 협력사 품질 보증 기간은?",
"asker_role": "구매_담당",
"gold_file_ids": ["F-88213"],
"modality": "scan",
"must_not_see": ["F-90011"],
"run": 2,
"top5_ids": ["F-88213", "F-77102", "F-65001", "F-88214", "F-12009"],
"hit_at_5": true,
"prompt_tokens": 2140,
"latency_ms": 1820
}권한 누출을 잡으려면 일부러 막힌 계정으로 묻는 음성 테스트를 넣습니다. Permission-aware Retrieval은 지금 걸린 권한을 그대로 따르므로, 시험해야 할 것은 엔진보다 내 권한 설정입니다. 계정을 셋으로 나눕니다. 정답 파일을 볼 수 있는 계정, 볼 수 없는 계정, 외부 협력사 계정입니다. 볼 수 없는 계정의 답이나 인용에 must_not_see 파일이 한 번이라도 나오면 시범을 멈춥니다. 원인은 대개 “링크가 있는 사람 모두”로 열린 공유 링크나 상위 폴더에서 상속된 권한입니다.
토큰과 속도를 비교하려면 같은 모델, 같은 프롬프트, 같은 질문에 temperature 0으로 두고 검색 단계만 바꿉니다. 모델을 함께 바꾸면 어느 쪽 효과인지 가를 수 없습니다. 질문마다 prompt_tokens와 latency_ms를 남기고 중앙값과 상위 10% 값을 봅니다. 회사가 말한 90% 감소는 기준선을 100으로 둘 때 10만 남는다는 뜻입니다.
최신판 반영을 확인하려면 정책 문서 하나를 고쳐 올리고 1분·5분·30분 뒤에 같은 질문을 던져 새 판의 문구가 근거로 나오는 시점을 기록합니다. 옛 판이 계속 나오면 버전 관리 방식(새 파일로 올리는지, 같은 파일의 새 버전으로 올리는지)부터 확인합니다.
Agent Guardrails를 설계하려면 에이전트별로 허용 동작 표를 먼저 씁니다. 가상 예시입니다.
| 에이전트 | 접근 가능 분류 | MCP 동작 | 한도(Threshold) |
|---|---|---|---|
| 계약 검토 | 일반, 대외비 | 읽기만, 외부 공유 금지 | 시간당 다운로드 200건 넘으면 알림 |
| 청구 처리 | 일반, 개인정보 | 읽기, 같은 폴더 안 이동 | 하루 삭제 0건(삭제 금지) |
| 사내 FAQ | 일반 | 읽기만 | 시간당 질의 1,000건 넘으면 알림 |
실패할 때 대응.
| 증상 | 흔한 원인 | 대응 |
|---|---|---|
| 스캔 문서 질문만 정답률이 낮음 | 해상도 낮은 스캔, 손글씨 | 형식별 결과를 따로 보고 원본 재스캔 대상 목록 작성 |
| 권한 없는 계정에 근거가 보임 | 넓게 열린 공유 링크, 상속 권한 | 시범 중단, 권한 정리 뒤 재시험 |
| 개정 뒤에도 옛 판으로 답함 | 새 파일로 따로 올려 두 판이 공존 | 같은 파일의 새 버전으로 올리는 규칙 정함 |
| 토큰이 줄지 않음 | 프롬프트가 상위 결과를 모두 붙임 | 넘기는 조각 수를 5개 안팎으로 제한 |
현업 실행 디테일: 누가, 언제, 무엇을
Context Retrieval은 내년 초 정식 출시 예정이고 에이전트 통제 세 가지는 지금 쓸 수 있습니다. 그래서 출시 전 6주는 권한과 통제를 정리하고 기준선을 재는 데 씁니다. 출시 직후 같은 질문셋으로 바로 비교할 수 있게 해 두는 것이 목표입니다.
| 역할 | 맡는 일 | 산출물 |
|---|---|---|
| AX 추진 PM | 대상 업무 1~2개 선정, 일정 관리 | 시범 범위 문서 |
| Box 관리자 | 권한·공유 링크·분류 라벨 점검, 가드레일 설정 | 권한 점검표, 정책 설정값 |
| 보안 담당(CISO 조직) | 에이전트별 허용 동작과 한도 승인 | 에이전트 통제 표 |
| 현업 문서 소유자 | 실제 질문 수집, 정답 파일 표시 | 질문셋 150개 |
| 엔지니어 | 기준선 측정, 결과 기록 | 측정 시트(JSON 필드 위 예시) |
| 주차 | 할 일 | 산출물 |
|---|---|---|
| 1주 | 대상 폴더의 공개 링크, 외부 공유, 상속 권한 점검. 분류 라벨이 빠진 파일 비율 확인 | 권한 점검표 |
| 2주 | 현업 인터뷰로 질문 150개 수집, 정답 파일·형식·막힌 계정 표시 | 질문셋 |
| 3주 | 지금 쓰는 검색으로 3회 측정 | 기준선 Recall@5·토큰·응답 시간 |
| 4주 | 에이전트별 접근 분류, MCP 동작, 한도 설계 후 보안 승인 | 에이전트 통제 표 |
| 5주 | Classification 정책·MCP Guardrails·Threshold 정책을 시범 폴더에 적용하고 알림 확인 | 정책 적용 기록 |
| 6주 | 결과 검토, 출시 후 비교 일정 확정 | 진행 여부 결정 |
현업 인터뷰 질문. 지난달 찾다가 포기한 문서는 무엇이었나? 정답이 스캔본이나 녹음에만 있는 질문은 무엇인가? 옛 판으로 답하면 사고가 나는 문서는 무엇인가? 에이전트가 절대 보면 안 되는 폴더는 어디인가?
진행 판정 기준(예시). 출시 후 비교에서 Recall@5가 기준선보다 10%p 이상 오르고 권한 누출 음성 테스트가 0건이며 질문당 토큰 중앙값이 절반 이하로 줄면 확대합니다. 누출이 한 건이라도 나오면 정확도와 상관없이 멈추고 권한부터 고칩니다.
어디에 먼저 쓸까. 첫 대상으로는 근거가 여러 형식에 흩어져 있고 볼 수 있는 사람이 정해진 업무가 맞습니다. 보험 청구, 계약 검토, 협력사 품질 문서가 그런 예입니다. 순서는 권한 정리, 분류 라벨, 에이전트 통제, 검색 평가입니다. 검색 엔진을 먼저 붙이면 지금의 과잉 공유가 에이전트를 타고 그대로 드러납니다. 이미 Box를 쓰는 조직이라면 지금 제공되는 통제 세 가지를 먼저 켜 두는 것이 출시를 기다리는 동안 할 수 있는 가장 싼 준비입니다. Box를 쓰지 않는 조직도 같은 평가 설계로 다른 검색 엔진을 비교할 수 있습니다.
원문 사례
| 항목 | 내용 |
|---|---|
| 기사 | SiliconANGLE, Mike Wheatley, 2026.11.05 |
| 행사 | BoxWorks 2026(샌프란시스코) |
| 검색 엔진 | Box Context Retrieval(기사 본문 표기는 Content Retrieval), Nvidia Nemotron Retriever 임베딩 모델 기반 |
| 대상 콘텐츠 | 계약서, 정책 매뉴얼, 메일 등 비정형 콘텐츠. 스캔 문서, 이미지, 음성, 영상 포함, 수백만 개 파일 규모 |
| 방식 | 멀티모달 색인, Hybrid Search, 파일 원래 권한 적용, 새·수정 콘텐츠 실시간 반영 |
| 기대 효과(회사 주장) | 정확도 최대 20% 향상(Recall@5), 토큰 90% 감소, 응답 약 4배 단축. 비교 기준 미공개 |
| 출시 | Context Retrieval: 내년 초 정식 출시(Enterprise Advanced). Nemotron 3 Ultra: Box AI에서 지금 제공 |
| 함께 발표 | Box Architect(자연어로 설계·시험·배포, 4분기 베타), Classification 정책·MCP Guardrails·Threshold 정책(지금 제공), 위협 탐지(내년 초) |
| 보안 협력 | Nvidia OpenShell 실행 환경, Box Mount, Open Secure AI Alliance |
| 고객 | 새 기능을 쓰는 고객 이름은 공개되지 않음 |
| 분석가 | Constellation Research Holger Mueller, Deep Analysis Alan Pelz-Sharpe |
핵심 개념
- Nemotron Retriever
- Nvidia가 공개한 검색용 임베딩 모델 묶음입니다. 문서와 질문을 같은 의미 공간의 벡터로 바꿉니다.
- Recall@5
- 검색 결과 상위 5개 안에 정답 문서가 들어 있는 질문의 비율입니다. 에이전트가 근거를 놓치지 않는지 보는 지표입니다.
- Nemotron 3 Ultra
- Box AI에 들어간 Nvidia의 대형 오픈 웨이트 언어 모델입니다. 가중치가 공개돼 폐쇄형보다 싸게 쓸 수 있다는 것이 Box의 설명입니다.
- Box Architect
- 업무 흐름을 말로 설명하면 에이전트, 양식, 자동화를 묶어 만들고 시험·배포하게 돕는 Box 도구입니다. 단계마다 모델을 고릅니다.
- NVIDIA OpenShell
- 에이전트 작업과 도구 사용을 정책에 따라 실행하고 감독하는 Nvidia의 보안 실행 환경입니다.
- Enterprise Advanced · Shield
- Box의 상위 요금제와 보안 추가 상품입니다. 이번 기능 대부분이 이 고객을 대상으로 합니다.
내 메모
TODO: 내 생각 추가
원문은 SiliconANGLE의 「Box taps Nvidia’s AI models to build a rich context layer for autonomous enterprise agents」(Mike Wheatley, 2026.11.05)입니다. 제품 이름, 작동 방식, Recall@5 기준, 업종별 활용 예, 출시 대상은 같은 날 나온 Box 보도자료 두 건(「Box Partners With NVIDIA to Deliver the Trusted Content Layer for Enterprise AI」, 「Box Unveils the Next Generation of Enterprise AI with New Agentic Workflow Automation and Advanced Threat Detection」, Business Wire)으로 보강했습니다. 효과 수치는 회사가 가능성으로 제시한 값이며 독립 검증된 결과가 아닙니다. 요약, 핵심 메커니즘의 원문 내용, 통념과 다른 주장, 활용 예, 원문 사례 표는 원문을 AX Review가 다시 정리했습니다. 작은 예시, 기술·현업 실행 디테일, JSON 예시, 통제 표, 실패 대응 표, 일정과 판정 기준, 인포그래픽은 새로 작성한 실행 제안입니다. 전체 내용은 원문에서 볼 수 있습니다.