Agentic Analytics: 분석 에이전트 인사이트의 48%만 행동으로 이어지는 이유와 대응
Snowflake 후원 MIT Technology Review Insights 조사에서 분석 에이전트 인사이트가 개선 행동으로 이어진 비율은 48%(1년 전 37%)였습니다. 경영진 55%는 비즈니스 맥락 부족을 원인으로 꼽았고 기업들은 거버넌스(60%)와 시맨틱 레이어(45%)로 대응합니다. 전환율을 재는 기록 방식과 8주 시범안을 붙였습니다.
분석 에이전트가 낸 인사이트 가운데 실제로 사업을 개선한 행동으로 이어진 것은 평균 48%입니다. 1년 전 37%보다 올랐지만 아직 절반이 안 됩니다. 경영진이 꼽은 첫 원인은 비즈니스 맥락 부족이었고 기업들은 AI·데이터 거버넌스와 시맨틱 레이어(semantic layer, 지표와 업무 용어를 한곳에 정의해 두는 층)로 대응합니다. 따라 하려면 인사이트마다 행동 여부를 기록해 전환율 기준선부터 잡아야 합니다.
요약
MIT Technology Review의 맞춤 콘텐츠 조직인 MIT Technology Review Insights가 Snowflake 후원으로 기업 경영진을 조사했고 2026년 11월 2일 핵심 결과를 공개했습니다. 편집국이 아닌 Insights 팀이 만든 콘텐츠이며 개별 저자 이름은 없습니다. 공개 페이지에는 표본 수, 지역, 조사 기간이 나오지 않고 전체 리포트는 Snowflake 페이지에서 내려받게 되어 있습니다. 조사는 agentic analytics(데이터를 읽고 인사이트를 내고 그 인사이트에 따라 행동까지 이어 가는 분석 에이전트)의 인사이트 품질을 물었습니다. 출발점은 이렇습니다. 생성형 AI는 분석을 조직 전체가 쓰게 만들었고 에이전트는 워크플로 전체를 자동화하고 인사이트를 행동으로 옮기려 합니다. 그런데 지금 에이전트가 내는 인사이트의 품질이 낮다는 것입니다.
결과를 보면 인사이트가 개선 행동으로 이어진 비율은 평균 48%로 1년 전 37%에서 올랐습니다. 응답자는 현황을 설명하는 서술형 인사이트에는 대체로 좋은 점수를 줬지만 행동을 제안하는 처방형 인사이트에는 평가가 엇갈렸습니다. 소수의 insight leaders(인사이트 성과가 뛰어난 응답 기업 집단)는 이 비율이 70%를 넘었고 품질 평가 격차는 처방형에서 가장 컸습니다. 품질이 낮은 원인으로 경영진 55%가 비즈니스 맥락 부족을, 45%가 흩어졌거나 접근하기 어려운 데이터를 들었습니다. 52%는 인사이트가 너무 많아 제대로 평가하지 못한다고 답했고 전부 평가하는 곳은 24%였습니다. 나머지는 대부분 건별로 사람이 평가하는데 품이 많이 듭니다. 원문은 이 문제가 비싼 이유도 짚습니다. 개선으로 이어지지 않는 인사이트는 에이전트 투자의 ROI를 깎고 잘못된 인사이트가 잘못된 행동을 부르면 평판과 재무에 피해를 줍니다. 기업들은 AI·데이터 거버넌스 강화(60%)와 데이터 아키텍처에 시맨틱 레이어 추가(45%)를 우선하고 있고 원문이 인터뷰한 전문가들도 시맨틱 레이어를 고성능 에이전트의 필수 요소로 봤습니다. 아래에서는 이 결과를 다섯 가지 개념으로 풀고 전환율을 재고 맥락을 넣는 방법을 덧붙입니다.
핵심 메커니즘
Insight-to-Action Rate: 인사이트가 개선 행동으로 이어진 비율
무엇인가. 에이전트가 낸 인사이트 가운데 사업을 개선한 행동으로 이어진 몫입니다. 이 조사가 품질을 재는 중심 지표이며 이 노트에서는 Insight-to-Action Rate라고 부릅니다.
어떻게 작동하나. 분모는 일정 기간 에이전트가 낸 인사이트 전체입니다. 담당자가 각 인사이트를 보고 행동했는지, 그 행동이 실제 개선으로 확인됐는지를 기록하면 분자가 나옵니다. 정확도나 응답 속도가 아니라 사업 결과에 묶인 숫자라서 에이전트 투자의 ROI와 바로 이어집니다.
언제 쓰나. 분석 에이전트를 업무에 붙여 놓고 성과를 보고할 때 씁니다. 탐색용 질의응답처럼 행동을 전제하지 않는 쓰임에는 맞지 않습니다.
원문의 예. 평균 48%, 1년 전 37%, insight leaders 70% 초과입니다.
작은 예시(가상). 영업 분석 에이전트가 한 달에 200건을 냈고 담당자가 행동해 개선이 확인된 것이 96건이면 전환율은 48%입니다.
Descriptive vs Prescriptive Insight: 무슨 일이 있었나와 무엇을 해야 하나
무엇인가. 서술형(descriptive) 인사이트는 무슨 일이 일어나고 있는지 설명하고 처방형(prescriptive) 인사이트는 무엇을 해야 하는지 제안합니다. 행동의 근거가 되는 것은 처방형입니다.
어떻게 작동하나. 서술형은 데이터가 정확하면 대체로 맞힙니다. 처방형은 거기에 목표, 제약, 비용, 회사 규칙을 얹어야 합니다. 그래서 같은 데이터에서도 맥락이 모자라면 서술은 맞고 처방은 틀립니다.
언제 구분하나. 품질을 평가할 때 둘을 섞으면 서술형의 좋은 점수가 처방형의 약점을 가립니다. 평가표와 채점 기준을 따로 둡니다.
원문의 예. 서술형은 대체로 긍정 평가, 처방형은 엇갈린 평가였습니다. insight leaders와 전체 응답의 격차도 처방형에서 가장 컸습니다.
작은 예시(가상). “3분기 남부 권역 반품률이 올랐다”는 서술형입니다. “남부 물류센터의 포장 규격을 바꿔라”는 처방형이고 포장 단가와 거래처 계약 조건을 모르면 쓸 수 없는 제안이 됩니다.
Business Context Gap: 데이터는 읽지만 뜻은 모르는 에이전트
무엇인가. 에이전트가 숫자를 계산할 수는 있어도, 그 숫자가 회사에서 무엇을 뜻하는지 모르는 상태입니다. 조사에서 품질이 낮은 첫 원인으로 꼽혔습니다.
어떻게 작동하나. 에이전트가 원천 테이블만 보면 ‘매출’이 출고 기준인지 회계 인식 기준인지, 반품을 뺀 값인지 알 수 없습니다. 계산은 맞아도 결론이 회사 기준과 어긋납니다. 데이터가 여러 시스템에 흩어져 있거나 권한 때문에 꺼내지 못하면 에이전트는 일부만 보고 판단합니다.
원문의 예. 경영진 55%가 비즈니스 맥락 부족을, 45%가 흩어졌거나 접근하기 어려운 데이터를 원인으로 들었습니다. insight leaders는 맥락에 접근하는 어려움을 덜 겪는다고 답했습니다(수치는 공개 페이지에 없음).
작은 예시(가상). 재무팀의 ‘순매출’과 영업팀의 ‘순매출’이 다르면 에이전트는 어느 쪽을 쓰느냐에 따라 같은 질문에 다른 답을 냅니다.
Insight Overload: 평가할 수 있는 양보다 많은 인사이트
무엇인가. 에이전트가 내는 인사이트의 양이 사람이 검토할 수 있는 양을 넘는 상태입니다.
어떻게 작동하나. 인사이트를 만드는 비용은 거의 들지 않지만 평가하는 비용은 사람의 시간입니다. 평가되지 못한 인사이트는 버려지거나 검증 없이 행동으로 넘어갑니다. 앞의 경우 전환율이 낮아지고 뒤의 경우 잘못된 행동의 위험이 커집니다.
원문의 예. 52%가 인사이트가 너무 많아 제대로 평가하지 못한다고 했고 모든 인사이트를 평가하는 곳은 24%였습니다. 나머지는 대부분 건별로 사람이 평가합니다.
작은 예시(가상). 재고 분석 에이전트가 하루 300건을 내는데 담당자 2명이 하루 40건만 볼 수 있다면 어떤 40건을 먼저 볼지 정하는 규칙이 품질을 좌우합니다.
Semantic Layer와 AI·데이터 거버넌스: 맥락을 공통 정의로 박아 두는 층
무엇인가. 시맨틱 레이어는 원천 데이터 위에 지표 정의, 계산식, 업무 용어, 조인 규칙, 접근 권한을 한곳에 정의해 두는 층입니다. 사람이 보는 BI 화면과 에이전트가 같은 정의를 씁니다. 거버넌스는 그 정의와 데이터에 누가 접근하고 누가 바꾸는지를 정하는 규칙입니다. 원문은 둘의 작동 방식을 자세히 설명하지 않으므로, 이 단락의 작동 설명은 일반적인 구조를 정리한 것입니다.
어떻게 작동하나. 에이전트는 원천 테이블에 SQL을 직접 쓰지 않고 시맨틱 레이어에 정의된 지표 이름으로 질의합니다. 시맨틱 레이어가 정의대로 쿼리를 만들고 권한을 확인한 뒤 결과를 돌려줍니다. 에이전트는 결론과 함께 어떤 지표의 어떤 정의 버전을 썼는지 남깁니다. Business Context Gap을 메우는 장치이고 근거가 남으니 평가도 빨라집니다.
원문의 예. 응답 기업의 60%가 AI·데이터 거버넌스 강화를, 45%가 시맨틱 레이어 추가를 우선한다고 답했습니다. 인터뷰한 전문가들은 시맨틱 레이어를 고성능 에이전트에 꼭 필요한 요소로 봤습니다.
작은 예시(가상). 아래 그림처럼 “지난달 순매출이 왜 줄었나”라는 질문은 시맨틱 레이어의 ‘순매출’ 정의를 거쳐서만 데이터에 닿습니다.
통념과 다른 주장
흔히 이렇게 봅니다분석 에이전트의 품질은 더 좋은 모델을 쓰면 올라간다.
조사 결과는 이렇게 봅니다품질이 낮은 첫 원인은 비즈니스 맥락 부족이고 기업의 대응도 모델 교체보다 거버넌스와 시맨틱 레이어에 몰려 있다.
근거경영진 55%가 맥락 부족을, 45%가 데이터 단절을 원인으로 들었습니다. 우선 과제는 거버넌스 강화 60%, 시맨틱 레이어 45%였습니다.
흔히 이렇게 봅니다에이전트가 인사이트를 많이 낼수록 얻는 것도 많다.
조사 결과는 이렇게 봅니다평가할 수 있는 양을 넘는 인사이트는 오히려 병목이 된다.
근거52%가 평가할 수 없을 만큼 많다고 답했고 전부 평가하는 곳은 24%에 그쳤습니다. 나머지는 품이 많이 드는 건별 평가에 기댑니다.
조사에 나온 비교
원문은 특정 기업 사례를 들지 않습니다. 대신 전체 응답과 insight leaders 집단을 비교합니다.
| 비교 | 상황 | 차이 | 결과 | 연결 |
|---|---|---|---|---|
| 전체 응답 | 인사이트 다수가 개선으로 이어지지 않음 | 처방형 평가 엇갈림, 55%가 맥락 부족 | 전환율 평균 48%(1년 전 37%) | Insight-to-Action Rate, Business Context Gap |
| insight leaders | 소수 집단, 선정 기준은 공개 페이지에 없음 | 맥락 접근 어려움을 덜 겪음, 처방형 품질을 더 높게 평가 | 전환율 70% 초과 | Descriptive vs Prescriptive Insight, Semantic Layer |
기술 디테일: 전환율을 재고 맥락을 넣는 방법
아래 필드명, 설정값, 점수 기준은 실제로 돌릴 때 필요한 것을 정리한 실행 제안이며 원문이나 Snowflake가 밝힌 구현이 아닙니다.
Insight-to-Action Rate를 재려면 인사이트 한 건마다 기록 한 줄을 남깁니다. 에이전트가 낼 때 채우는 필드와 담당자가 나중에 채우는 필드를 나눕니다. action_taken은 7일 안에, improvement_confirmed는 30일 뒤에 담당자가 채우고 비어 있으면 주간 리포트에 미기록으로 따로 셉니다.
{
"insight_id": "INS-2026-11-0412",
"agent": "sales-analytics-v2",
"insight_type": "prescriptive",
"claim": "남부 권역 C등급 거래처의 할인 한도를 3%p 낮추면 마진이 회복됩니다",
"metrics_used": [{"metric_id": "net_revenue", "definition_version": "v7"}],
"assumptions": ["거래처 이탈률 변화 없음"],
"expected_effect": {"metric_id": "gross_margin", "direction": "up"},
"owner_team": "영업기획",
"judge_scores": [4, 4, 3],
"action_taken": true,
"improvement_confirmed": null
}Business Context Gap을 메우려면 에이전트에게 원천 테이블 접근 대신 시맨틱 레이어 도구 두 개만 줍니다. get_metric_definition(metric_id)는 정의, 계산식, 기준일, 소유 부서를 돌려주고 query_metric(metric_id, dimensions, filters, period)는 정의대로 계산한 값을 돌려줍니다. 지표 정의는 아래처럼 코드로 관리하고 바꿀 때마다 definition_version을 올립니다. 출력에 metrics_used가 비어 있으면 게시하지 않습니다.
metric_id: net_revenue
label: 순매출
owner: 재무팀
formula: gross_revenue - returns - rebates
recognition: invoice_date # 출고일이 아니라 청구일 기준
grain: [region, customer_tier, month]
access: [finance, sales_planning]
definition_version: v7Descriptive와 Prescriptive를 나눠 평가하려면 에이전트 출력에 insight_type을 필수로 넣고 처방형에만 assumptions, expected_effect, owner_team을 필수로 둡니다. 셋 중 하나라도 비면 근거 검사 단계에서 보류합니다. 서술형은 본문에 나온 숫자를 query_metric으로 다시 계산해 0.5% 넘게 어긋나면 보류합니다.
Insight Overload를 줄이려면 처방형 인사이트를 LLM 심판(judge) 모델로 먼저 채점합니다. 생성한 모델과 다른 모델을 쓰고 temperature 0.2로 같은 인사이트를 3번 채점해 평균을 냅니다. 심판에게는 {"score": 0~5, "missing_fields": [], "conflicts_with_definition": false, "reason": ""} 형식으로만 답하게 합니다. 세 점수의 차이가 2점 이상이면 자동 판정을 믿지 않고 사람에게 보냅니다. 평균 4점 이상만 담당자에게 배정하고 나머지는 무작위 10%를 표본으로 사람이 다시 봐서 심판의 기준이 맞는지 주마다 확인합니다.
| 막히는 경우 | 증상 | 대응 |
|---|---|---|
| 부서마다 지표 정의가 다름 | 같은 질문에 다른 답 | 지표마다 소유 부서 1곳 지정, 충돌 지표는 정의 회의 후 v 번호 올림 |
| 시맨틱 레이어에 없는 지표 질문 | 에이전트가 정의를 지어냄 | 정의가 없으면 “정의 없음”으로 답하고 요청 목록에 쌓음 |
| 심판 모델이 너그러움 | 낮은 품질이 담당자에게 감 | 표본 10%의 사람 점수와 비교, 평균 차이 1점 넘으면 채점 지시 수정 |
| 담당자가 결과를 안 적음 | 전환율 분모만 늘어남 | 미기록 비율을 주간 리포트 맨 위에 표시, 30%를 넘으면 배정 건수 축소 |
| 권한 밖 데이터가 필요함 | 처방이 일부 데이터로만 나옴 | 접근 거부를 출력에 표시하고 거버넌스 담당에게 요청 |
현업 실행 디테일: 누가, 언제, 무엇을
| 역할 | 맡는 일 |
|---|---|
| 분석·데이터 총괄(CDO 또는 데이터 조직장) | 시범 범위 승인, 전환율 목표 설정, 확대 판정 |
| 현업 스폰서(영업기획·재고 등 1개 부서장) | 인사이트를 받을 담당자 지정, 행동 여부 확인 |
| 지표 소유자(재무·영업 담당) | 핵심 지표 10~20개 정의 승인, 충돌 조정 |
| 데이터·AI 엔지니어 | 시맨틱 레이어 구성, 에이전트 도구 연결, 채점 파이프라인 |
| 거버넌스 담당 | 접근 권한, 정의 변경 승인 절차 |
| 현업 담당자 2~3명 | 배정된 인사이트 검토, action_taken·improvement_confirmed 기록 |
준비물. 지금 분석 에이전트나 BI가 내는 인사이트·리포트 목록 최근 4주분, 부서별 핵심 지표 목록과 현재 계산식, 지표가 사는 원천 시스템과 권한 현황, 담당자별 주당 검토 가능 건수가 필요합니다.
| 기간 | 할 일 | 산출물 |
|---|---|---|
| 1~2주 | 한 부서를 골라 인사이트 기록 필드를 붙이고 지금 전환율 측정 | 전환율 기준선, 서술형·처방형 비중 |
| 3~4주 | 그 부서 핵심 지표 10~20개를 시맨틱 레이어에 정의, 에이전트를 정의 경유로 전환 | 지표 정의서(v1), 정의 충돌 목록 |
| 5~6주 | 처방형 자동 채점과 상위 건 배정 시작 | 주간 배정 건수, 심판 점수와 사람 점수 차이 |
| 7~8주 | 전환율을 기준선과 비교하고 다음 부서 결정 | 판정 보고서, 다음 부서 지표 목록 |
현업에 물을 것.
- 지난달 에이전트나 BI가 낸 인사이트 중 실제로 행동한 것은 몇 건이고 어디에 기록되어 있나요?
- 부서끼리 이름은 같은데 계산이 다른 지표는 무엇인가요?
- 담당자 한 명이 일주일에 꼼꼼히 볼 수 있는 인사이트는 몇 건인가요?
- 처방형 인사이트를 믿지 못한 경우, 빠져 있던 정보는 무엇이었나요?
- 지표 정의를 바꿀 때 지금은 누가 승인하나요?
진행 판정 기준(예시). 7~8주 전환율이 기준선보다 10%p 이상 오르고 행동 미기록 비율이 30% 아래이며 심판 점수와 사람 점수의 평균 차이가 1점 이내면 다음 부서로 넓힙니다. 전환율이 오르지 않으면 처방형 보류 사유를 분류해 빠진 지표를 더 정의한 뒤 2주를 더 봅니다.
AX 적용 제언. 분석 에이전트를 이미 여러 부서에 열어 둔 기업이라면 모델을 바꾸기 전에 전환율부터 재는 편이 낫습니다. 조사에서 기업들이 먼저 손대는 곳은 거버넌스와 시맨틱 레이어였습니다. 시범은 지표 정의가 가장 많이 다투어지는 부서 하나에서 시작합니다. 영업과 재무가 매출을 다르게 세는 곳이 대표적입니다. 데이터 준비도가 낮은 회사는 시맨틱 레이어 전체를 한 번에 만들지 말고 처방형 인사이트가 실제로 인용하는 지표부터 정의해 나갑니다. 현업 스폰서에게 보고할 숫자는 생성 건수가 아니라 행동으로 이어진 건수로 정해 둡니다.
원문 사례
| 항목 | 내용 |
|---|---|
| 발행 | MIT Technology Review Insights, 2026.11.02, Snowflake 후원(편집국 제작 아님) |
| 조사 방법 | 경영진 설문과 전문가 인터뷰. 표본 수·지역·기간은 공개 페이지에 없음 |
| 전환율 | 개선 행동으로 이어진 인사이트 평균 48%, 1년 전 37% |
| 인사이트 유형 | 서술형은 대체로 긍정 평가, 처방형은 엇갈린 평가 |
| insight leaders | 소수 집단, 전환율 70% 초과, 품질 평가 격차는 처방형에서 가장 큼, 맥락 접근 어려움이 적음 |
| 원인 | 비즈니스 맥락 부족 55%, 흩어졌거나 접근하기 어려운 데이터 45% |
| 평가 | 52%가 평가할 수 없을 만큼 많다고 답함, 전부 평가 24%, 나머지는 주로 건별 평가 |
| 대응 | AI·데이터 거버넌스 강화 60%, 시맨틱 레이어 추가 45%, 전문가들은 시맨틱 레이어를 필수로 봄 |
| 위험 | 개선 없는 인사이트는 ROI 손실, 잘못된 행동은 평판·재무 피해 |
핵심 개념
- agentic analytics
- 데이터 조회와 해석에 그치지 않고 인사이트를 바탕으로 워크플로를 자동화하고 행동까지 이어 가는 분석 방식입니다.
- insight leaders
- 이 조사에서 에이전트 인사이트의 70% 넘게를 개선 행동으로 잇는 소수 응답 기업 집단입니다.
- case-by-case evaluation
- 정해진 기준이나 자동 채점 없이 인사이트를 한 건씩 사람이 보고 판단하는 방식입니다. 조사에서 가장 흔한 평가 방식으로 나왔습니다.
- fragmented data
- 여러 시스템에 흩어져 있어 한 번에 보기 어려운 데이터입니다.
- AI·data governance
- AI와 데이터에 누가 접근하고 정의와 모델을 누가 바꾸며 결과를 어떻게 감사하는지 정한 규칙입니다.
- LLM judge
- 다른 모델의 출력을 정해진 기준표로 채점하게 하는 모델입니다. 이 노트의 기술 디테일에서 쓴 실행 제안입니다.
내 메모
TODO: 내 생각 추가
원문은 MIT Technology Review Insights의 「Raising the quality of insights in agentic analytics」(2026.11.02 게재, Snowflake 후원)입니다. 요약, 핵심 메커니즘의 원문 내용, 통념과 다른 주장, 조사 비교, 원문 사례 표는 공개 페이지에 실린 조사 결과를 AX Review가 다시 정리했습니다. 이 노트는 공개 페이지를 기준으로 썼고 Snowflake 페이지의 전체 리포트는 읽지 못했습니다. 시맨틱 레이어의 작동 설명, 기술·현업 실행 디테일, JSON·YAML 예시, 채점표, 막히는 경우 표, 일정과 판정 기준, 인포그래픽은 원문에 없는 내용으로 새로 작성했고 그 안의 필드명과 숫자는 가상 예시입니다. 조사 결과 전체는 원문 페이지와 전체 리포트에서 볼 수 있습니다.