Knowledge Layer: 에이전트 과제의 61%를 운영까지 올린 선도 기업 13%의 데이터 연결법

에이전트 과제를 운영까지 올리는 기업은 모델보다 데이터 사이의 관계와 용어를 먼저 정리했습니다. 따라 하려면 업무 하나를 골라 엔터티와 관계를 그래프로 잇고 사람과 에이전트의 판단을 4~6회 맞춰 본 뒤 자율 실행으로 넘깁니다.

요약

Neo4j의 Sudhir Hasbe가 소개한 이 글은 MIT Technology Review Insights가 Neo4j 후원으로 낸 보고서 「Connecting AI agents to enterprise knowledge」를 다룹니다. 조사는 2026년 6~7월에 했습니다. 응답자는 매출 5억 달러 이상 기업의 최고데이터책임자, CIO, CTO, 최고AI책임자 등 300명이고 업종은 9개입니다. 응답 기업의 57%가 에이전트를 실험이든 운영이든 폭넓게 쓴다고 답했습니다. 그런데 과제가 운영(production)까지 가는 비율은 평균 34%에 그쳤습니다. 응답 기업의 13%인 선도 기업은 평균 61%를 운영에 올렸고 후발 기업은 30%였습니다. 업종별로는 IT·소프트웨어가 42%로 가장 높고 소비재가 26%로 가장 낮았습니다.

에이전트 과제의 운영 전환율 (0 기준, 막대 길이 비례)

실패 지점으로는 레거시 데이터 시스템 연동(55%), 보안·개인정보(53%), 에이전트의 지식·맥락 부족(46%)을 많이 꼽았습니다. 선도 기업이 남다른 곳은 지식입니다. 업무의 사실, 규칙, 개념을 담은 semantic knowledge(의미 지식)가 아주 강하다는 답이 선도 기업은 62%, 후발 기업은 21%였습니다. 지식·맥락 부족을 실패 원인으로 꼽은 선도 기업은 28%뿐입니다. 응답자는 데이터와 에이전트 사이의 구조적 연결을 강화하는 일(44%)이 결정 품질을 가장 크게 올린다고 봤습니다. 전문가들은 그 방법으로 knowledge layer(지식 계층)를 제시합니다. 아래에서는 지식의 세 유형, knowledge layer, Cummins와 Gilead의 쓰임새를 풀고 직접 만들 때 필요한 그래프 구조와 시범 일정을 덧붙였습니다.

과제 실패 지점으로 꼽은 비율 (복수 응답, 0 기준)

핵심 메커니즘

Semantic · Episodic · Procedural: 에이전트에게 필요한 세 가지 지식

보고서는 에이전트가 쓰는 지식을 셋으로 나눕니다. Semantic knowledge는 조직의 사실, 규칙, 개념 저장소입니다. 핵심 지표와 엔터티 사이의 관계를 정해 줘서, 없으면 에이전트가 질문을 잘못 읽고 틀린 답을 냅니다. Episodic memory(경험 기억)는 과거 대화와 결정에서 쌓인 기억입니다. Hasbe는 긴 작업에서 에이전트가 무엇을 했고 다음에 무엇을 할지 떠올리는 데 필요하다고 설명합니다. Procedural knowledge(절차 지식)는 공급사 발주나 출장 예약처럼 일을 실제로 처리하는 방법입니다. 전체 응답자의 80%가 semantic knowledge를 강하다고 했지만 ‘아주 강함’은 26%였습니다. 보고서는 운영 전환율이 낮은 후발 기업이 자기 의미 지식을 과대평가했을 수 있다고 봅니다. 세 유형 모두 선도 기업이 앞서지만 격차는 semantic에서 가장 큽니다.

지식 유형별 '아주 강함' 응답 (보고서 그림 수치, 0 기준)

Knowledge Layer: 업무 질문과 데이터를 같은 뜻으로 잇는 층

knowledge layer는 흩어진 데이터 위에 용어 정의와 엔터티 관계를 얹어 에이전트가 읽을 수 있게 만든 층입니다. SanjMo의 Sanjeev Mohan은 이 제품이 2026 회계연도 1분기에 중서부에서 이익을 냈는지 묻는 질문을 예로 듭니다. 회계연도, 분기, 지역, 이익이 각각 무엇을 뜻하는지 정해 둬야 답이 하나로 나옵니다. Hasbe는 기존 시스템이 사람이 읽도록 만들어졌다고 지적합니다. 데이터 사일로와 너무 단순한 저장·검색 방식이 지식 격차를 키운다고도 봅니다. 지식 그래프는 이 층의 중심 부품입니다. 데이터를 엔터티와 관계로 저장하므로 에이전트가 관계를 따라가며 추론할 수 있습니다. 질문 하나가 여러 시스템에 걸치는 업무에 맞습니다. 한 시스템 안에서 끝나는 단순 조회에는 과합니다.

knowledge layer의 위치: 데이터와 에이전트 사이

By-the-way Insight: 묻지 않은 위험까지 짚는 추론

Cummins의 Jim Jacob(디지털화·고급분석·AI 담당 상무)은 에이전트가 주는 가장 큰 가치를 묻지 않은 것까지 알려 주는 데서 찾습니다. 그의 예는 공급망입니다. 사용자가 원자재 X의 수요 예측을 묻습니다. 에이전트는 부품 Y가 X에 크게 의존하고 지금 공급이 부족하다는 것을 함께 찾아냅니다. 그리고 Y를 먼저 구매하고 X를 그다음에 사라고 권합니다. 이렇게 되려면 소싱, 생산, 물류, 계획 데이터가 하나로 연결돼 있어야 합니다. Cummins는 기존 데이터셋을 그래프로 이어 맥락을 한곳에 모은 digital core를 만들고 그 위에 에이전트가 공통으로 보는 knowledge map(지식 지도)을 둡니다. Jacob은 이 층 없이 LLM이 매번 데이터를 직접 해석하게 하면 자원이 많이 든다고 봅니다. 그래서 유스케이스마다 필요한 연결 경로(digital neural pathways)를 로컬에 만들어 클라우드·연산·토큰 비용을 아낀다고 했습니다.

Cummins가 든 'by the way' 인사이트 예 (흐름은 새로 그림)

Error Tolerance와 Human-in-the-loop: 업무마다 다른 오차 기준

Jacob은 업무마다 허용할 수 있는 오차가 다르다고 강조합니다. 발주는 돈과 재고가 묶이므로 허용치가 아주 낮습니다. 수요 예측은 조금 더 너그럽습니다. 투자자에게 내는 재무 보고는 오류를 허용하지 않습니다. 그는 100% 정확해야 하는 기업에서는 에이전트 과제 성공률이 20% 이하일 것으로 봅니다.

업무마다 다른 오차 허용치 (Cummins 설명 기준)

Cummins는 보통 4~6회 사이클 동안 사람을 루프에 둡니다. 사이클마다 에이전트 결과와 사람의 판단을 비교하고 둘이 거의 같아진 뒤에 자율 실행으로 넘깁니다. 자율 실행 뒤에도 최종 승인은 사람이 합니다. 엔터테인먼트 업계의 한 AI 디렉터(보고서에서 익명)는 사람을 모든 단계에 두면 효율이 사라진다고 말합니다. 그래서 행동의 위험도에 따라 자율 실행과 사람 개입을 나누라고 권합니다.

Cummins의 4~6회 human-in-the-loop 정렬 (사이클별 할 일은 새로 그림)

Multi-hop Context: 직접 연결이 없는 상대까지 찾는 그래프 탐색

Gilead Sciences의 Thomas Luu(위조방지팀 디렉터)는 의약품 청구·리베이트 부정을 쫓습니다. 노련한 부정 행위자는 평균 속에 숨습니다. 서류상 정상 범위 안에서 움직입니다. 정상처럼 보이는 약국이 ‘버너 약국’(창고나 개인 약사)을 거쳐 물건을 받습니다. 하나를 막으면 다른 하나가 생깁니다. Gilead는 데이터를 먼저 정제·통합한 뒤 에이전트에 접근 권한을 줬습니다. 회사 이력에 OSINT(공개 출처 정보) 조사 결과를 더해 지식 그래프에 넣었습니다. 에이전트는 어떤 엔터티가 부정에서 1~2 hop 떨어져 있는지 판단합니다. 직접 부정을 저지르지 않았어도 가까이 있는 상대를 찾아내는 방식입니다. Luu는 이 맥락이 없으면 통계 신호밖에 남지 않는다고 봅니다.

Gilead의 위조 유통망 탐지 흐름 (단계는 보고서 설명 기준)

통념과 다른 주장

흔히 이렇게 봅니다성능 좋은 LLM에 사내 데이터를 바로 연결하면 에이전트가 맥락을 알아서 찾는다.

보고서는 이렇게 봅니다에이전트 과제가 멈추는 큰 이유는 데이터와 지식의 공백이다. 데이터 사이의 관계와 용어를 먼저 연결한 기업이 과제를 운영까지 올린다.

근거semantic knowledge가 아주 강하다는 응답이 선도 기업 62%, 후발 기업 21%였습니다. Jacob은 LLM이 데이터를 매번 직접 해석하게 하면 자원이 많이 든다고 말합니다.

흔히 이렇게 봅니다에이전트를 안전하게 쓰려면 사람이 모든 단계를 확인해야 한다.

보고서는 이렇게 봅니다사람 개입은 행동의 위험도와 업무별 오차 허용치에 맞춰 나눈다. 정렬 기간에 집중하고 이후에는 최종 승인으로 줄인다.

근거Cummins는 4~6회 사이클로 판단을 맞춘 뒤 자율 실행으로 넘깁니다. 익명의 AI 디렉터는 모든 단계에 사람을 두면 효율 이득이 사라진다고 말합니다.

통념과 보고서의 판단 비교

저자가 든 사례

Cummins: 공급망 지식 지도로 구매 순서를 바꾸는 에이전트

상황	한 일	결과	연결
데이터 시스템이 많이 흩어진 산업 기업. 발주·재무 보고는 높은 정확도가 필요	기존 데이터셋을 그래프로 잇는 digital core와 에이전트용 knowledge map 구축, 4~6회 human-in-the-loop 정렬	원자재 예측 질문에서 의존 부품 부족을 짚어 구매 순서를 추천. 정량 결과는 보고서에서 밝히지 않음	Knowledge Layer, By-the-way Insight, Error Tolerance

Gilead Sciences: OSINT를 더한 그래프로 위조 유통망 규명

상황	한 일	결과	연결
데이터 사일로와 평균 속에 숨은 청구 부정, 계속 바뀌는 버너 약국	데이터 정제·통합, 지식 그래프에 OSINT 추가, 에이전트로 1~2 hop 탐색	이상 탐지를 넘어 유통망 전체, 주범, 작동 방식, 중심 거점을 규명. 정량 결과는 보고서에서 밝히지 않음	Multi-hop Context

두 사례의 상황 → 한 일 → 결과 (정량 결과는 보고서에 없음)

기술 디테일: 공급망 knowledge map을 직접 만든다면

아래 그래프 구조, 쿼리, JSON, 기준치는 실행 제안이며 Cummins나 Gilead가 밝힌 구현이 아닙니다.

Knowledge map을 만들려면 질문 하나에 걸리는 엔터티부터 정합니다. 구매 질문이라면 RawMaterial, Component, Product, Supplier, Plant, PurchaseOrder 여섯 개면 시작할 수 있습니다. 관계는 (Component)-[:CONSUMES {qty_per_unit}]->(RawMaterial), (Product)-[:USES]->(Component), (Component)-[:SUPPLIED_BY]->(Supplier)처럼 방향과 수량 속성을 함께 둡니다. 각 노드에는 원천 시스템 키(source_system, source_id)와 마지막 갱신 시각을 남깁니다. 보고서에서 우선 투자 1위로 꼽힌 자동 적재 파이프라인(54%)이 이 갱신을 맡습니다. 재고와 입고 예정은 하루 한 번 이상 다시 읽어야 부족 판단이 틀리지 않습니다.

By-the-way 경고를 돌리려면 에이전트가 사용자 질문과 별개로 의존 관계를 한 번 더 조회하게 합니다. LLM은 질문을 해석해 대상 엔터티를 고릅니다. 부족 판단은 그래프 쿼리가 숫자로 합니다.

MATCH (rm:RawMaterial {id: $rm_id})<-[c:CONSUMES]-(cp:Component)
WHERE cp.on_hand_days < cp.safety_days
RETURN cp.id, cp.on_hand_days, cp.safety_days, c.qty_per_unit
ORDER BY cp.on_hand_days ASC LIMIT 5

답은 자유 문장이 아니라 정해진 필드로 받습니다. temperature는 0으로 두고 같은 질문을 3회 돌려 추천 순서가 바뀌면 사람 검토로 넘깁니다.

{
  "question_entity": "RM-X",
  "forecast": {"horizon_weeks": 12, "qty": 4200, "unit": "kg"},
  "by_the_way": [{
    "entity": "CMP-Y",
    "issue": "on_hand_days 6 < safety_days 14",
    "evidence_path": ["RM-X", "CONSUMES", "CMP-Y"],
    "action": "CMP-Y 발주를 RM-X보다 먼저",
    "confidence": 0.82
  }],
  "needs_human_review": true
}

업무별 오차 기준을 적용하려면 그림자 사이클마다 에이전트 안과 사람 결정을 한 줄씩 기록합니다. 필드는 cycle_no, process(발주·예측·재무), agent_value, human_value, abs_diff_pct, reason_code입니다. 기준치는 업무마다 따로 둡니다. 예를 들어 발주는 수량 차이 ±2% 이내가 95% 이상일 때만 자율 실행 후보가 됩니다. 예측은 MAPE 차이 3%p 이내를 기준으로 삼습니다. 재무 보고는 자동 실행 없이 초안 작성까지만 맡깁니다(모두 가상 예시).

Multi-hop 탐색을 돌리려면 외부 정보도 근거와 함께 넣습니다. OSINT로 찾은 관계에는 evidence_url, checked_at, analyst_id를 붙여 나중에 감사할 수 있게 합니다. 탐색 깊이는 2 hop으로 묶습니다. 더 깊이 가면 거의 모든 엔터티가 연결돼 경고가 의미를 잃습니다. 에이전트가 제시한 후보는 조사관이 확정할 때까지 ‘의심’으로만 표시합니다.

직접 만든다면: 구성요소별 처리와 지표 (실행 제안, 가상 예시)

막히는 경우	증상	대응
시스템마다 부품 코드가 다름	같은 부품이 노드 두 개로 생김	코드 매핑 표를 먼저 만들고 중복 노드를 주 1회 점검
재고 데이터가 늦게 들어옴	이미 해소된 부족을 경고	노드별 `updated_at`이 24시간 넘으면 경고에서 제외하고 표시
경고가 너무 많음	구매 담당자가 알림을 무시	상위 5건만 보여 주고 무시된 경고의 사유를 받아 기준 조정
그림자 사이클 일치율이 안 오름	같은 유형의 불일치 반복	`reason_code`별로 모아 빠진 관계나 규칙을 지식 지도에 추가

평가는 익명의 AI 디렉터가 든 지표를 그대로 쓸 수 있습니다. 채택률과 재사용, 검색·분석 시간 감소, 검토된 테스트셋 대비 정확도, 사람에게 넘긴 비율, 사용자 수정 건수, 완료율입니다.

현업 실행 디테일: 누가, 언제, 무엇을

역할	맡는 일
공급망 기획 리더	스폰서, 대상 부품 범위와 판정 기준 승인
구매 담당자 2명	그림자 사이클에서 실제 결정, 불일치 사유 기록
데이터 모델러	용어·엔터티·관계 정의, 코드 매핑 표 관리
데이터 엔지니어	ERP·MES·WMS 데이터를 그래프로 적재, 갱신 파이프라인
AI 엔지니어	에이전트 질의 흐름, 구조화 출력, 3회 반복 점검
재무·내부통제	업무별 오차 허용치 확정, 자율 실행 범위 승인

준비물. 대상 부품 50개의 BOM(자재 명세), 최근 12개월 발주·입고 이력, 현재 재고와 안전재고 기준, 공급사 목록, 부서별로 쓰는 용어 목록(예: ‘가용 재고’의 정의)이 필요합니다.

부품 50개 범위 8주 시범 일정 (가상 예시)

현업에 물을 것.

원자재 예측을 볼 때 함께 확인하는 부품이나 제품은 무엇이고 그 연결을 지금 어디서 찾나요?
같은 부품을 부서마다 다른 코드나 이름으로 부르는 경우가 있나요?
발주 수량이 몇 % 틀리면 문제가 되나요? 예측과 재무 보고는 어떤가요?
지난 1년 부족 사태 중 미리 알았다면 막을 수 있었던 건은 무엇인가요?

진행 판정 기준(예시). 4회 그림자 사이클을 마쳤을 때 세 조건을 채우면 범위를 넓힙니다. 발주 수량 일치율이 95% 이상, 구매 담당자가 맞다고 확인한 추가 경고가 2건 이상, 데이터 지연으로 인한 오경고가 0건이어야 합니다. 하나라도 못 채우면 불일치 사유를 지식 지도에 반영하고 2회를 더 돌립니다.

AX 적용 제언. 국내 제조사라면 에이전트 플랫폼을 먼저 고르기보다 ‘한 질문에 여러 시스템이 걸리는 업무’ 하나를 골라 knowledge map부터 만드는 편이 낫습니다. 구매·생산계획처럼 BOM으로 관계가 이미 정해진 업무가 출발점으로 좋습니다. 보고서에서 우선 투자 항목이 적재 파이프라인과 API에 몰린 것을 보면, 예산도 모델보다 데이터 연결에 먼저 둘 만합니다. 경영진 보고에는 운영 전환율과 업무별 오차 허용치를 함께 올립니다. 재무 보고처럼 허용치가 0인 업무는 초안 작성까지만 맡깁니다. 발주처럼 허용치가 낮은 업무는 그림자 사이클 결과를 보고 자율 범위를 정합니다. 부정 탐지나 협력사 리스크처럼 ‘숨은 연결’이 핵심인 업무에는 Gilead식 multi-hop 탐색을 두 번째 과제로 붙입니다.

원문 사례

항목	내용
글	Neo4j 블로그, Sudhir Hasbe. MIT Technology Review Insights 보고서 소개
보고서	「Connecting AI agents to enterprise knowledge」, MIT Technology Review Insights, Neo4j 후원, 2026년 10월
조사	2026년 6~7월, 데이터·기술 임원 300명, 9개 업종, 매출 5억 달러 이상(38%는 100억 달러 초과), 심층 인터뷰 병행
운영 전환율	평균 34%, 선도 기업(13%) 61%, 후발 기업 30%. IT 42%, 유통 38%, 금융 37%, 자동차 34%, 제조 30%, 헬스케어·생명과학 27%, 소비재 26%
실패 지점	레거시 연동 55%, 보안·개인정보 53%, 지식·맥락 부족 46%(헬스케어 61%, 선도 기업 28%), 감사 추적 44%, 환각 42%, 데이터 누락·오류 38%
지식 ‘아주 강함’	semantic 62% 대 21%, episodic 21% 대 9%, procedural 38% 대 30% (선도 대 후발, 보고서 그림)
우선 투자	자동 적재 파이프라인 54%, AI용 API 50%, RAG 37%, 평가 에이전트 37%, 지식 그래프 35%
Cummins	Jim Jacob. digital core와 knowledge map, 4~6회 human-in-the-loop, 정확도 100% 요구 기업의 성공률 20% 이하 추정
Gilead Sciences	Thomas Luu. 데이터 정제·통합, 지식 그래프와 OSINT, 1~2 hop 탐색으로 위조 유통망 규명
기타 발언자	Sanjeev Mohan(SanjMo), 엔터테인먼트 업계 익명 AI 디렉터

핵심 개념

production leaders: 보고서가 나눈 상위 13% 기업. 에이전트 과제의 평균 61%를 운영까지 올립니다.
digital core: Cummins가 기존 데이터셋을 그래프로 이어 맥락을 한곳에 모은 기반입니다.
knowledge map: 흩어진 시스템의 공통 데이터를 에이전트가 한 화면처럼 보게 하는 지식 지도입니다.
OSINT: Open Source Intelligence. 공개된 출처에서 모은 정보로, Gilead는 이를 지식 그래프에 더합니다.
hop: 그래프에서 관계 하나를 건너는 단위. 2 hop이면 중간에 엔터티 하나를 거친 연결입니다.
AI evaluation agent: 다른 에이전트의 검색이 엉뚱하거나 틀렸는지, 지식에 빈 곳이 있는지 찾아내는 평가용 에이전트입니다.

내 메모

TODO: 내 생각 추가

원문은 Neo4j 블로그의 「MIT Technology Review Insights research explains why 13% of companies have a 61% AI success rate」(Sudhir Hasbe)이며, 이 노트의 수치와 사례는 그 글이 소개한 MIT Technology Review Insights 보고서 「Connecting AI agents to enterprise knowledge」(2026년 10월, Neo4j 후원)에서 확인했습니다. 지식 유형별 선도·후발 비교 수치는 보고서 그림의 값입니다. 요약, 핵심 메커니즘의 보고서 내용, 통념과 다른 주장, 사례, 원문 사례 표는 보고서와 인터뷰 내용을 AX Review가 다시 정리했습니다. Jacob은 보고서에서 “Investing time getting that foundation right is a very important step”이라고 말합니다. 기술·현업 실행 디테일, 그래프 구조, 쿼리, JSON 예시, 기준치, 일정, 인포그래픽은 원문에 없는 내용으로 새로 작성했고 그 안의 필드명과 숫자는 가상 예시입니다. 전체 내용은 원문과 보고서에서 볼 수 있습니다.