AX Enablement

More AI Power, More Explainability: 모델이 강해질수록 설명도 두꺼워지게 만드는 설계 원칙

성능이 좋은 공급망 AI일수록 이유를 대기 어렵다는 통념을 SHAP·LIME의 실패 모드와 최근 연구로 반박하고, 모든 엔진이 계산하는 순간 같은 근거 스키마에 쓰게 하라는 원칙을 제시한 글. 플랫폼을 고를 때 돌릴 재현성·섭동 테스트와 2주 평가 일정을 붙였습니다.

출처
EcoComityChain.AI 엔지니어링 블로그
원문 제목
More AI Power Should Mean More Explainability, Not Less
유형
아티클
읽은 날
2026.10.27
원문 발행
2026.06.01

공급망 위험 AI가 강해질수록 이유를 대기 어려워진다는 말은 AI의 본성이 아니라 설명을 점수가 나온 뒤에 붙이는 설계에서 나옵니다. 모든 엔진이 계산하는 순간 같은 형식으로 근거를 적게 하면 GNN 같은 모델을 더할 때 설명도 함께 두꺼워집니다. 플랫폼을 고를 때는 '모델을 더하면 설명이 어떻게 되나'를 먼저 묻고 재현성과 섭동 테스트로 직접 확인합니다.

요약

공급망 위험 분석 플랫폼을 만드는 EcoComityChain.AI가 2026년 6월 블로그에 올린 글로, 「The Signal and the Proof」 연재 5편 중 3편입니다. 출발점은 AI 위험 플랫폼을 평가하는 공급망 팀이 흔히 듣는 설명입니다. 정교한 머신러닝일수록 복잡한 위험 패턴을 잘 잡지만 점수 하나하나의 이유를 대기는 어렵고 그 불투명함은 고급 AI를 쓰는 대가라는 것입니다. 저자는 이 교환 관계가 지난 3년 동안의 연구로 틀린 것으로 드러났다고 봅니다. 그리고 설명을 만드는 방식을 두 갈래로 나눕니다. 점수가 나온 뒤 SHAP·LIME 같은 도구로 모델이 무엇을 봤을지 추정하는 post-hoc(사후) 설명과, 계산하는 순간 근거가 남도록 구조를 짜는 intrinsic(내재적) 설명입니다.

흔히 듣는 설명저자의 관점· 정교한 모델일수록 복잡한 위험을 잡음· 대신 점수 하나의 이유는 대기 어려움· 불투명함은 고급 AI의 대가· 교환 관계는 설계 선택의 결과· 설명을 점수 뒤에 붙이면 생김· 계산 중 기록하면 근거가 늘어남
출발점. 저자는 성능과 설명의 교환 관계를 AI의 한계가 아니라 아키텍처 선택의 결과로 봅니다.

근거로는 세 묶음의 연구를 듭니다. 2025년 explanation multiplicity(설명 다중성) 연구는 SHAP 값이 모델의 작은 변화에도 크게 흔들리고 이것이 구현을 잘해도 고쳐지지 않는 성질이라고 봤습니다. Cambridge Supply Chain AI Lab은 2024년 리뷰와 2025년 후속 연구에서 공급망 AI 대부분이 설명을 거의 내놓지 못한다고 정리했습니다. 대안 쪽 사례는 Northeastern University 연구진이 2026년 3월 arXiv에 낸 연구입니다. 추론하는 동안 모델 내부의 근거를 잡아 설명 서술을 그 근거 안에 묶었고 6개월치 물류 데이터에서 서술과 통계 근거의 방향이 99.6% 일치했습니다. 저자가 내리는 결론은 이렇습니다. 파이프라인의 모든 엔진이 엔진 종류와 상관없는 하나의 근거 스키마에 쓰면 더 강한 모델을 더할 때 불투명함이 아니라 근거가 늘어납니다. 아래에서는 이 주장의 메커니즘을 풀고 플랫폼을 평가하거나 직접 만들 때 확인할 방법을 정리합니다.

근거 1사후 설명은 흔들림2025 multiplicity 연구근거 2공급망 AI 설명 부족Cambridge 2024·2025대안계산 중 근거 포착방향 일치 99.6%원칙엔진 무관 근거 스키마모델↑ = 근거↑
글의 흐름. 두 묶음의 근거와 하나의 대안 연구로 설계 원칙을 끌어냅니다.

핵심 메커니즘

Post-hoc vs Intrinsic: 설명을 나중에 추정하나, 계산하며 기록하나

post-hoc 설명은 모델이 점수를 낸 뒤 별도 과정이 ‘모델이 무엇에 무게를 뒀을까’를 근사하는 방식입니다. 입력을 조금씩 바꿔 가며 점수가 어떻게 변하는지 보고 단순한 surrogate model(대리 모델)을 맞춰 요인별 영향을 추정합니다. 그래서 설명은 기록이 아니라 재구성입니다. intrinsic 설명은 모델을 만들기 전에 근거를 남기는 구조부터 정합니다. 계산 단계마다 어떤 신호가 어떤 기준을 넘었고 어느 방향으로 얼마나 작용했는지 적어 두기 때문에 나중에 근사할 대상이 없습니다.

저자는 이 차이에서 두 결과가 갈린다고 설명합니다. post-hoc 설명은 모델이 복잡해질수록 충실도가 떨어지고 같은 입력에도 다른 설명이 나올 수 있습니다. intrinsic 설명은 충실도가 떨어지지 않고 같은 입력이면 늘 같은 감사 추적이 나옵니다. 모델을 개발하면서 어떤 변수가 대체로 중요한지 훑어볼 때는 post-hoc 도구도 쓸모가 있습니다. 개별 점수 하나를 감사인이나 고객에게 증거로 내야 하는 운영 시스템에는 intrinsic 방식이 맞습니다.

작은 예시(가상)로 보면 차이가 분명합니다. 협력사 신용 위험 점수가 0.72로 나왔을 때 post-hoc 방식은 ‘부채비율이 가장 크게 기여했을 가능성이 높다’고 추정합니다. intrinsic 방식은 ‘부채비율 2.4가 기준 2.0을 넘어 위험 증가 방향, 가중치 0.3’이라는 계산 기록을 그대로 보여 줍니다.

post-hoc나중에 추정intrinsic계산하며 기록입력협력사 데이터모델 계산근거는 남지 않음점수0.72사후 추정대리 모델로 근사입력협력사 데이터모델 계산단계마다 근거 기록점수 + 근거같은 순간 생성감사 추적그대로 제출같은 점수를 두고, 위는 이유를 다시 만들고 아래는 계산 기록을 그대로 씁니다
두 갈래의 설명 방식. 점수 0.72는 가상 예시입니다.

SHAP·LIME의 세 가지 실패 모드: 왜 사후 설명은 증거가 되지 못하나

첫째는 모델 변화에 따른 불안정입니다. 성능이 거의 같은 모델 여러 개가 서로 다른 변수 중요도 순위를 낼 수 있고 모델을 조금만 바꿔도 SHAP 값이 크게 움직입니다. 저자가 인용한 2025년 연구(International Journal of Machine Learning Research)는 이 불안정이 방법 자체의 성질이고 확신도가 높은 예측에서도 남는다고 봤습니다. 값의 크기만 보는 안정성 지표로는 어떤 요인이 몇 위로 꼽혔는지 바뀐 것을 놓칠 수 있다는 점도 짚었습니다.

둘째는 실행마다 다른 결과입니다. Kernel SHAP은 무작위 표본으로 요인 영향을 근사합니다. 같은 입력을 두 번 돌리면 다른 설명이 나올 수 있고 같은 날 같은 협력사 점수를 조회한 두 분석가가 서로 다른 이유를 받을 수도 있습니다. 저자는 이것을 설정 문제가 아니라 방법의 본래 성질로 봅니다.

셋째는 국소 충실도의 한계입니다. SHAP·LIME이 맞추는 대리 모델은 한 예측 주변의 결정 경계를 직선으로 근사합니다. 그래프 기반 공급망 위험처럼 경계가 비선형이면 대리 모델이 실제 계산을 잘못 보여 줘도 출력에는 아무 표시가 나지 않습니다. 세 약점은 한곳으로 모입니다. 결과물이 결정의 증거가 아니라 ‘모델이 무엇에 무게를 뒀을 수도 있는지’를 추정한 값이라는 점입니다.

무엇이 바뀌면무슨 일이결과multiplicity모델이 조금 바뀌면SHAP 값·순위가 흔들림방법 자체의 성질Kernel SHAP같은 입력을 다시 돌리면무작위 표본이 달라짐분석가마다 다른 이유국소 충실도한 예측 주변을직선으로 근사비선형 경계에서 왜곡
post-hoc 설명의 세 가지 실패 모드. 셋 다 결과가 증거가 아니라 추정이 되는 이유입니다.

GNN과 message passing: 그래프 모델이 문제를 키우는 이유

GNN(Graph Neural Network, 그래프 신경망)은 노드가 이웃 노드와 정보를 주고받는 message passing으로 점수를 냅니다. 협력사가 여러 단계로 얽힌 공급망에 잘 맞는 모델입니다. 저자는 바로 그 구조 때문에 사후 설명이 더 어려워진다고 봅니다. 한 협력사의 점수에는 연결된 여러 노드와 경로의 영향이 섞여 있고 attention(주의 가중치)이 그 영향을 경로마다 나눠 싣습니다. 사후 도구로는 이 분배를 되찾기 어렵습니다.

더 큰 문제는 흔히 쓰는 GNN 설명 기법이 예측을 바꾸지 않는 작은 구조 변화에도 크게 흔들린다는 연구 결과입니다. 점수는 그대로인데 설명만 바뀌면 저자의 표현으로 그 설명은 감사 추적이 아니라 잡음입니다. Cambridge Supply Chain AI Lab(Kosasih, Papadakis, Baryannis, Brintrup)의 연구도 같은 방향을 가리킵니다. 저자는 이를 근거로 공급망 지식 그래프에서 추론한 연결의 인과를 표준 GNN 방식으로 해석하기 어렵고 설명 가능한 위험 AI는 설계부터 달라야 한다고 결론짓습니다.

원래 그래프대상ABCDE점수 0.70 · 설명: A 경로가 가장 큼간선 하나 바꾼 그래프대상ABCDE점수 0.70 · 설명: C 경로가 가장 큼
GNN 설명의 섭동 민감성. 예측에 영향 없는 작은 구조 변화에도 설명이 바뀌는 상황을 그린 가상 예시입니다.

Evidence Capture: 예측하는 순간 근거를 잡아 서술을 묶는 방식

모델이 예측하는 forward pass(순전파, 입력이 모델을 한 번 통과하는 계산) 안에서 근거를 잡아 두고 LLM이 설명 글을 쓸 때 그 근거만 쓰게 하는 방식입니다. 블로그에 따르면 Northeastern 연구진(Xue, Wang, Huo)은 공급망 위험 예측용 Temporal Graph Attention Network(시간 흐름을 반영하는 그래프 attention 모델)에 구조화된 추론 모듈을 붙였습니다. 예측하는 동안 요인 중요도와 이웃 노드별 attention 영향을 기록했고 위험 서술은 이렇게 검증할 수 있는 모델 출력만 근거로 쓰게 했습니다.

논문(arXiv:2603.04818)을 보면 구체적인 모습이 더 드러납니다. 대상은 2023년 1~6월 로스앤젤레스·롱비치 항만 일대의 선박 위치 신호(AIS)입니다. 약 11km 크기의 격자 칸마다 다음 날 저속 선박 비율이 오를지를 예측합니다. 노드마다 z-score 기준 상위 5개 요인과 그 방향, attention 기준 상위 2개 이웃을 근거 기록으로 남기고 GPT-4o-mini가 이 기록만 보고 정해진 JSON 형식의 위험 보고서를 씁니다. 블로그가 전한 99.6%는 논문 기준으로 보고서 100건에 담긴 요인 판단 500개 가운데 498개가 근거 기록의 방향과 맞았다는 수치입니다. LLM이 위험 설명문을 쓰는 곳이라면 어디든 같은 방식을 씁니다. 원 데이터를 주고 이유를 묻지 않고 모델이 계산하며 남긴 근거를 주어 문장으로 옮기게 합니다.

예측TGAT forward pass격자 칸별 위험 확률근거 기록상위 5개 요인·방향상위 2개 이웃서술LLM은 기록만 봄JSON 보고서검증방향 일치498 / 500
Northeastern 연구의 흐름. 블로그가 전한 99.6%는 판단 500개 중 498개가 근거 방향과 맞았다는 뜻입니다(논문 기준).

Engine-agnostic Evidence Schema: 어떤 엔진이든 같은 형식으로 쓰는 근거 기록

저자가 내세우는 설계 원칙입니다. 점수 파이프라인의 모든 구성 요소가 같은 구조의 근거 스키마에 씁니다. 규칙 기반 점수 알고리즘도, 결정론적 임계값 비교도, GNN attention 계산도 마찬가지입니다. 저자는 이 원칙을 “More intelligence should produce more evidence.”라는 한 문장으로 요약합니다. 엔진은 계산하는 순간 공유 accumulator(근거를 차례로 쌓아 두는 공용 저장소)에 근거를 적고 설명 층은 어느 엔진이 어떤 단계를 적었는지 몰라도 전체를 합쳐 읽습니다.

구조는 두 층입니다. 아래층은 모델 수준에서 근거를 잡는 evidence capture layer(근거 포착 층)입니다. 위층은 그 근거로 사람이 읽는 감사 추적과 기계가 읽는 RAG(검색 증강 생성) 맥락을 함께 만드는 synthesis layer(종합 층)입니다. 더 강한 예측 모델을 더하면 같은 감사 추적에 근거 단계가 늘어날 뿐이고 설명 층을 다시 짤 일이 없습니다. 규칙 엔진 위에 머신러닝과 GNN을 단계적으로 얹어 갈 시스템에 맞는 구조입니다. 모델 하나로 끝나고 더 늘릴 계획이 없다면 스키마 설계에 드는 품이 더 클 수 있습니다. 공유 근거 객체의 필드와 엔진별 기록 방식은 같은 연재를 정리한 Cross-Cutting Context Objects 노트에 따로 있습니다.

규칙 기반 점수임계값 비교GNN attention새 예측 모델공통 근거 스키마 · accumulator계산하는 순간 같은 형식으로 쌓음종합 층 · 어느 엔진인지 몰라도 읽음감사 추적 (사람용)RAG 맥락 (기계용)
두 층 구조. 점선 상자처럼 새 모델이 들어와도 같은 스키마에 근거를 더할 뿐입니다.

평가 질문: 모델을 더하면 설명은 두꺼워지나, 얇아지나

저자가 플랫폼 구매자에게 권하는 확인 질문입니다. 연재 2편의 질문인 ‘이 점수가 틀렸다면 어떻게 알 수 있나’에 하나를 더합니다. GNN, 예측 층, 더 많은 신호 통합처럼 강한 모델을 더할 때 설명이 더 자세하고 충실해지는지, 아니면 만들기 어렵고 덜 믿을 만해지는지 묻는 질문입니다.

post-hoc 플랫폼은 모델이 바뀔 때마다 설명 도구를 다시 맞춰야 하고 앞의 실패 모드도 모델이 복잡할수록 커집니다. 그래서 이 질문에 답하기 어렵습니다. 엔진에 상관없는 근거 스키마를 갖춘 intrinsic 플랫폼은 같은 감사 추적에 근거 단계를 더한다고 바로 답합니다. 저자는 처음부터 이렇게 설계한 플랫폼이 조달팀, 컴플라이언스 담당, 이사회의 신뢰를 얻는다고 봅니다.

지금근거 단계 1근거 단계 2근거 단계 3post-hoc 플랫폼모델 추가· 설명 도구를 다시 맞춤· 근사할 대상이 복잡해짐· 실패 모드도 커짐설명은 더 어려워짐intrinsic 플랫폼모델 추가근거 단계 1근거 단계 2근거 단계 3근거 단계 4 (새 모델)근거 단계 5 (새 모델)같은 추적에 단계가 늘어남
개념도. 저자가 권하는 평가 질문, 모델을 더하면 설명이 두꺼워지나 얇아지나를 그림으로 옮겼습니다.

통념과 다른 주장

흔히 이렇게 봅니다성능이 좋은 AI일수록 설명 가능성은 어느 정도 포기해야 한다.

저자는 이렇게 봅니다그 교환 관계는 설명을 점수 뒤에 붙이는 아키텍처를 고른 결과다. 근거를 계산 중에 쌓으면 모델이 강해질수록 근거도 늘어난다.

근거Northeastern 연구는 예측 중에 잡은 근거로 서술을 묶어 방향 일치 99.6%를 냈고 Cambridge 연구진은 신뢰 요건을 처음부터 설계에 넣으라고 권했습니다.

흔히 이렇게 봅니다SHAP·LIME 같은 표준 설명 도구를 붙이면 설명 요건은 채운 것이다.

저자는 이렇게 봅니다그 결과는 모델이 무엇에 무게를 뒀을지 근사한 값일 뿐, 결정이 어떻게 내려졌는지 보여 주는 증거가 아니다.

근거2025년 연구는 SHAP의 불안정을 방법 자체의 성질로 봤습니다. Kernel SHAP은 무작위 표본 때문에 실행마다 결과가 다르고, 대리 모델은 비선형 경계를 직선으로 근사합니다.

흔히 이렇게 봄저자는 이렇게 봄교환 관계성능↑면 설명↓설계 선택의 결과SHAP·LIME붙이면 설명 요건 충족근사치, 증거 아님
통념과 저자의 관점 요약.

저자가 든 사례

2025년 explanation multiplicity 연구

상황한 일결과연결
SHAP 설명을 감사 증거로 쓸 수 있는지가 문제성능이 비슷한 모델 사이의 설명 다중성을 분석불안정은 방법의 성질, 고확신 예측에서도 남음, 크기 기반 지표가 순위 변화를 가림. 수치는 원문에서 밝히지 않음SHAP·LIME 실패 모드
상황SHAP 설명을감사 증거로 쓸 수 있나한 일설명 multiplicity분석결과불안정은 방법의 성질고확신 예측도 동일
2025년 International Journal of Machine Learning Research 연구. 수치는 원문에서 밝히지 않음.

Cambridge Supply Chain AI Lab의 2024 리뷰와 2025 후속 연구

상황한 일결과연결
공급망 관리에 AI 도입이 더딤2024년 International Journal of Production Research 리뷰, 2025년 자동차·에너지 산업 데이터로 블랙박스 방식 검증대부분 설명이 거의 없고 도입의 큰 장벽, 블랙박스는 결정 과정·확신 정도·데이터 처리의 적절성을 설명하지 못함GNN과 message passing, 처음부터 설계에 넣는 원칙
상황공급망 AI도입이 막힘한 일2024 리뷰, 2025자동차·에너지 데이터 검증결과설명 거의 없음결정·확신·데이터 불명
Cambridge Supply Chain AI Lab 연구. 처음부터 신뢰 요건을 설계에 넣으라는 원칙으로 이어집니다.

Northeastern University 연구 (2026년 3월)

상황한 일결과연결
GNN 위험 예측의 이유를 LLM이 지어내지 않게 해야 함Temporal Graph Attention Network에 근거 기반 추론 모듈을 붙이고 forward pass에서 근거 포착6개월 실제 물류 데이터에서 서술과 통계 근거의 방향 일치 99.6%Evidence Capture, Engine-agnostic Evidence Schema
상황GNN 위험 예측의이유를 설명해야 함한 일forward pass 근거 포착서술을 근거에 묶음결과6개월 물류 데이터방향 일치 99.6%
Northeastern University 연구(2026년 3월, arXiv).

기술 디테일: 근거 스키마를 엔진 종류와 무관하게 만들려면

엔진이 달라도 공통 칸은 같게 둡니다 (Engine-agnostic Evidence Schema). 종합 층이 엔진을 몰라도 읽으려면 모든 근거 단계의 공통 칸을 똑같이 맞추고 엔진별 정보는 detail 안에만 둡니다. 아래는 임계값 비교 단계와 GNN attention 단계를 같은 형식에 담은 설계 예시입니다. 필드 이름과 값은 가상 예시입니다.

[
  {
    "step_id": "N-0412#03",
    "run_id": "2026-10-27T02:00Z",
    "node_id": "SUP-0412",
    "engine": "threshold_rules",
    "method": "threshold",
    "factor": "single_source_share",
    "value": 0.91,
    "reference": 0.80,
    "direction": "increases",
    "share": 0.22,
    "model_version": "rules-2.3",
    "captured_at": "compute",
    "detail": { "rule_id": "R-17" }
  },
  {
    "step_id": "N-0412#07",
    "run_id": "2026-10-27T02:00Z",
    "node_id": "SUP-0412",
    "engine": "gnn_risk",
    "method": "gnn_attention",
    "factor": "neighbor_influence",
    "value": 0.41,
    "reference": null,
    "direction": "increases",
    "share": 0.18,
    "model_version": "tgat-1.4",
    "captured_at": "forward_pass",
    "detail": { "kind": "attention_proxy", "neighbor_id": "SUP-0077", "neighbor_top_feature": "lead_time_z" }
  }
]

method는 rule, threshold, gnn_attention, predictive 중 하나로 제한합니다. 새 모델을 더할 때는 method 값 하나와 detail 형식만 정하면 되고 종합 층과 감사 문서 코드는 그대로 둡니다. captured_at은 이 근거가 계산 중에 잡혔는지 보여 주는 칸입니다. 사후 도구로 만든 값을 섞어야 한다면 posthoc으로 따로 표시해 감사 문서에서 구분합니다.

GNN attention은 forward pass에서 바로 꺼냅니다 (Evidence Capture). PyTorch Geometric의 GATConv는 return_attention_weights=True로 호출하면 간선별 attention 계수를 함께 돌려줍니다. 논문처럼 head별 값을 합친 뒤 softmax로 이웃별 비중을 만들고 상위 2~3개만 남깁니다. attention은 영향의 대리 지표이지 완전한 기여도 계산이 아닙니다. 논문도 이렇게 선을 긋고 있으니 detail.kind에 attention_proxy로 적어 두면 감사 문서와 LLM 서술이 의미를 부풀리지 않습니다. 요인 쪽은 같은 실행에서 노드 특성의 z-score 상위 5개와 방향을 함께 남깁니다.

LLM 서술은 구조화 출력과 코드 대조로 묶습니다 (Evidence Capture). LLM에는 근거 기록만 넘기고 원 데이터는 넘기지 않습니다. 출력은 JSON으로 고정하고 요인마다 factor, stated_direction, step_id를 받게 합니다. temperature는 0으로 두고 같은 근거로 3회 생성해 문장이 달라도 방향 판단이 같은지 봅니다. 생성이 끝나면 코드로 stated_direction과 근거 단계의 direction을 대조해 방향 일치율을 실행마다 지표로 남깁니다. 논문이 500개 판단 중 498개를 센 방식과 같습니다. 논문이 든 불일치 사례는 상관계수가 −0.017로 0에 가까운 요인이었습니다. 이런 요인은 LLM이 얼버무리기 쉬우므로 근거 단계에서 먼저 neutral로 표시하고 서술 대상에서 빼는 기준(예: |r| < 0.05)을 둡니다. 대조에서 하나라도 어긋나면 한 번 다시 생성하고 그래도 어긋나면 근거 단계를 그대로 나열한 템플릿 문장을 보여 줍니다.

근거만 전달원 데이터 대신근거 기록JSON 출력요인마다방향·step_id코드 대조stated_direction= direction ?지표·대체일치율 기록불일치면 재생성
서술 검증 흐름. 실행마다 방향 일치율을 지표로 남깁니다.

사후 설명을 쓰는 시스템이라면 세 가지를 먼저 잽니다 (SHAP·LIME 실패 모드, GNN과 message passing). 재현성은 같은 입력으로 Kernel SHAP을 시드를 바꿔 10회 돌리고 상위 5개 요인의 겹침(Jaccard)과 순위 상관(Kendall tau)을 봅니다. 시드를 고정하면 결과는 같아지지만 시드에 따라 이유가 달라진다면 그 이유는 시드에 기대고 있는 셈입니다. 모델 다중성은 학습 시드만 다르고 검증 성능 차이가 0.5%p 이내인 모델 3개로 같은 비교를 합니다. 섭동은 노드 50개를 골라 점수 변화가 0.01 미만인 간선 하나를 지우거나 더한 뒤, 설명의 1위 요인이 바뀌는 비율을 셉니다. 판정 예시로는 상위 5개 겹침이 평균 0.8 미만이거나 섭동 뒤 1위 요인이 10%를 넘게 바뀌면 그 설명을 감사 증거로 쓰지 않고 탐색용으로만 둡니다.

재현성같은 입력 10회상위 5개 겹침모델 다중성시드만 다른 모델 3개순위 상관섭동점수 불변 간선 변경노드 50개판정감사 증거로쓸지 결정
사후 설명을 쓰는 시스템의 점검 순서. 횟수와 개수는 예시입니다.

두 층의 출력을 따로 보관합니다 (Engine-agnostic Evidence Schema). 감사 추적은 실행 단위 JSON Lines로 묶어 변경할 수 없는 저장소에 두고 파일 머리에 run_id, 엔진별 model_version, 설정 해시를 붙입니다. RAG 맥락은 node_id와 run_id로 색인한 근거 요약 청크로 만들어 검색 저장소에 둡니다. 코파일럿 답에는 인용한 step_id를 붙여 답 한 줄에서 감사 추적의 해당 단계로 바로 갈 수 있게 합니다.

현업 실행 디테일: 누가, 언제, 무엇을

이 글이 가장 직접 쓰이는 곳은 위험 플랫폼을 고르는 평가 단계입니다. 아래는 벤더 2~3곳을 2주 동안 비교하는 설계 예시입니다.

역할누가맡는 일
업무 오너SCM 리스크 팀장평가용 질문과 협력사 샘플 확정, 최종 판정
평가 주관구매·조달 IT 담당벤더 일정 조율, 평가 시트 관리
기술 검증ML·데이터 엔지니어 1명재현성·섭동 테스트 설계와 실행
감사 관점컴플라이언스·내부감사 담당감사 리허설 진행, 보관 요건 확인
벤더 측솔루션 엔지니어같은 입력 반복 조회, 모델 추가 시연

시작 전에 모을 것은 네 가지입니다. 최근 분기 위험 점수 상위 10곳과 하위 10곳의 협력사 목록, 지난 1년간 현업·경영진·감사인에게서 실제로 받은 ‘왜 이 점수냐’ 질문 10~20건, 감사인이 요구하는 보관 항목, 벤더가 1년 안에 더하겠다고 밝힌 모델·신호 목록입니다.

1~2일3~5일6~8일9~10일11~12일질문·샘플 확정평가 시트재현성 테스트재현성 표섭동 테스트안정성 표모델 추가 시연전후 비교감사 리허설·판정판정 보고
2주 평가 일정 예시(영업일 기준). 칸 안은 산출물입니다.
기간할 일산출물
1~2일질문과 협력사 샘플 20곳 확정, 평가 시트 배포평가 시트
3~5일같은 협력사 점수를 날짜·사용자를 바꿔 10회 조회재현성 표
6~8일점수를 바꾸지 않는 데이터 변경 뒤 설명 비교안정성 표
9~10일새 모델이나 신호를 더한 전후의 감사 추적 비교전후 비교 화면
11~12일질문 10~20건으로 감사 리허설판정 보고

벤더에게 물을 질문.

  1. 설명은 점수를 계산하는 중에 기록됩니까, 점수가 나온 뒤에 만들어집니까?
  2. 같은 협력사 점수를 10번 조회하면 설명이 같습니까? 다르다면 왜입니까?
  3. 점수를 바꾸지 않는 작은 그래프 변화에 설명이 바뀝니까?
  4. 규칙 엔진과 GNN이 같은 근거 형식에 씁니까, 엔진마다 형식이 다릅니까?
  5. 새 모델을 더할 때 설명 층 코드를 고쳐야 합니까?
  6. 코파일럿 문장의 방향과 숫자가 근거와 맞는지 실행마다 측정합니까? 최근 수치는 얼마입니까?
  7. 이 점수가 틀렸다면 우리는 어떻게 알 수 있습니까?

진행 판정 기준 (예시). 같은 입력 10회 조회에서 설명이 모두 같고 섭동 테스트에서 1위 요인이 바뀐 비율이 10% 이하이며 모델을 더한 뒤 설명 층 변경 없이 근거 단계만 늘어난 것을 시연한 벤더를 다음 단계로 올립니다. 리허설 질문 10~20건 중 90% 이상을 감사 추적만으로 답해야 합니다.

AX 프로젝트에 쓸 때. 위험 플랫폼 RFP의 평가 항목에 ‘모델을 더하면 설명이 어떻게 되나’와 재현성 테스트를 넣는 데서 시작합니다. 데모 화면의 설명 패널만 보고 고르는 일을 막는 장치입니다. 직접 만드는 경우라면 규칙 엔진만 있는 첫 단계에서 근거 스키마를 정해 두는 것이 순서입니다. 그래야 나중에 GNN이나 예측 모델을 얹을 때 설명을 다시 만들지 않아도 됩니다. 관세 판정이나 공급망 실사처럼 감사가 따르는 결정부터 적용하고 연재 4편이 다룰 ISO 42001·CSRD·EUDR 같은 책임 요건 검토와 묶어 컴플라이언스 담당을 처음부터 스폰서로 세우면 좋습니다.

원문 사례

항목내용
글More AI Power Should Mean More Explainability, Not Less (EcoComityChain.AI 블로그, 2026년 6월), 연재 「The Signal and the Proof」 5편 중 3편
핵심 주장성능과 설명 가능성의 교환 관계는 설명을 점수 뒤에 붙이는 설계의 결과이며 계산 중 근거를 쌓으면 모델이 강할수록 근거가 늘어남
두 방식post-hoc(SHAP·LIME, 점수 뒤 재구성), intrinsic(계산 시점 기록, 같은 입력이면 같은 감사 추적)
실패 모드모델 변화에 따른 불안정(2025 explanation multiplicity 연구), Kernel SHAP의 실행별 차이, 대리 모델의 국소 충실도 한계
GNNmessage passing과 attention 분배를 사후 도구가 되찾기 어려움, 예측 불변 구조 변화에 설명이 흔들림
Cambridge 연구Kosasih·Papadakis·Baryannis·Brintrup. 2024 IJPR 리뷰(공급망 AI 대부분 설명 거의 없음), 2025 자동차·에너지 데이터 후속 연구
Northeastern 연구Xue·Wang·Huo, 2026년 3월 arXiv. Temporal Graph Attention Network와 근거 기반 추론 모듈, 6개월 물류 데이터, 방향 일치 99.6%
설계 원칙모든 엔진이 엔진 무관 근거 스키마에 계산 시점에 기록, 두 층(근거 포착 층, 종합 층 → 감사 추적·RAG 맥락)
평가 질문이 점수가 틀렸다면 어떻게 아나(2편), 모델을 더하면 설명이 충실해지나 어려워지나
다음 편거버넌스와 책임: ISO 42001, CSRD, EUDR

핵심 개념

SHAP
게임 이론의 Shapley 값으로 각 입력 요인이 예측에 얼마나 기여했는지 나눠 계산하는 사후 설명 기법.
LIME
한 예측 주변에서 입력을 흔들어 본 결과에 단순한 선형 모델을 맞춰 그 예측을 설명하는 기법.
Kernel SHAP
모델 종류와 상관없이 쓰도록 무작위 표본으로 SHAP 값을 근사하는 변형. 표본에 따라 결과가 달라집니다.
AIS
선박이 위치·속도·침로를 주기적으로 송출하는 자동 식별 신호. 항만 혼잡과 물류 흐름 분석에 쓰입니다.
방향 일치율
설명 문장이 말한 위험 방향(올림·내림)이 근거 기록의 방향과 같은 비율.

내 메모

TODO: 내 생각 추가

원문은 EcoComityChain.AI 블로그의 「More AI Power Should Mean More Explainability, Not Less」(2026년 6월)입니다. 요약, 메커니즘, 통념과 다른 주장, 사례는 저자가 언급한 내용을 AX Review가 다시 정리한 것이고 기술·현업 실행 디테일, JSON 설계 예시, 평가 질문 목록, 인포그래픽, 표는 새로 작성했습니다. Northeastern 연구의 데이터·근거 기록·측정 방식은 논문 「LLM-Grounded Explainable AI for Supply Chain Risk Early Warning via Temporal Graph Attention Networks」(arXiv:2603.04818)로 보강했습니다. 원문에서 인용 연구의 출처와 전체 논지를 볼 수 있습니다.

Related

함께 읽으면 좋은 노트

AX Enablement아티클

The Architecture Your Auditors Will Ask About: 공급망 AI 구매 평가의 통과 조건이 된 감사 추적 설계

EcoComityChain.AI 엔지니어링 블로그

공급망 AI 구매 평가에서 설명 가능성이 기술 평가 전의 통과 조건이 됐다는 글. ISO 42001·CSRD·EUDR·CSDDD가 공통으로 묻는 것과 벤더를 가르는 다섯 가지 설계 시험, 3주 평가 절차를 정리했습니다.

CIO·CTO법무현업 리더
#설명 가능성#감사 추적 2026.10.27 ↗
AX Strategy아티클

Can It Say Why: 이유를 대지 못하는 공급망 AI 점수로는 누구도 결정하지 못한다

EcoComityChain.AI 엔지니어링 블로그

공급망 위험 AI가 협력사를 '치명적'이라고 표시해도 이유를 대지 못하면 조달 담당은 믿고 움직이거나 미룰 수밖에 없다는 글. 벤더에게 '점수가 틀렸다면 어떻게 알 수 있나'를 묻는 평가법과 3주 시험 계획을 붙였습니다.

CFO현업 리더CIO·CTO
#설명 가능성#감사 추적 2026.10.27 ↗
AX Enablement아티클

Neurosymbolic Architecture: 공급망 위험은 그래프 계산이 정하고 LLM은 그 안에서만 말하게 한 이유

EcoComityChain.AI 엔지니어링 블로그

공급망 위험을 분류가 아니라 그래프 추론과 물리적 제약의 문제로 보고 지식 그래프와 결정론 엔진이 정답을 정하면 LLM·에이전트·GNN은 그 경계 안에서만 말하게 한 설계의 이유. 판단마다 계층을 나누는 6주 도입안을 붙였습니다.

CIO·CTOAX 추진현업 리더
#설명 가능성#지식 그래프 2026.10.27 ↗