Can It Say Why: 이유를 대지 못하는 공급망 AI 점수로는 누구도 결정하지 못한다
공급망 위험 AI가 협력사를 '치명적'이라고 표시해도 이유를 대지 못하면 조달 담당은 믿고 움직이거나 미룰 수밖에 없다는 글. 벤더에게 '점수가 틀렸다면 어떻게 알 수 있나'를 묻는 평가법과 3주 시험 계획을 붙였습니다.
공급망 위험 AI는 이미 조달 결정을 움직입니다. 그런데 점수의 이유를 대지 못하면 그 결정은 CFO 앞에서도, 이사회와 규제 실사에서도 버티지 못합니다. 플랫폼을 고를 때 먼저 볼 것은 신호의 개수보다 점수가 틀렸을 때 그걸 알아낼 수 있느냐이고, 그 답은 계산하는 순간 남긴 근거 기록에서 나옵니다.
요약
EcoComityChain.AI가 2026년 6월에 올린 글로, 설명 가능한 공급망 AI를 다루는 5편 연재 「The Signal and the Proof」의 2편입니다. 1편이 내부 설계를 다뤘다면 이 글은 그 설계가 왜 필요한지를 조달 현장과 경영진의 눈으로 봅니다. 위험 플랫폼이 한 산업재 기업의 2차(Tier 2) 부품 협력사를 ‘치명적’으로 표시합니다. 이 협력사는 조립품 세 개가 지나가는 유일한 경로입니다. 조달 리더는 2차 공급원 인증, 기존 공급사와의 협상, CPO 보고 가운데 하나를 골라야 합니다. 그 전에 CFO가 왜 치명적이냐고 묻습니다. 벤더는 위험 신호가 높게 잡혔다는 말 말고는 어떤 신호였는지, 가중치가 얼마였는지, 무엇이 바뀌면 점수가 내려가는지를 대지 못합니다. 조달 리더에게 남는 길은 점수를 믿고 움직이거나 미루는 것 둘뿐입니다. 저자는 업계에서 반복되는 경험이라고 말합니다.
저자는 이 문제를 업계가 이미 부르고 있다고 봅니다. ISM은 2024년 8월 회원들에게 블랙박스 AI를 경계하라고 권했습니다. 2025년에는 학술 논문과 Gartner, 업계 임원이 같은 문제를 짚었고 이사회도 움직였습니다. S&P 500 기업 가운데 중대한 AI 위험을 1건 이상 공시한 곳은 2023년 12%에서 2025년 72%로 늘었습니다. 공급망에서 이 문제가 특히 무거운 이유로 저자는 조달 비용, 이사회 공시, 규제 실사, 깊은 차수의 위험 네 가지를 듭니다. 처방은 벤더에게 던질 질문 하나로, 점수를 매긴 뒤 이유를 추정하는 플랫폼과 계산하는 순간 근거를 남기는 플랫폼이 이 질문 앞에서 갈린다고 봅니다. 아래에서는 이 주장의 뼈대를 정리한 뒤 그 질문을 실제 벤더 평가 시험으로 바꾸는 방법을 덧붙입니다.
핵심 메커니즘
Accountability Gap: 점수와 결정 사이에 생기는 설명 공백
무엇인가. AI의 판단과 사람이 내릴 결정 사이에 이유가 비어 있는 상태입니다. 점수는 있는데 아무도 변호하지 못합니다.
어떻게 작동하나. 위험 점수가 들어오면 조달 리더는 비용이 드는 조치 하나를 골라야 합니다. 그 전에 재무가 근거를 묻습니다. 이때 필요한 답은 세 가지입니다. 어떤 신호가 점수를 올렸는지, 비중이 얼마였는지, 무엇이 바뀌면 점수가 내려가는지입니다. 하나라도 비면 결정은 두 갈래로 끝납니다. 점수를 믿고 실행하면 나중에 문제가 생겼을 때 방어할 근거가 없습니다. 미루면 신호와 대응 사이가 벌어지고 그동안 위험이 커집니다.
언제 문제가 되나. 점수가 비용이 큰 조치로 이어지고 그 조치를 CFO, CPO, 이사회에 설명해야 할 때입니다.
작은 예시 (가상). 협력사 위험 점수가 0.82로 올라 이중 소싱 예산 3억 원을 올리는데 품의서 사유 칸에 ‘플랫폼 위험 등급 상향’만 적을 수 있다면, 결재 라인에서 같은 질문이 되돌아옵니다.
네 가지 압력: 공급망 점수에 설명이 따로 필요한 이유
무엇인가. 공급망 위험에서 설명 가능성이 특히 무거운 이유로 저자가 든 네 가지입니다.
어떻게 작동하나. 첫째는 조달 실행입니다. 이중 소싱 인증, 재고 확충, 계약 재구성, 공급사 에스컬레이션에는 실제 돈이 듭니다. 틀린 점수는 쓸데없는 조치를 부르거나 필요한 조치를 차질이 터질 때까지 늦춥니다. 둘째는 이사회 공시입니다. 공급망 회복력을 거버넌스 기능으로 공시하는 기업에는 그 공시를 받칠 기록이 있어야 합니다. 이유 없는 점수는 주장에 그칩니다. 셋째는 규제 실사입니다. 저자는 CSRD, EUDR, CSDDD가 가치사슬 전반의 실사를 문서로 보여 주라고 요구한다고 정리합니다. 감사 추적이 없는 AI는 그 출처(provenance)를 댈 수 없다고 봅니다. 넷째는 깊은 차수의 위험으로, 다음 개념에서 따로 다룹니다.
언제 쓰나. 설명 기능에 예산을 쓸지 정할 때 네 가지 가운데 우리 회사에 해당하는 것을 세어 보면 우선순위가 나옵니다. 규제별 세부 요건은 규제 문서에서 따로 확인합니다.
Signal과 Proof: 깊은 차수의 신호는 증거가 붙어야 값이 생긴다
무엇인가. 연재 제목의 두 단어입니다. signal은 플랫폼이 잡은 위험 징후, proof는 그 징후가 왜 위험인지를 따라갈 수 있는 이유의 사슬입니다. 저자는 둘 사이의 간격이 deep-tier(깊은 차수 공급망) 분석의 가치를 정한다고 봅니다.
어떻게 작동하나. 깊은 차수의 결과는 1차 협력사만 보던 팀의 직관과 자주 어긋납니다. 원문 예로는 7차 희토류 광석 공급사가 연간 조달액이 세 배인 1차 조립 협력사보다 위험하게 나올 수 있습니다. 조립품 세 개의 유일한 경로인 6차 소재 노드가 구조적 단일 실패점으로 표시되기도 합니다. 이런 결과에 등급이나 분류 이름만 붙어 있으면 엔지니어링, 재무, 이사회 어디에도 들고 갈 수 없습니다. 저자는 증명되지 않은 신호를 소음에 빗댑니다.
언제 쓰나. 차수가 깊고 결과가 직관과 반대일수록 proof를 더 엄격히 요구합니다. 1차 협력사의 납기 지연처럼 이미 아는 위험은 간단한 근거로 충분합니다.
Post-hoc Explanation과 계산 시점 기록: 두 가지 설명 아키텍처
무엇인가. post-hoc explanation(사후 설명)은 모델이 점수를 낸 뒤 설명 기법으로 영향 요인을 추정하는 방식입니다. 계산 시점 기록은 점수에 기여하는 계산 하나하나가 돌아가는 순간 구조화된 근거 기록을 남겨 점수의 감사 추적에 영구히 보관하는 방식입니다.
어떻게 작동하나. 사후 설명은 바깥에서 추론을 다시 짜 맞춥니다. 실제로 계산한 것이 아니라 그랬을 법한 요인을 보여 줄 뿐, 원래의 추론 맥락은 남아 있지 않습니다. 계산 시점 기록은 남겨 둔 이유를 꺼내 보입니다. 저자에 따르면 이사회 검토, 컴플라이언스 감사, 조달 반박을 견디는 쪽은 뒤의 것뿐이고 앞의 것은 감사 추적처럼 보이는 근사입니다. 기록의 설계는 연재 1편(Cross-Cutting Context Objects)이 다룹니다.
언제 쓰나. 이사회, 감사인, 규제 당국에 설명할 점수라면 계산 시점 기록이 기준입니다. 모델 개발 중 어떤 특성이 중요한지 감을 잡는 탐색 용도라면 사후 설명도 쓸모가 있습니다.
벤더 평가 질문: 점수가 틀렸다면 어떻게 알 수 있나
무엇인가. 저자가 플랫폼 평가 방식을 바꾼다고 제안하는 질문입니다. 원문 표현으로는 “If this risk score were wrong, how would we know?”입니다. 이어서 그 점수를 만든 추론 사슬 전체를 보여 달라고 요청합니다.
어떻게 작동하나. 저자는 대부분의 플랫폼이 비슷한 신호를 본다고 말합니다. 차이는 점수의 출처를 물었을 때 무엇을 내놓느냐에서 납니다. 나중에 추정한 주요 요인 목록이 돌아오면 사후 설명입니다. 무엇을 언제 계산했고 각 단계가 최종 점수에 얼마나 기여했는지를 담은 기록이 돌아오면 계산 시점 기록입니다. 저자는 이 기준이 지금 기술로 충분히 가능하고 분석 깊이를 양보할 필요도 없다고 말합니다. 다만 첫 점수 엔진을 만들기 전, 데이터 모델 단계에서 정해야 하는 설계 결정이라는 조건을 답니다.
언제 쓰나. 신규 도입 RFP, 갱신 협상, 내부 구축 설계 검토에 같은 질문을 씁니다.
통념과 다른 주장
흔히 이렇게 봅니다위험 플랫폼은 얼마나 많은 신호와 데이터 소스를 보느냐로 비교한다.
저자는 이렇게 봅니다대부분의 플랫폼은 비슷한 신호를 본다. 갈리는 지점은 점수가 어떻게 나왔느냐는 질문에 무엇을 내놓을 수 있느냐다.
근거첫 장면의 벤더는 위험 신호를 잡고도 그 신호와 가중치를 대지 못해 조달 결정을 막았습니다.
흔히 이렇게 봅니다설명 기능은 파이프라인을 다 만든 뒤 붙이면 된다. 설명을 늘리면 분석 깊이는 줄어든다.
저자는 이렇게 봅니다설명 가능성은 데이터 모델에 처음부터 들어가야 하는 설계 결정이다. 그렇게 하면 분석 깊이를 양보하지 않고도 지금 갖출 수 있다.
근거저자는 Gartner 2025 조사에서 공식 AI 전략을 갖춘 공급망 조직이 23%에 그쳤고 흔한 장애가 데이터 거버넌스 부족, AI 결과물의 책임 불명확, 설명 가능성 부족이었다고 전합니다. 저자는 이 셋을 조직의 층위만 다른 같은 문제로 봅니다.
저자가 든 사례
Tier 2 협력사 알림과 CFO의 질문
| 상황 | 한 일 | 결과 | 연결 |
|---|---|---|---|
| 산업재 기업의 위험 플랫폼이 조립품 세 개의 유일 경로인 2차 부품 협력사를 ‘치명적’으로 표시 | 조달 리더가 2차 공급원 인증·협상·CPO 보고를 검토하던 중 CFO가 이유를 물어 벤더에게 근거를 요청 | 벤더는 위험 신호 상승 외에 신호·가중치·변동 조건을 대지 못함. 조달 리더가 실제로 무엇을 했는지는 원문에서 밝히지 않음 | Accountability Gap |
이사회 안건이 된 AI 위험
| 상황 | 한 일 | 결과 | 연결 |
|---|---|---|---|
| AI가 기업 의사결정에 들어오면서 이사회의 감독 범위가 넓어짐 | The Conference Board와 ESGAUGE가 S&P 500 연차보고서의 AI 위험 공시를 집계(2025년 10월) | 중대한 AI 위험을 1건 이상 공시한 기업 비율 12%(2023년) → 72%(2025년), 산업재 기업 8곳 → 48곳 | 네 가지 압력(이사회 공시) |
공식 AI 전략을 갖춘 공급망 조직
| 상황 | 한 일 | 결과 | 연결 |
|---|---|---|---|
| 공급망 조직의 AI 도입이 전략 없이 진행됨 | Gartner가 2025 State of AI in Supply Chain 조사를 실시 | 공식 AI 전략 보유 23%. 흔한 장애는 데이터 거버넌스, 책임 불명확, 설명 가능성 부족 | 계산 시점 기록(처음부터 설계) |
기술 디테일: 벤더 평가 질문을 시험으로 바꾸려면
원문의 질문을 실제 평가에 쓰려고 새로 정리한 내용입니다.
근거 기록에 담겨야 할 필드를 RFP에 적어 둡니다 (계산 시점 기록). 원문의 기준은 무엇을 언제 계산했고 각 단계가 최종 점수에 얼마나 기여했느냐입니다. 벤더가 내보내야 할 필드로 바꾸면 다음과 같습니다(필드 이름은 예시).
{
"score_id": "SC-2026-10-0412",
"run_id": "2026-10-20T02:00Z-full",
"node_id": "SUP-T2-0188",
"tier": 2,
"computed_at": "2026-10-20T02:14:51Z",
"engine_version": "risk-3.4.1",
"config_hash": "sha256:9f1c…",
"score": 0.82,
"steps": [
{"seq": 1, "engine": "structure", "factor": "single_path_assemblies",
"signal_value": 3, "threshold": 2, "direction": "increases",
"contribution": 0.31, "source_refs": ["bom:ASM-11", "bom:ASM-14", "bom:ASM-20"]},
{"seq": 2, "engine": "financial", "factor": "payment_delay_days",
"signal_value": 41, "threshold": 30, "direction": "increases",
"contribution": 0.22, "source_refs": ["ap_ledger:2026Q3"]}
]
}steps[].contribution의 합은 score와 소수점 셋째 자리까지 같아야 합니다. config_hash는 그때의 가중치와 임계값 묶음을 가리킵니다. 두 조건이 없으면 아래 재현 시험을 돌릴 수 없습니다.
질문을 세 가지 시험으로 나눕니다 (벤더 평가 질문). 첫째는 재현 시험입니다. 지난달 점수 10건을 골라 그때의 run_id와 config_hash로 다시 계산하게 해서 점수가 소수점 셋째 자리까지 같은지 봅니다. 둘째는 반사실 시험으로, 첫 장면의 벤더가 대지 못한 “무엇이 바뀌면 점수가 내려가나”에 답하는 시험입니다. 기여도가 가장 큰 단계의 입력 하나를 바꿔(예: 대체 공급원 1곳 추가) 점수가 기록된 기여도만큼 같은 방향으로 움직이는지 봅니다. 셋째는 반복 요청 시험입니다. 같은 점수의 설명을 이틀 간격으로 두 번 요청합니다. 기록을 꺼내는 구조라면 두 응답이 바이트 단위로 같습니다. 샘플링을 쓰는 사후 근사 기법이면 상위 요인 순서가 흔들릴 수 있습니다. 상위 5개의 순서가 달라지면 사후 설명으로 판정합니다.
LLM 설명 문장이 붙어 있으면 숫자를 기록과 대조합니다 (계산 시점 기록). 벤더가 코파일럿 형태로 문장 설명을 함께 준다면 설명 문장 20건을 받아 값과 요인 이름을 정규식으로 뽑고, steps[]에 같은 값과 같은 요인이 있는지 봅니다. temperature 같은 생성 설정은 구매자가 정할 수 없으니 결과만 봅니다. 불일치가 1건이라도 나오면 감사 문서에는 기록 원본만 쓰기로 계약서에 적습니다.
벤더 데모 데이터가 아니라 우리 데이터로 시험합니다 (Signal과 Proof). BOM 23개 제품군, 공급사 마스터와 조달액, 지난 24개월의 실제 공급 차질 510건을 준비합니다. 각 사건 직전 시점의 데이터로 점수를 돌리게 해서 그때의 근거 기록에 실제 원인(예: 특정 지역 집중, 단일 경로)이 들어 있는지 봅니다.
현업 실행 디테일: 누가, 언제, 무엇을
다섯 역할로 평가 팀을 꾸립니다.
| 역할 | 누가 | 맡는 일 |
|---|---|---|
| 평가 오너 | 조달 리스크 리더 | 최근 1년 위험 알림 10건 선정, 최종 판정 |
| 질문 검증 | 재무(CFO 조직) 담당 1명 | CFO가 실제로 물을 질문 10건 작성 |
| 시험 실행 | IT 아키텍트 1~2명 | 재현·반사실·반복 요청 시험, LLM 문장 대조 |
| 실사 요건 | 컴플라이언스·법무 | CSRD·EUDR·CSDDD 대응 문서에 들어갈 항목 정리 |
| 현장 확인 | 설계·엔지니어링 | 단일 실패점 판단이 BOM 실제와 맞는지 확인 |
시작 전에 모을 것. 최근 1년 위험 알림 10건(조치한 것과 안 한 것을 섞어서)과 그때 경영진이 던진 질문, BOM과 공급사 마스터, 지난 24개월 공급 차질 기록, 실사 보고 양식입니다.
| 기간 | 할 일 | 산출물 |
|---|---|---|
| 1주 | 질문 10건과 세 가지 시험 설계, 벤더 2~3곳에 RFP 질문 발송 | 평가표, 필드 요구서 |
| 2주 | 벤더별 PoC: 우리 데이터로 점수 산출, 재현·반사실·반복 요청 시험 | 시험 결과표 |
| 3주 | CFO 리허설: 조달 리더가 근거 기록만 보고 질문 10건에 답함, 판정 회의 | 판정 보고서 |
벤더에게 보낼 질문.
- 이 점수가 틀렸다면 우리가 어떻게 알 수 있습니까? 지난달 점수 하나를 골라 추론 사슬 전체를 보여 주십시오.
- 그 기록은 계산할 때 남긴 것입니까, 요청받은 뒤 만든 것입니까?
- 같은 점수를 그때의 엔진 버전과 설정으로 다시 계산할 수 있습니까?
- 어떤 입력이 바뀌면 이 점수가 얼마나 내려갑니까?
- 감사 문서로 내보낼 때 원천 데이터 위치와 보관 기간이 들어갑니까?
- LLM 설명 문장이 근거 기록과 맞는지 어떻게 확인합니까?
진행 판정 기준 (예시). 재현 10건 중 10건 일치, 반사실 10건 중 8건 이상 방향 일치, 반복 요청에서 상위 요인 순서 동일, CFO 리허설에서 질문 10건 중 9건 이상을 근거 기록만으로 답하면 계약 협상으로 넘깁니다. 실사 문서의 필수 항목이 하나라도 빠지면 통과시키지 않습니다.
AX 프로젝트에 쓸 때. 공급망 위험 플랫폼을 새로 고르거나 갱신할 때는 평가표에서 신호 커버리지보다 이 세 가지 시험에 더 큰 가중치를 둡니다. 스폰서로는 CPO와 함께 CFO와 컴플라이언스를 세웁니다. 설명 공백에 막히는 쪽이 재무와 실사이기 때문입니다. 점수 엔진을 직접 만든다면 첫 엔진을 짜기 전에 위 필드 요구서를 내부 설계 기준으로 삼고 연재 1편의 근거 기록 설계를 함께 봅니다. 이미 쓰는 플랫폼이 있으면 지난 분기 알림 10건으로 CFO 리허설부터 해 봅니다. 설명 공백이 어느 결정에서 생기는지 2주 안에 드러납니다.
원문 사례
| 항목 | 내용 |
|---|---|
| 글 | Supply Chain AI Is Making Decisions. Can It Say Why? (EcoComityChain.AI, 2026년 6월, Proactive Resilience 분류) |
| 연재 | The Signal and the Proof 5편 중 2편. 1편 Cross-Cutting Context Objects, 3편 More AI Power Should Mean More Explainability, Not Less, 4편 The Architecture Your Auditors Will Ask About, 5편 Why We Built It This Way |
| 첫 장면 | 산업재 기업, 조립품 세 개의 유일 경로인 2차 부품 협력사가 ‘치명적’. CFO의 이유 질문에 벤더가 신호·가중치·변동 조건을 대지 못함 |
| 업계 인용 | ISM Inside Supply Management(2024년 8월), John Galt Solutions의 Matt Hoffman(2025년 9월), International Journal of Production Research 논문(2025년, 자동차·에너지 데이터), Gartner Supply Chain Planning Magic Quadrant 리뷰, Gartner 2025 Hype Cycle for Supply Chain Planning Technologies(XAI 추가), SUPERWISE의 Russ Blattner, ASCM의 Abe Eshkenazi(2025 CHAINge) |
| 이사회 수치 | 중대한 AI 위험 공시 S&P 500 기업 12%(2023) → 72%(2025), 산업재 8곳 → 48곳 (The Conference Board·ESGAUGE, 2025년 10월) |
| 네 가지 이유 | 조달 실행 비용, 이사회 공시 근거, 규제 실사(CSRD·EUDR·CSDDD), deep-tier 위험의 증거 |
| deep-tier 예 | 조달액 3배인 1차 조립 협력사보다 위험하게 나온 7차 희토류 광석 공급사, 조립품 세 개의 유일 경로인 6차 소재 노드 |
| 평가 질문 | 점수가 틀렸다면 어떻게 알 수 있나, 그 점수를 만든 추론 사슬 전체를 보여 줄 수 있나 |
| 두 아키텍처 | 사후 설명(점수 후 요인 추정) 대 계산 시점 기록(계산마다 근거 기록, 감사 추적에 영구 보관) |
| 전략 수치 | 공식 AI 전략 보유 공급망 조직 23% (Gartner 2025 State of AI in Supply Chain) |
| 다음 편 | AI가 복잡해질수록 사후 설명이 무너지는 이유, 예측 모델을 설명 가능한 플랫폼에 더하는 설계 |
핵심 개념
- Tier N 공급사
- 완제품 기업에서 몇 단계 떨어진 공급사인지를 나타내는 차수. Tier 1은 직접 거래하는 협력사이며 숫자가 커질수록 원자재 쪽입니다.
- 이중 소싱(dual-sourcing)
- 한 부품을 두 곳 이상에서 받을 수 있게 공급원을 추가로 인증하는 일. 시간과 비용이 드는 조치입니다.
- CSRD
- EU의 기업 지속가능성 보고 지침. 가치사슬을 포함한 지속가능성 정보 공시를 요구합니다.
- EUDR
- EU 산림 파괴 방지 규정. 대상 원자재가 산림 파괴와 무관함을 실사로 보여 주게 합니다.
- CSDDD
- EU 기업 지속가능성 실사 지침. 가치사슬의 인권·환경 위험을 실사하도록 요구합니다.
내 메모
TODO: 내 생각 추가
원문은 EcoComityChain.AI 블로그의 「Supply Chain AI Is Making Decisions. Can It Say Why?」(연재 The Signal and the Proof 2편)입니다. 요약·메커니즘·사례는 저자가 밝힌 내용을 AX Review가 다시 정리한 것이고, 기술·현업 실행 디테일, JSON 필드 예시, 시험 절차, 인포그래픽, 표는 새로 작성했습니다. 원문은 위험 플랫폼을 만드는 회사의 글이며, 인용된 조사의 출처는 원문에 있습니다.