23 AI Pilots and No Results: 시범 23개에 운영 0개, AI가 아니라 조직이 문제라는 진단
공장 운영 경력의 Altix Consulting CEO Yannick Schilly는 AI 시범 수를 책임자와 손익 항목이 붙은 운영 시스템 수로 나눠 3대 1보다 나쁘면 기술이 아니라 조직 문제라고 봅니다. 3년간 성과가 거의 없던 혁신 연구소와 90일마다 출시해 variant 비용을 3분의 1 줄인 4명 팀을 대비하며 돈과 연결된 과제 2~3개에 책임자와 중단 관문을 붙이라고 권합니다.
AI 시범을 아무리 늘려도 운영으로 넘어가는 것이 없다면 기술보다 조직을 먼저 봐야 합니다. Yannick Schilly는 시범 수를 책임자와 손익 항목이 붙은 운영 시스템 수로 나눠 3대 1보다 나쁘면 시범을 늘리지 말고 돈과 연결된 과제 2~3개에 책임자·가치 추정·현장 적용 경로·중단 관문을 붙여 좁히라고 권합니다.
요약
Yannick Schilly는 독일, 중국, 미국에서 제조 현장을 세우고 이끈 운영 임원 출신으로, 지금은 신시내티의 산업 컨설팅사 Altix Consulting의 공동 창업자이자 CEO입니다. 그는 2026년 11월 3일 IndustryWeek 기고를 한 제조사에서 보낸 하루로 시작합니다. 오전에 본 혁신 연구소는 따로 꾸민 공간에 3D 프린터와 아이디어 벽을 갖췄고 디자인상도 받았습니다. 그런데 3년 동안 운영까지 간 성과는 프로젝트 하나의 일부뿐이었습니다. 오후에 만난 팀은 이름도 없는 4명이었습니다. 개발 엔지니어 1명, 공정 담당 2명, 정비 베테랑 1명이 일반 제품 프로세스와 일반 예산 안에서 일했습니다. 이 팀은 주력 제품의 variant(제품 변형) 비용을 3분의 1 줄였고 제품 상태 데이터를 서비스로 묶어 고객 2곳에서 돈을 받고 있었습니다. 비결을 묻자 90일마다 무언가를 내보내고 그렇게 내보내는 일이 팀을 가르친다는 답이 돌아왔습니다.
저자는 AI만으로는 우위가 생기지 않는다고 결론짓습니다. AI는 경쟁사도 같은 값에 월 단위로 빌려 쓰는 기술입니다. 차이는 그 둘레에 직접 짓는 Industrial Intelligence(산업 지능), 곧 공정을 읽는 기계와 그 기계를 읽는 조직, 둘의 목적을 아는 리더십에서 납니다. 저자는 이를 전기에 빗댑니다. 백 년 전 전기 시대의 승자는 전기를 가장 많이 산 공장이 아니라 전기에 맞춰 공장 전체를 다시 설계한 공장이었습니다. 그래서 그는 시범 대비 운영 비율이라는 간단한 진단 지표, 기초 단계를 건너뛰지 말라는 사다리, 사람의 역량을 곱으로 거는 가치 방정식을 내놓고 처방으로 과제를 좁히라고 말합니다. 아래에서 이 네 가지를 차례로 풀고 실제로 돌릴 때 필요한 기술·현업 디테일을 덧붙입니다.
핵심 메커니즘
Buzz-to-Reality Index: 시범 수를 운영 시스템 수로 나눈 비율
무엇인가. 회사의 AI 활동이 실제 운영으로 이어지는지 한 숫자로 보는 지표입니다. 계산은 단순합니다. 진행 중인 AI 시범을 모두 세고 운영 중인 AI 시스템 가운데 이름 있는 책임자와 손익(P&L) 항목이 둘 다 붙은 것만 셉니다. 앞의 수를 뒤의 수로 나눈 값이 지수입니다. 저자의 기준선은 3대 1입니다. 이보다 나쁘면 기술이 아니라 시스템, 곧 조직의 문제이고 시범을 더 띄워도 나아지지 않는다고 봅니다.
언제 쓰나. 경영진이 AI 포트폴리오를 처음 점검할 때, 그리고 분기마다 같은 기준으로 다시 셀 때 씁니다. 운영 시스템이 0개면 비율이 정의되지 않으므로 그 자체를 경보로 봅니다. 가상 예시로, 시범 12개에 책임자와 손익 항목이 붙은 운영 시스템이 2개인 회사라면 6대 1로 기준을 넘습니다. 이 회사는 새 시범 승인을 멈추고 기존 시범을 전환하거나 닫는 데 먼저 힘을 써야 합니다.
Industrial Intelligence: AI 둘레에 회사가 직접 짓는 역량
저자는 AI를 증폭기로 봅니다. 좋은 신호든 혼란이든 들어온 것을 키울 뿐입니다. 그래서 무엇을 증폭할지는 산업 지능이 정합니다. 산업 지능은 세 얼굴로 나타납니다. Market intelligence는 가치가 어디로 옮겨 가는지를 손익계산서에 드러나기 전에 알아챕니다. 저자가 든 예는 이익이 기계 자체에서 기계 둘레의 지능으로 옮겨 가는 흐름입니다. 오후의 4명 팀이 상태 데이터를 유료 서비스로 만든 일이 여기에 맞닿습니다. Operational intelligence는 현장 사람의 감각에 디지털 도구를 더해 Pareto 분석(손실 원인을 크기순으로 줄 세우는 방법)이 놓치는 손실을 찾습니다. Innovation intelligence는 다음에 무엇을 만들고 무엇을 일부러 버릴지 정하는 파이프라인입니다.
The Ladder: AI는 맨 위 칸이다
AI는 사다리의 다섯 번째 칸에 있습니다. 그 아래에 공정 안정화(stabilize), 최적화(optimize), 자동화(automate), 디지털화(digitalize)가 차례로 놓입니다. 아래 칸을 거쳐 믿을 수 있는 데이터가 쌓여야 맨 위 칸이 값을 냅니다. 대부분의 회사는 곧장 맨 위로 뛰려 한다고 저자는 지적합니다. 린(lean) 규율 없이 공장에 머신러닝을 얹으면 공장이 고쳐지지 않고 지금의 혼란이 자동화됩니다. 원문의 예처럼 회의에서 좋아 보이게 부풀린 OEE(설비 종합 효율)가 있다면, AI는 그 틀린 숫자를 충실히 최적화합니다. 실무에서는 AI 과제 후보마다 대상 공정이 사다리 몇 번째 칸에 있는지 먼저 적어 두면, 기초 공사가 필요한 과제를 걸러 낼 수 있습니다.
Value = AI + LI + EI: 한 항이 0이면 전체가 0
저자는 자신의 강의에서 쓰는 식을 소개합니다. 가치는 artificial intelligence, leadership intelligence(리더의 판단), emotional intelligence(사람을 움직이는 역량)로 이뤄집니다. 식은 덧셈으로 쓰지만 실제로는 곱처럼 움직인다고 합니다. 강한 모델이 있어도 판단이 없으면 0이고 판단이 좋아도 현장이 새 도구를 슬그머니 피해 가면 역시 0입니다. 기술은 누구나 빌릴 수 있으니, 둘레의 사람 역량이 기술 역량보다 구하기 어렵고 값도 비싸집니다. 저자는 이것을 AI 시대의 역설로 봅니다.
Focused Portfolio: 돈과 연결된 과제 2~3개에 네 조건
처방의 중심은 좁히기입니다. 매출이나 비용과 직접 연결된 과제를 2~3개만 고르고 과제마다 이름 있는 책임자, 금액으로 잡은 가치, 현장 운영으로 들어가는 적용 경로, 진행·중단을 가르는 go/kill gate를 붙입니다. 버리는 일이 없는 포트폴리오는 힘을 모을 수 없다는 것이 관문을 두는 이유입니다. 여기에 두 가지가 따라붙습니다. 도구를 믿고 써야 할 운전원과 엔지니어를 첫날부터 설계에 넣습니다. 사람은 자기가 만드는 데 손을 보탠 도구를 지지하기 때문입니다. 이사회는 돈을 대는 AI 시스템마다 세 가지를 묻도록 훈련합니다. 무슨 데이터로 학습했나, 어디서 틀리나, 어떻게 검증하나입니다. 저자의 표현으로는 “You cannot govern what you cannot read.”
통념과 다른 주장
흔히 이렇게 봅니다시범을 많이 띄울수록 그중 하나는 성공하고 시범 수가 AI 활동의 성숙도를 보여 준다.
저자는 이렇게 봅니다시범 수를 운영 시스템 수로 나눈 비율이 3대 1보다 나쁘면 조직 문제이고 시범을 더 늘리면 문제가 커질 뿐입니다.
근거저자는 시범 23개와 운영 시스템 0개를 자랑하는 발표를 여러 번 봤고 이를 전환이 아니라 전시에 가깝다고 봅니다.
흔히 이렇게 봅니다혁신은 별도 공간과 예산을 가진 전담 연구소가 맡아야 빨라진다.
저자는 이렇게 봅니다일반 프로세스와 일반 예산 안에서 짧은 주기로 내보내는 작은 교차기능 팀이 더 많은 운영 성과를 냅니다.
근거같은 회사에서 디자인상을 받은 연구소는 3년간 프로젝트 하나의 일부만 운영으로 보냈고 이름 없는 4명 팀은 90일 주기로 variant 비용을 3분의 1 줄였습니다.
흔히 이렇게 봅니다AI를 남보다 먼저 많이 들이면 경쟁 우위가 생긴다.
저자는 이렇게 봅니다AI는 누구나 같은 값에 빌리는 기술이라 우위가 되지 않고 그 둘레에 다시 짠 공정과 조직이 우위를 만듭니다.
근거전기 시대의 승자는 전기를 가장 많이 산 공장이 아니라 전기에 맞춰 공장을 다시 설계한 공장이었다는 역사를 듭니다.
저자가 든 사례
같은 회사의 연구소와 4명 팀
- 상황: 이름을 밝히지 않은 한 제조사입니다. 저자는 같은 날 오전에 혁신 연구소를, 오후에 제품 개발 쪽의 이름 없는 팀을 둘러봤습니다.
- 한 일: 연구소는 별도 공간과 상을 받은 디자인을 갖췄습니다. 4명 팀(개발 엔지니어 1, 공정 담당 2, 정비 베테랑 1)은 일반 제품 프로세스와 일반 예산 안에서 90일마다 무언가를 출시했습니다.
- 결과: 연구소가 3년간 운영으로 보낸 것은 프로젝트 하나의 일부입니다. 4명 팀은 주력 제품 variant 비용을 3분의 1 줄이고 상태 데이터 서비스로 고객 2곳에서 매출을 냈습니다. 각 성과에 걸린 기간과 금액은 원문에서 밝히지 않았습니다.
- 연결: Focused Portfolio(짧은 출시 주기와 현장 사람의 참여), Market intelligence(데이터 서비스).
시범 23개, 운영 0개
- 상황: 저자가 여러 회사의 발표 자리에서 본 슬라이드입니다. 회사 이름은 밝히지 않았고 앞의 제조사와 같은 곳인지도 원문에서 밝히지 않았습니다.
- 한 일: AI 시범 23개를 성과로 내세웠습니다.
- 결과: 운영 시스템은 0개였습니다. 저자는 이를 변혁이 아닌 전시로 봅니다.
- 연결: Buzz-to-Reality Index(운영 0개는 그 자체로 경보).
기술 디테일: 시범 대 운영 비율을 실제로 재고 관리하려면
아래 필드명, 기준값, 주기는 원문에 없는 실행 제안이며 가상 예시입니다. 원문에서 온 것은 따로 밝혔습니다.
Buzz-to-Reality Index를 숫자로 뽑으려면 먼저 AI 과제 대장을 한 곳에 만듭니다. 부서마다 흩어진 PoC 문서와 구매 품의, 클라우드 비용 태그를 모아 과제 하나에 행 하나를 둡니다. 운영 판정은 원문의 두 조건(이름 있는 책임자, 손익 항목)을 필드 검사로 바꿉니다. stage가 production이어도 owner나 pnl_line이 비어 있으면 시범으로 셉니다. 집계는 매월 같은 날 돌립니다. 지수는 count(stage=pilot) ÷ count(stage=production AND owner AND pnl_line)이고 분모가 0이면 비율 대신 경보를 띄웁니다. 숫자를 좋게 만들려고 시범을 운영으로 슬쩍 옮기는 일을 막으려면 stage, owner, pnl_line을 바꿀 때마다 누가 언제 바꿨는지 이력을 남기고 재무 담당이 손익 항목을 확인해야 운영으로 넘어가게 합니다. 문서가 많으면 LLM으로 PoC 문서를 읽어 대장 필드 초안을 채우게 할 수 있습니다. 이때 JSON 스키마를 강제하고(temperature 0), 책임자와 손익 항목은 모델이 추정하지 못하게 빈 값으로 두어 사람이 채우게 합니다.
{
"use_case_id": "AI-PLT-014",
"name": "사출 불량 예측",
"stage": "pilot",
"owner": null,
"pnl_line": null,
"sized_value_krw": 420000000,
"ladder_rung": "digitalize",
"adoption_path": "2라인 작업 표준서에 경보 대응 절차 추가",
"gate_date": "2027-02-15",
"gate_metric": "불량률 0.8%p 감소",
"system_card": {"training_data": "MES 18개월", "failure_modes": ["금형 교체 직후"], "verification": "월 1회 신규 데이터 재검증"}
}사다리 칸을 데이터로 확인하려면 원문의 OEE 예를 점검 항목으로 씁니다. 보고된 OEE를 설비 로그(가동·정지 신호, 생산 수량 카운터, 양품 수)로 다시 계산해 두 값을 비교합니다. 차이가 5%p를 넘으면 그 라인의 AI 과제는 ladder_rung을 낮추고 데이터 정비부터 합니다. 정지 사유 코드가 비어 있거나 “기타”가 30%를 넘는 라인도 같은 조치를 받습니다.
이사회 세 질문에 답하려면 과제마다 시스템 카드를 붙입니다. 원문의 세 질문을 training_data(출처, 기간, 행 수), failure_modes(알려진 실패 조건), verification(검증 방법과 주기) 세 필드로 옮깁니다. 운영 중인 모델은 월 1회 최근 데이터로 성능을 다시 재고 기준 아래로 떨어지면 책임자에게 알립니다.
EI가 0인지 보려면 현장 사용 로그를 남깁니다. 경보를 받은 뒤 조치까지 걸린 시간, 운전원이 AI 권고를 무시하거나 뒤집은 override 비율, 도구를 쓰지 않은 교대 수를 주 단위로 봅니다. 가치 방정식에서 현장이 도구를 피해 가면 결과가 0이 된다는 원문의 경고를 숫자로 확인하는 장치입니다.
| 막히는 경우 | 증상 | 대응 |
|---|---|---|
| 책임자 없는 운영 시스템 | stage=production인데 owner가 빔 | 시범으로 다시 분류하고 다음 관문까지 책임자 지정 |
| 손익 항목을 못 정함 | 효과를 “생산성 향상”으로만 적음 | 원가 계정이나 매출 항목 하나에 연결 못 하면 관문 통과 불가 |
| 부풀린 기준 데이터 | 보고 OEE와 로그 재계산 값이 5%p 넘게 차이 | 사다리 칸을 낮추고 데이터 정비 과제로 전환 |
| 관문이 형식에 그침 | 중단 결정이 한 번도 없음 | 분기마다 최소 1개 과제의 중단 여부를 안건으로 올림 |
| 현장이 도구를 우회 | override 비율이 몇 주째 높음 | 운전원 인터뷰로 이유를 받고 다음 90일 출시에 반영 |
현업 실행 디테일: 누가, 언제, 무엇을
원문은 과제 2~3개, 책임자·가치·적용 경로·관문, 첫날부터 운전원과 엔지니어 참여, 이사회의 세 질문을 처방으로 듭니다. 아래 역할, 일정, 판정 기준은 이를 바탕으로 새로 짠 가상 예시입니다.
| 역할 | 맡는 일 |
|---|---|
| CEO·사업부장 | 지수 기준(3대 1) 승인, 과제 2~3개 최종 선정, 관문 판정 |
| AX 추진 리더 | 과제 대장 운영, 월간 지수 보고, 관문 일정 관리 |
| 과제 책임자(현업 관리자) | 과제별 손익 항목과 가치 추정 책임, 운영 전환 결정 |
| 교차기능 팀 3~5명 | 개발 엔지니어, 공정 담당, 정비 담당, 데이터 엔지니어. 90일 출시 단위로 일함 |
| 운전원 대표 2명 | 첫 주부터 설계 참여, 사용성 검토, override 사유 제공 |
| 재무 담당 | 가치 추정 검증, 손익 항목 연결 |
| 이사회 | 시스템 카드로 세 질문 확인 |
준비물. 진행 중인 AI 시범 목록과 각 담당자, 시범별 지출, 대상 라인의 OEE 보고값과 설비 로그 3개월치, 원가 계정 목록, 과제 후보마다 대상 공정의 사다리 칸 자가 진단표.
| 기간 | 할 일 | 산출물 |
|---|---|---|
| 1~2주 | 과제 대장 작성, 운영 조건 두 가지로 재분류, 첫 지수 계산 | 과제 대장, 현재 지수 |
| 3~4주 | 돈과 연결된 과제 2~3개 선정, 나머지 시범 중단·보류 결정, 운전원 참여 설계 | 과제 정의서(책임자·가치·경로·관문), 중단 목록 |
| 5~8주 | 첫 출시 단위 개발, OEE 재계산 점검, 시스템 카드 작성 | 첫 현장 적용본, 시스템 카드 |
| 9~13주 | 현장 운영, 사용 로그 수집, 90일 관문 회의 | 진행·중단 결정서, 갱신된 지수 |
현업에 물을 것.
- 지금 시범 가운데 운영에 들어간 것은 몇 개이고 그중 책임자와 손익 항목이 둘 다 있는 것은 몇 개인가요?
- 이 과제가 성공하면 어느 원가 계정이나 매출 항목의 숫자가 움직이나요?
- 대상 라인의 OEE는 설비 로그로 다시 계산해도 같은 값이 나오나요?
- 이 도구를 매일 써야 할 운전원은 누구이고 언제부터 설계에 들어오나요?
- 90일 뒤 무엇을 보면 이 과제를 멈추겠습니까?
진행 판정 기준(예시). 원문의 3대 1을 상한으로 씁니다. 90일 관문에서 과제가 운영 조건 두 가지를 갖추고 가치 추정의 절반 이상이 손익 항목에서 확인되며 운전원 override 비율이 줄고 있으면 진행합니다. 운영 조건을 못 갖추거나 가치가 확인되지 않으면 중단하고 그 자원을 다음 후보로 옮깁니다. 지수가 3대 1 아래로 내려오기 전에는 새 시범을 승인하지 않습니다.
AX 적용 제언. 이 진단은 고객사 AX 착수 첫 2주에 바로 쓸 수 있습니다. 현황 진단 보고서의 첫 장을 시범 대 운영 비율로 열면, 경영진은 기술 성숙도보다 조직의 실행 구조를 먼저 보게 됩니다. 그다음 사다리 진단으로 데이터가 준비된 공정과 기초 공사가 필요한 공정을 나누고 준비된 쪽에서 과제 2~3개를 골라 90일 출시 주기로 묶습니다. 별도 혁신 조직을 새로 만들자는 요청이 나오면, 이 원문의 4명 팀처럼 현업 예산 안의 교차기능 팀을 먼저 제안하는 편이 운영 전환에 가깝습니다.
원문 사례
| 항목 | 내용 |
|---|---|
| 원문 | IndustryWeek, 2026.11.3, Artificial Intelligence 섹션 |
| 저자 | Yannick Schilly, Altix Consulting(신시내티) 공동 창업자·CEO, 독일·중국·미국 제조 운영 임원 출신, 『The Superfit Company』 저자 |
| 핵심 주장 | 시범만 쌓이고 운영이 없으면 기술이 아니라 조직 문제, AI는 임대 가능한 기술이고 우위는 산업 지능 |
| 사례 1 | 한 제조사 혁신 연구소: 디자인상, 3년간 운영 전환은 프로젝트 하나의 일부 |
| 사례 1 | 같은 회사 4명 팀(개발 엔지니어 1, 공정 2, 정비 1): 일반 예산, 90일마다 출시, 주력 제품 variant 비용 3분의 1 절감, 상태 데이터 서비스 고객 2곳 유료 |
| 사례 2 | 발표 슬라이드: AI 시범 23개, 운영 시스템 0개 |
| 진단 지표 | Buzz-to-Reality Index = 시범 수 ÷ 책임자·손익 항목이 붙은 운영 시스템 수, 3대 1보다 나쁘면 조직 문제 |
| 틀 | 사다리(안정화 → 최적화 → 자동화 → 디지털화 → AI), 산업 지능의 세 얼굴(market·operational·innovation), Value = AI + LI + EI |
| 처방 | 돈과 연결된 과제 2~3개(책임자·가치 추정·적용 경로·go/kill gate), 운전원·엔지니어 첫날 참여, 이사회 세 질문(학습 데이터·실패 지점·검증 방법) |
핵심 개념
- OEE
- Overall Equipment Effectiveness. 가동률, 성능, 양품률을 곱해 설비가 낼 수 있는 생산량 대비 실제 생산량을 보는 지표입니다.
- Pareto 분석
- 손실이나 불량 원인을 크기순으로 줄 세워 상위 몇 개에 집중하게 하는 방법입니다.
- P&L line
- 손익계산서의 특정 항목입니다. 과제의 효과가 어느 매출·원가 숫자에 잡히는지 정해 두는 기준이 됩니다.
- Go/kill gate
- 미리 정한 날짜와 기준으로 과제를 계속할지 멈출지 판정하는 관문입니다.
- Variant cost
- 한 제품의 사양·옵션 변형을 늘리면서 생기는 설계, 부품, 공정 비용입니다.
- Lean
- 낭비를 줄이고 표준 작업과 흐름을 다지는 생산 운영 방식입니다.
내 메모
TODO: 내 생각 추가
원문은 IndustryWeek의 「23 AI Pilots and No Results? You’ve Got a Problem」(Yannick Schilly, 2026.11.3)입니다. 요약, 핵심 메커니즘의 원문 설명, 통념과 다른 주장, 사례, 원문 사례 표는 원문 내용을 AX Review가 다시 정리했습니다. OEE, Pareto 분석, P&L line, variant cost, lean의 뜻풀이는 일반적인 정의로 보탰습니다. Buzz-to-Reality Index의 가상 계산 예, JSON 예시, OEE 재계산 기준, 시스템 카드 필드, 막히는 경우 표, 역할·일정·판정 기준, 인포그래픽은 원문에 없는 내용으로 새로 작성했고 그 안의 필드명과 숫자는 가상 예시입니다. 전체 글은 원문 페이지에서 볼 수 있습니다.