AI Camera Interlock: AI 카메라가 사람을 보면 설비를 멈추는 렝고·기린맥주의 공장 안전
렝고는 AI 카메라를 자사 설비·작업 자세 이미지 약 4,000장으로 다시 가르쳐 AP를 0.42에서 0.79로 올리고 사람을 감지하면 설비를 멈추는 인터록으로 씁니다. 기린맥주는 카메라가 많은 공장에 400대를 달고 로봇·드론으로 사람을 위험에서 떼어 냅니다. 처리 단계, 평가 기준, 12주 파일럿을 붙였습니다.
공장 안전의 마지막 확인을 사람에게 맡기지 않으려면 AI 카메라가 사람을 알아보는 데서 그치지 말고 설비를 직접 멈춰야 합니다. 렝고는 자기 공장 이미지로 모델을 다시 가르쳐 그 조건을 갖췄습니다. 옮기려면 기존 안전기기는 그대로 두고 오감지를 얼마나 줄였는지부터 재야 합니다.
요약
MONOist는 2026년 10월 22일, 9월 마쿠하리 멧세에서 열린 「팩토리 이노베이션 Week 2026 가을」 특별 강연 두 편을 묶어 보도했습니다. 연사는 골판지 기업 렝고의 藤岡寛史 과장(기술개발 제1부)과 기린맥주의 宮浦直人 주사(생산본부 기술부)입니다. 렝고는 AI 카메라를 생산설비와 연결했습니다. 사람이 위험 구역에 들어오면 카메라 신호로 설비에 인터록(조건이 맞지 않으면 기계가 돌지 못하게 막는 장치)을 겁니다. 2024년 3월 현장에 들였습니다. 처음 쓴 제품은 컨베이어 일부를 사람으로 잘못 봤습니다. 그래서 JR서일본이 개발한 AI 카메라 기술로 바꾸고 자기 공장 이미지로 모델을 다시 가르쳤습니다. 기린맥주는 장기 구상 「KIRIN Digital Vision2035」 아래 열 가지 디지털 시책을 펼치며 카메라, 로봇, 드론, 웨어러블을 함께 씁니다.
결과는 숫자로 나왔습니다. 렝고는 설비와 작업 자세를 찍은 이미지 약 4,000장으로 재학습해 사람 감지 정확도(AP)를 0.42에서 0.79로 올렸습니다. 웅크리거나 작업물 뒤에 가려져도 끊기지 않고 인식하게 됐고 설비를 사람으로 오인하던 문제도 사라졌습니다. 이를 바탕으로 2026년 9월부터 오정지 손실이 큰 설비까지 범위를 넓혔습니다. 기린맥주는 카메라가 많은 공장에 400대를 달았고 2035년에는 야간·휴일에 사람 없이 제조하는 모습을 그립니다. 두 회사 모두 안전을 사람의 주의력에만 맡기지 않고 사람은 실수한다는 전제로 현장을 짭니다. 아래에서는 이 구조를 다섯 가지 메커니즘으로 풀고 실제로 돌릴 때 필요한 처리 단계와 일정을 덧붙입니다.
핵심 메커니즘
Additive Safety: 기존 안전기기를 빼지 않고 AI 카메라를 더하기
藤岡 과장은 노동재해가 20세기 후반까지 줄다가 21세기 들어 더 줄지 않는다고 짚었습니다. 그동안 재해를 줄인 것은 안전기기 성능, 페일세이프·풀프루프 설계, 작업 규칙이었습니다. 그런데 로봇 안전 펜스 안에서 고장을 처리하는 장면을 보면 비상정지 버튼 누르기, 주전원 차단, 작업 중 표찰 걸기를 모두 사람이 합니다. 藤岡 과장은 이 상태를 “최후의 보루가 사람이 되어 버렸다”고 표현했습니다. 라이트 커튼이나 레이저 스캐너는 무언가 있다는 것은 알아도 그것이 사람인지 설비·작업물인지는 가리기 어렵습니다. AI 카메라는 화각 안의 사람을 따로 알아봅니다. 렝고는 AI 카메라로 기존 기기를 대체하지 않았습니다. 비상정지 스위치, 레이저 스캐너와 함께 두고 이들이 못 보던 영역만 메우는 ‘더하기’ 방식을 택했습니다. 사내에서는 100번 중 99번을 잡고 1번을 놓치는 AI를 안전에 써도 되느냐는 논쟁이 있었습니다. 이 방식이 그 답이었습니다. AI가 한 번 놓쳐도 기존 기기는 그대로 작동합니다.
Site-specific Retraining: 자기 현장 이미지로 다시 가르치기
처음 들인 AI 카메라는 컨베이어 일부를 사람으로 봤습니다. 藤岡 과장은 원인을 두 가지로 봅니다. 학습 데이터가 지나치게 정돈돼 있었고 모델이 FA(공장 자동화) 현장을 잘 몰랐습니다. 렝고는 공급원을 JR서일본으로 바꿨습니다. JR서일본은 역과 차량에서 카메라 수천 대를 운용합니다. 처음에는 외부 제품을 샀지만 기능과 성능이 아쉬워 직접 개발했고 지금은 외부에도 팝니다. 렝고가 높이 산 점은 셋입니다. JR서일본이 스스로 큰 사용자라 개발이 빠르고 렝고가 현장 요구를 피드백하면 제조업용 제품을 고쳐 줍니다. 재학습용 이미지는 개인정보를 다룰 수 있는 보안 환경에서 처리해 줍니다. 렝고는 자사 공장의 기계와 작업자 자세를 찍은 이미지 약 4,000장을 준비해 모델을 다시 가르쳤습니다. 평가에 쓴 영상은 학습 데이터에 넣지 않았고 AP는 0.42에서 0.79로 올랐습니다.
Interlock over Alarm: 경보 대신 설비를 멈추기
AI 카메라가 사람을 감지하면 렝고는 생산설비에 인터록을 겁니다. 藤岡 과장은 경보만으로는 부족하다고 봅니다. 사람이 흘려듣거나 아예 못 들을 수 있기 때문입니다. 그래서 카메라 신호로 설비를 멈춥니다. 여기에는 조건이 붙습니다. FA 현장에서는 감지 누락이 없어야 할 뿐 아니라 오감지도 없어야 합니다. 설비가 괜히 서면 생산 손실이 납니다. 그러면 엄격한 인터록을 걸 수 없습니다. 렝고는 처음에 오감지가 나도 손실이 작은 곳에 카메라를 달았습니다. 재학습으로 정확도를 올린 뒤인 2026년 9월부터는 오정지가 큰 손실로 이어지는 설비까지 넓혔습니다. 藤岡 과장은 안전기기를 과신하지 말라고 거듭 말했습니다. 사람이 바르게 행동하고 규칙을 지키는 것이 먼저이고 센서는 그것이 실패했을 때 재해를 막는 보조라는 뜻입니다.
Detector + VLM: 찾는 일과 판단하는 일을 나누기
렝고가 다음으로 보는 기술은 VLM(Vision Language Model, 이미지를 보고 말로 답하는 모델)입니다. 기존 화상 인식 AI는 물체를 찾는 데 강하고 VLM은 이미지의 뜻을 말로 풀 수 있습니다. 예컨대 사람이 안전 조끼를 입었는지 물으면 착용 여부와 그렇게 본 이유를 함께 답합니다. 藤岡 과장이 보인 운용안은 두 단계입니다. 먼저 화상 인식 AI가 사람을 찾고 그 이미지를 VLM에 넘겨 복장과 보호구 착용을 판단하게 합니다. 렝고는 2027년쯤 안전 이외의 용도를 포함해 VLM을 제조 현장에 쓰는 실증을 시작할지 검토하고 있습니다.
Data Platform First: 카메라와 로봇보다 데이터 길을 먼저 깔기
기린맥주의 열 가지 시책에는 카메라 시스템, 설비 징후 관리, 운전 무인화, 디지털 트윈 등이 들어 있습니다. 그중 가장 먼저 한 일은 데이터를 한곳에 모으는 것이었습니다. 예전에는 공장마다 서버가 따로 있었고 데이터를 Excel로 모아 PowerPoint로 보고했습니다. IoT 플랫폼을 세워 필요한 데이터를 한곳에서 꺼내 쓰게 했습니다. 카메라는 그 위에 올라갑니다. 카메라로 설비 가동 상황을 원격으로 보고 문제가 나면 녹화 영상으로 원인을 거슬러 찾습니다. PLC(설비 제어기)와 연동해 이상 알람이 뜬 시점의 영상에 플래그를 답니다. 宮浦 주사는 AI와 ICT는 과제를 푸는 여러 수단 가운데 하나라고 말했습니다. 가장 중요한 것으로는 안전 최우선 문화가 자리 잡는 일을 꼽았습니다.
통념과 다른 주장
흔히 이렇게 봅니다AI가 위험을 감지하면 경보를 울려 사람에게 알리면 된다.
렝고는 이렇게 봅니다경보는 사람이 놓칠 수 있으니 감지 신호로 설비를 멈춰야 한다. 그러려면 놓침만큼 오감지를 줄이는 일이 중요하다.
근거렝고는 오감지 영향이 작은 곳에서 시작해 정확도를 올린 뒤에야 오정지 손실이 큰 설비로 인터록을 넓혔습니다.
흔히 이렇게 봅니다AI 카메라는 성능 좋은 범용 제품을 골라 달면 된다.
렝고는 이렇게 봅니다범용 학습 데이터는 너무 정돈돼 FA 현장을 모른다. 자기 현장 이미지로 다시 가르쳐야 쓸 만해진다.
근거자사 설비·작업 자세 이미지 약 4,000장으로 재학습하자 AP가 0.42에서 0.79로 올랐고 설비를 사람으로 보던 오인도 사라졌습니다.
저자가 든 사례
렝고: 공급원을 바꾸고 현장 이미지로 재학습
| 항목 | 내용 |
|---|---|
| 상황 | 처음 쓴 AI 카메라가 컨베이어 일부를 사람으로 오인했습니다. 다른 공장으로 넓히기에는 성능이 아쉬웠습니다. |
| 한 일 | JR서일본의 AI 카메라 기술로 바꾸고 자사 공장의 기계와 작업 자세를 찍은 이미지 약 4,000장으로 재학습했습니다. 평가 영상은 학습에서 뺐습니다. |
| 결과 | AP 0.42 → 0.79. 웅크림·가림에도 계속 인식하고 설비 오인이 사라졌습니다. |
| 연결 | Site-specific Retraining, Additive Safety |
렝고: 감지 신호로 설비를 멈추고 범위를 넓힘
| 항목 | 내용 |
|---|---|
| 상황 | 비상정지, 전원 차단 같은 마지막 안전 절차를 모두 사람이 실행합니다. 경보는 못 듣거나 흘려들을 수 있습니다. |
| 한 일 | 2024년 3월부터 AI 카메라를 현장에 들이고 사람을 감지하면 설비에 인터록을 걸었습니다. 오감지 영향이 작은 곳부터 시작했습니다. |
| 결과 | 2026년 9월부터 오정지 손실이 큰 설비까지 적용을 넓혔습니다. 재해 감소 같은 효과 수치는 원문에서 밝히지 않았습니다. |
| 연결 | Interlock over Alarm |
기린맥주: 데이터 플랫폼 위에 카메라와 로봇 점검
| 항목 | 내용 |
|---|---|
| 상황 | 공장 안팎에 데이터가 흩어져 있었고 서버가 난립했습니다. 자료는 Excel과 PowerPoint로 손수 만들었습니다. |
| 한 일 | IoT 플랫폼을 세우고 카메라가 많은 공장에는 400대를 달아 PLC 알람과 영상을 묶었습니다. 홋카이도 치토세 공장에서는 360도 카메라와 집음 마이크를 단 4족 보행 로봇으로 점검을 시험했고 클라우드 AI가 데이터를 분석했습니다. 높은 곳과 배관 위는 드론이 봅니다. 약 절반의 공장에 열사병 대책 웨어러블을 펼쳤고 네트워크 카메라와 화상 인식 AI로 헬멧·보호안경 착용을 자동 판정합니다. 숙련자 노하우는 AI 챗봇에 담아 작업 전 KY(위험 예지 활동)에 씁니다. |
| 결과 | 치토세 시험에서 로봇이 사람 점검을 대신할 수 있음을 확인했습니다. 마이크는 사람이 못 듣는 주파수대까지 잡아 사람 점검보다 정확하다는 평가가 나왔습니다. 로봇을 들이려면 계단 폭·높이, 문 여닫이에 맞춰 설비와 건물을 고쳐야 합니다. |
| 연결 | Data Platform First, Detector + VLM(보호구 판정) |
기술 디테일: 우리 공장에 AI 카메라 인터록을 붙이려면
Interlock over Alarm을 돌리려면 카메라 신호가 PLC까지 가는 단계를 고정합니다. 영상에서 프레임을 뽑고 검출 모델이 사람(person) 박스와 confidence를 냅니다. 박스가 위험 구역 polygon 안에 있는지 보고 k프레임 연속으로 들어 있으면 정지 후보로 올립니다. 한 프레임만으로 멈추면 순간 노이즈에 설비가 섭니다. 프레임은 초당 5~10장에서 시작하고 카메라에서 PLC까지 걸리는 시간을 재서 사람이 위험 지점에 닿기 전에 설비가 서는지 확인합니다. 정지 신호는 기존 안전 회로를 바꾸지 않고 PLC의 추가 정지 입력으로 넣습니다. 회로 단계에서 Additive Safety를 지키는 방법입니다. 복귀는 자동으로 하지 않고 사람이 구역을 확인한 뒤 리셋하게 합니다. 아래 필드명과 값은 가상 예시입니다.
{
"camera_id": "L3-CORR-07",
"ts": "2026-10-28T02:14:31.400+09:00",
"zone_id": "L3-ROBOT-CELL-A",
"person_boxes": [{"x": 412, "y": 160, "w": 88, "h": 210, "conf": 0.86}],
"frames_in_zone": 4,
"k_required": 3,
"stop_requested": true,
"plc_ack": true,
"model_version": "retrain-2026-08",
"reset_by": null
}Site-specific Retraining의 데이터는 실패한 장면부터 모읍니다. 렝고가 겪은 실패는 두 종류였습니다. 사람을 놓친 경우(웅크림, 작업물 뒤 가림)와 사람이 아닌 것을 사람으로 본 경우(컨베이어 일부)입니다. 우리 공장에서도 이 둘을 따로 모읍니다. 촬영 목록은 작업 자세(서기, 웅크리기, 기어들어가기), 가림(작업물·팔레트 뒤), 혼동 물체(사람 모양 설비, 걸어 둔 작업복), 조명(주간·야간 교대), 보호구 색으로 나눕니다. 렝고 규모인 약 4,000장을 기준으로 잡되, 사람이 없는 이미지도 넣어야 오인이 줄어듭니다. 평가 세트는 학습에 쓰지 않은 날짜와 카메라에서 따로 뽑습니다. 렝고도 평가 영상을 학습에서 뺐습니다.
AP 하나로 판정하지 않고 운영 지표를 함께 셉니다. AP는 모델 비교용이고 현장 판정에는 두 숫자가 더 필요합니다. 하나는 진입 감지율입니다. 시험 인원이 정해진 동선으로 100회 들어가 정지 후보가 몇 번 떴는지 셉니다. 사내 논쟁에 나온 100번 중 99번이라는 기준을 직접 재는 방식입니다. 다른 하나는 오정지 후보 수입니다. 사람이 없었는데 정지 후보가 뜬 횟수를 가동 1,000시간당으로 셉니다. 이 수에 설비별 정지 손실을 곱해 어느 설비까지 넓힐지 정합니다.
Detector + VLM은 정지 경로 밖에 둡니다. VLM은 검출기보다 느리고 답이 문장이라 흔들릴 수 있습니다. 설비 정지는 검출기와 구역 판정만으로 하고 VLM은 보호구 미착용 기록과 교육용 알림에 씁니다. 출력은 JSON으로 고정합니다(vest: yes/no/unknown, helmet: yes/no/unknown, reason). temperature는 0으로 두고 같은 이미지를 3회 물어 2회 이상 같은 답만 기록합니다. 판단이 갈리면 unknown으로 두고 사람이 봅니다.
알람과 영상을 묶을 때는 시간 축을 맞춥니다. 기린맥주처럼 PLC 알람에 영상 플래그를 달려면 카메라 녹화기와 PLC의 시계를 같은 기준으로 맞춰야 합니다. 알람 코드, 설비 ID, 알람 전후 구간(예: 30초 전~30초 후) 영상 위치를 한 레코드로 저장하면 원인을 추적할 때 바로 찾아 들어갈 수 있습니다.
실패하는 경우를 미리 정합니다. 렌즈 오염, 카메라 위치 변경, 조명 교체가 생기면 정확도가 조용히 떨어집니다. 교대가 시작될 때마다 기준 이미지와 현재 화면을 비교하는 점검을 넣습니다. 카메라가 꺼지거나 응답이 없으면 보전 담당에게 알림이 가게 합니다. 이때도 기존 안전기기는 그대로 작동합니다.
현업 실행 디테일: 누가, 언제, 무엇을
| 역할 | 담당 | 하는 일 |
|---|---|---|
| 스폰서 | 공장장 | 대상 구역과 인터록 범위 승인, 감수할 오정지 손실 결정 |
| 안전환경 | 안전 담당 1명 | 위험 구역 선정, 기존 안전기기 배치 확인, 판정 회의 주관 |
| 생산기술 | 1~2명 | 카메라 위치, PLC 추가 정지 입력, 리셋 절차 설계 |
| 설비보전 | 1명 | 카메라 상태 점검, 오정지 발생 기록 |
| 현장 반장 | 라인별 1명 | 촬영 협조, 작업자 안내와 영상 촬영 동의 절차 |
| IT·OT 보안 | 1명 | 영상 반출·재학습 데이터 처리 환경 확인 |
시작 전에 모을 것. 위험 구역 목록과 기존 안전기기 배치도, 최근 3년 아차사고·재해 기록, 설비별 1회 정지 손실(분·금액), 카메라 설치 후보 위치 사진, 영상을 공장 밖으로 내보낼 때의 사내 규정입니다. 렝고가 공급원을 고를 때 보안 처리 환경을 따진 것처럼, 재학습 이미지를 어디서 처리하는지는 계약 전에 확인합니다.
| 기간 | 할 일 | 산출물 |
|---|---|---|
| 1~2주 | 구역 선정, 설비를 정지 손실 작음(A)·큼(B)으로 분류 | 구역·설비 분류표 |
| 3~5주 | 실패 장면 중심 촬영과 라벨링 | 학습 세트, 별도 평가 세트 |
| 6~7주 | 재학습, AP와 진입 감지율 측정 | 평가 보고서 |
| 8~10주 | 섀도 운영: 정지 신호를 기록만 하고 설비는 멈추지 않음 | 오정지 후보 로그 |
| 11~12주 | A 설비부터 인터록 연결, 판정 회의 | 확대 여부 결정 |
현장에 물을 것.
- 안전 펜스 안에 들어가는 일은 하루에 몇 번이고 주로 어떤 고장을 처리하나요?
- 지금 센서가 사람과 작업물을 헷갈려 멈추거나, 멈춰야 할 때 안 멈춘 적이 있나요?
- 이 설비가 괜히 한 번 서면 몇 분, 얼마가 손실되나요?
- 카메라 영상 촬영과 학습 사용에 작업자 동의는 어떻게 받을 건가요?
진행 판정 기준(예시). 세 조건을 모두 채우면 A 설비 인터록을 켜고 B 설비는 다음 분기에 다시 판정합니다. 시험 진입 100회 중 놓침 0회, 섀도 운영 중 오정지 후보가 라인당 주 1회 이하, 카메라 점검 누락 0건입니다. 기준은 섀도 운영 전에 정해 둡니다.
AX 적용 제언. 처음 고를 곳은 사람이 안전 펜스 안에 자주 들어가 고장을 처리하는 로봇 셀이나 컨베이어 합류부입니다. 기존 센서가 사람과 작업물을 가리지 못해 생기는 공백이 가장 뚜렷한 곳입니다. 기존 안전기기를 줄여 비용을 아끼는 사업으로 설명하면 안전 조직의 동의를 얻기 어렵습니다. 렝고처럼 빈 곳을 메우는 더하기로 설명하고 투자 판단은 오감지를 얼마나 줄였는지에 둡니다. 카메라를 여러 대 달 계획이라면 기린맥주처럼 데이터 플랫폼을 먼저 세웁니다. 같은 카메라를 원격 가동 확인과 고장 원인 추적에도 쓰면 안전 예산만으로 대수를 늘리지 않아도 됩니다. VLM은 보호구 판정 같은 기록 업무에서 시작하고 정지 판단에는 넣지 않습니다. 스폰서는 IT가 아니라 공장장과 안전 조직에 둡니다.
원문 사례
| 항목 | 내용 |
|---|---|
| 보도 | MONOist, 中野龍, 2026.10.22 (3페이지) |
| 행사 | 팩토리 이노베이션 Week 2026 가을, 2026.9.9~11, 마쿠하리 멧세 특별 강연 |
| 렝고 연사 | 藤岡寛史, 기술개발 제1부 기술개발과장 |
| 렝고 내용 | AI 카메라를 기존 안전기기에 더함, 2024.3 현장 도입, JR서일본 기술 채택, 이미지 약 4,000장 재학습, AP 0.42 → 0.79, 감지 시 설비 인터록, 2026.9 고손실 설비로 확대, 2027년경 VLM 실증 검토 |
| 기린맥주 연사 | 宮浦直人, 생산본부 기술부 주사. 강연 「デジタルICTが切り拓く未来のプラントオペレーション」 |
| 기린맥주 내용 | Innovate2035!·KIRIN Digital Vision2035, 10대 시책, IoT 플랫폼 우선, 카메라 많은 공장 400대, PLC 알람 영상 플래그, 치토세 공장 4족 보행 로봇 점검, 드론, 약 절반 공장 웨어러블, 보호구 AI 판정, KY용 AI 챗봇, 2035년 야간·휴일 무인 제조 구상 |
핵심 개념
- AP
- Average Precision. 검출 모델이 찾은 것 중 맞은 비율과 놓치지 않은 비율을 함께 보는 점수로, 1에 가까울수록 좋습니다.
- 라이트 커튼
- 빛살을 여러 줄 쏘아 무언가 지나가면 감지하는 안전 센서. 지나간 것이 사람인지는 가리지 못합니다.
- 페일세이프·풀프루프
- 고장 나면 안전한 쪽으로 멈추게 하는 설계와, 잘못 조작해도 사고가 나지 않게 하는 설계입니다.
- FA
- Factory Automation. 설비와 컨베이어가 자동으로 도는 공장 현장을 가리킵니다.
- KY
- 危険予知(위험 예지) 활동. 작업 전에 그날 작업의 위험을 팀이 함께 짚는 일본 현장의 관행입니다.
- 섀도 운영
- 새 시스템의 판단을 기록만 하고 실제 동작에는 쓰지 않으며 사람의 처리와 나란히 비교하는 시험 방식입니다.
내 메모
TODO: 내 생각 추가
원문: 中野龍, 「AIカメラで「最後の砦は人」を脱却、レンゴーとキリンビールの工場安全DX」(MONOist, 2026.10.22, 전 3페이지). 요약·메커니즘·통념과 다른 주장·사례·원문 사례 표는 렝고 藤岡寛史 과장과 기린맥주 宮浦直人 주사의 강연을 보도한 원문 내용을 AX Review가 다시 정리했습니다. 기술·현업 디테일, JSON 예시, 일정·판정 기준, 인포그래픽은 실제로 돌릴 때 필요한 것으로 새로 작성했으며 그 안의 필드명과 숫자는 가상 예시입니다. 원문 전체는 MONOist에서 볼 수 있습니다.