Physical AI: Panasonic이 숙련공의 위치·마찰·힘 감각을 AI로 해석해 공정 개선에 쓰는 250명 체제

Panasonic 홀딩스는 약 250명을 Physical AI에 모아, 도면에 적히지 않는 숙련공의 위치·마찰·힘 감각을 AI가 배우게 하고 센서 데이터 해석을 사람 대신 AI가 맡게 하려 합니다. 따라 하려면 조립 공정 하나를 골라 사이클마다 힘과 위치를 기록하고, 숙련자가 그 기록에 판단을 붙이는 일부터 시작해야 합니다.

요약

Panasonic 홀딩스는 11월 11일 AI와 로봇을 묶은 Physical AI(피지컬 AI, 물리 세계에서 보고 판단하고 움직이는 AI) 연구개발을 강화한다고 밝혔고, 산케이신문이 이를 전했습니다. 중심은 10월 1일 새로 만든 AI·로보틱스 연구개발본부이고, 약 250명이 개발을 맡습니다. 연구는 3차원 공간 인식, 로봇 정밀 제어, 여러 종류의 정보를 함께 다루는 멀티모달 AI에 집중합니다. 성과는 먼저 그룹 안의 공장에서 검증하고, 제품·서비스로 외부에 파는 방안도 검토합니다. 목표 시점은 3~5년 뒤이고, 무대는 Panasonic이 강점을 가진 공장과 물류입니다.

제조 현장에서 노리는 것은 숙련공의 지식입니다. 부품끼리 어떻게 맞물리는지, 어느 정도의 마찰이 정상인지, 조립할 때 힘을 얼마나 주는지 같은 감각은 도면이나 작업 표준서에 다 담기지 않습니다. 지금까지는 센서 데이터를 화면에 띄워 두고 사람이 보고 개선책을 판단했습니다. Panasonic은 이 해석을 AI가 맡아 공정 개선까지 바로 잇는 구조를 만들려 합니다. 그룹 CAIO(최고 AI 책임자)인 사카키바라 아키라(榊原彰)는 당분간 제조와 공급망 현장에 집중하고, 창고·물류로 넓힐 수 있다고 설명했습니다. 발표 시점이라 적용 공장 이름과 효과 수치는 나오지 않았습니다. 아래에서는 네 가지 작동 원리를 풀고, 조립 공정 하나로 실증을 시작하는 방법을 붙입니다.

핵심 메커니즘

Physical AI 연구 축: 3D 공간 인식, 정밀 제어, 멀티모달 AI

Physical AI는 화면 속 글과 그림만 다루지 않고 카메라와 센서로 실제 공간을 읽고 로봇 팔을 움직이는 AI입니다. Panasonic이 고른 세 축은 이 순서를 그대로 따릅니다. 3D 공간 인식이 부품과 공구가 어디에 어떤 각도로 놓였는지 파악하면, 정밀 제어가 그 위치에 맞춰 힘과 위치를 미세하게 조정합니다. 멀티모달 AI는 영상, 힘 신호, 작업 기록처럼 형식이 다른 데이터를 한 번에 해석해 무엇이 잘못됐는지 설명합니다. 반복 작업이 많고 부품 공차가 빡빡한 조립 라인에 맞고, 사람이 판단할 여지가 거의 없는 단순 반송에는 굳이 세 축이 다 필요하지 않습니다.

마이나비뉴스가 전한 같은 날 Technology Day 발표에 따르면, 본부 약 250명 가운데 약 200명이 직접 연구개발을 맡습니다. 3D 공간 인식 쪽에서는 형상·영역·위치 관계가 비슷한 정보를 “프록시”라는 대표 정보로 묶어, 일부 기존 방식보다 입력 정보량을 10분의 1로 줄였다고 밝혔습니다. 연산 능력과 전력이 모자란 현장 엣지 기기에 올리기 위한 연구입니다.

현장 CPS 2.0: 센서 데이터의 해석을 사람에서 AI로 옮긴다

CPS(Cyber-Physical System)는 현장의 사람과 설비를 센서로 디지털 공간에 옮겨 분석하고 결과를 다시 현장에 돌려주는 구조입니다. 산케이 기사가 말하는 변화는 이 고리의 가운데, 곧 해석 단계에 있습니다. 센서 데이터를 보고 개선책을 판단하던 일을 AI가 맡습니다. 마이나비뉴스는 Panasonic이 IoT로 작업 동작, 공정 정체, 품질 변동을 시각화하고 판단은 사람이 하던 단계를 현장 CPS 1.0으로 부른다고 전했습니다. AI가 현상의 의미와 효율 저하 원인을 해석해 개선 방법과 제조 조건까지 제안하는 단계가 2.0입니다. 데이터는 이미 쌓이는데 볼 사람이 모자란 라인에 맞습니다. 센서가 아직 없는 공정이라면 2.0보다 수집부터 갖춰야 합니다.

작은 예시(가상): 커넥터 끼움 공정에서 삽입 힘 곡선이 평소보다 늦게 정점을 찍습니다. 1.0에서는 담당자가 주간 회의에서 그래프를 보고 원인을 추정합니다. 2.0에서는 AI가 같은 모양의 과거 곡선과 그때의 원인(핀 휨, 하우징 치수 편차)을 찾아 그 교대 근무 안에 점검 순서를 제안합니다.

숙련 감각 학습: 위치 관계, 마찰, 조립 힘을 데이터로 만든다

숙련공은 부품을 끼울 때 손끝에 걸리는 느낌으로 위치가 어긋났는지, 마찰이 평소보다 큰지, 힘을 더 줘도 되는지를 판단합니다. 이 감각은 작업 표준서에 “규정 위치에 삽입”처럼 결과만 남고 판단 과정은 사라집니다. Panasonic은 이 위치 관계, 마찰, 힘 조절 지식을 AI에 학습시키겠다고 밝혔습니다. 실제로는 숙련자가 작업할 때의 힘·위치 신호와 그 순간의 판단을 짝으로 기록하고, AI가 그 짝에서 “이런 신호면 이렇게 대응한다”는 규칙을 익히는 방식이 됩니다. 반복 조립처럼 신호가 매번 비슷한 작업에 잘 맞고, 한 번뿐인 시작품 제작처럼 사례가 적은 작업에는 맞지 않습니다.

로봇 쪽 근거도 있습니다. 마이나비뉴스에 따르면 Panasonic은 UC Berkeley, Stanford University, NVIDIA 등과 함께 동작 계획에 촉각 보정을 더한 로봇 제어를 연구했습니다. 물체를 잡은 뒤 미끄러짐이나 걸림을 촉각으로 느끼고 힘과 위치를 바꾸는 방식입니다. 12종 실기 작업을 16회씩 돌린 평가에서 평균 성공률이 약 35%에서 65%로 올랐습니다. 열쇠 열기와 전구 끼우기가 예로 나왔습니다.

Client Zero: 자기 공장을 첫 고객으로 삼아 검증한다

Client Zero(첫 고객이 자기 자신)는 외부에 팔기 전에 자사 현장에서 먼저 써 보고, 효과가 확인된 것만 상품으로 만드는 방식입니다. 산케이 기사는 연구 성과를 그룹 공장에서 검증하고 외부 판매를 검토한다고 전했고, 마이나비뉴스는 이 방침을 Client Zero라는 이름으로 소개했습니다. 사내 공장은 데이터 접근이 쉽고 실패해도 계약 문제가 없어 첫 실증 장소로 알맞습니다. 다만 그룹 공장에서만 통하는 조건(설비 기종, 데이터 형식)에 맞춰 만들면 외부 고객에게 옮기기 어려우므로, 처음부터 공정 단위로 일반화할 항목을 정해 둬야 합니다. 목표 시점은 3~5년이고, 처음 적용처는 제조, 다음이 물류 같은 공급망입니다.

통념과 다른 주장

저자가 든 사례

Panasonic 홀딩스: 숙련 지식을 배우는 Physical AI 본부

• 상황: 부품 위치 맞춤, 마찰, 조립 힘 같은 숙련공의 감각은 도면에 담기 어렵습니다. 센서 데이터는 시각화돼도 개선 판단은 사람이 내려 왔습니다.
• 한 일: 2026년 10월 1일 AI·로보틱스 연구개발본부를 만들고 약 250명이 Physical AI를 맡게 했습니다. 3D 공간 인식, 정밀 제어, 멀티모달 AI에 집중하고, 숙련 지식을 AI에 학습시켜 데이터 해석에서 공정 개선까지 잇는 구조를 개발합니다.
• 결과: 11월 11일 발표 시점에 그룹 공장 실증 계획과 3~5년 뒤 공장·물류 사업화 목표, 외부 판매 검토 방침을 밝혔습니다. 적용 공장명과 효과 수치는 원문에서 밝히지 않았습니다.
• 연결: Physical AI 연구 축, 현장 CPS 2.0, 숙련 감각 학습, Client Zero.

기술 디테일: 조립 공정 하나로 실증을 돌린다면

아래 필드명, 설정값, 수량은 실행 제안이자 가상 예시입니다.

숙련 감각을 배우려면 조립 1사이클을 한 레코드로 남깁니다(숙련 감각 학습). 힘·토크 센서는 1kHz 안팎, 카메라는 30fps로 기록하고, 사이클 시작과 끝을 설비 PLC 신호로 자릅니다. 레코드 하나에 곡선 원본 경로와 요약 특징값, 숙련자 판단을 함께 둡니다. 숙련자 판단은 “정상, 주의, 불량” 셋과 이유 한 줄이면 충분합니다.

{
  "cycle_id": "L3-ST05-20261201-000412",
  "station": "커넥터 끼움",
  "part_lot": "LOT-4471",
  "force_curve": "s3://line3/st05/000412_force.parquet",
  "features": {"peak_force_N": 41.2, "peak_pos_mm": 6.8, "slope_N_per_mm": 9.4, "duration_ms": 820},
  "video_ref": "s3://line3/st05/000412.mp4",
  "operator_role": "expert",
  "expert_label": "주의",
  "expert_reason": "정점이 평소보다 0.6mm 늦음, 핀 휨 의심",
  "labeled_at": "2026-12-01T10:14:00+09:00"
}

해석 단계를 AI로 옮기려면 이상 탐지와 원인 설명을 나눕니다(현장 CPS 2.0). 이상 탐지는 정상 사이클 2,000~5,000개로 곡선 모양을 학습한 가벼운 모델로 0~1 점수를 냅니다. 점수가 기준을 넘으면, 멀티모달 모델에 해당 곡선 요약과 영상 프레임, 비슷한 과거 사이클 3~5건과 그때의 숙련자 이유를 넣어 원인 후보와 점검 순서를 JSON으로 받습니다. 원인 설명은 temperature 0으로 3회 돌려 1순위 원인이 두 번 이상 같을 때만 현장에 보냅니다. 과거 사례를 근거로 대지 못한 설명은 “근거 부족”으로 돌려 사람 확인 대기열에 올립니다.

채점은 숙련자 판단과의 일치로 합니다. 숙련자 2명이 독립으로 라벨을 붙인 사이클 200개를 평가 세트로 따로 둡니다. 두 사람이 서로 다르게 붙인 사이클은 먼저 둘이 합의하게 하고, 합의가 안 되면 평가에서 뺍니다. AI의 “주의·불량” 판정이 숙련자와 얼마나 겹치는지(재현율)와 헛경보 비율을 주 단위로 봅니다.

로봇 제어로 넓힐 때는 작업 종류와 반복 횟수를 고정합니다(Physical AI 연구 축). Panasonic이 촉각 제어를 12종 작업 16회 반복으로 평가했듯, 사내 실증도 작업 종류와 반복 횟수를 먼저 정해 둬야 개선 전후를 비교할 수 있습니다. 엣지 장비에 올릴 모델은 응답 시간 한도(예: 사이클 안에 판단을 끝낼 50ms)를 먼저 정하고, 그 안에 들어오는 크기로 고릅니다.

막히는 경우	증상	대응
센서 위치가 공정마다 다름	같은 불량인데 곡선 모양이 다름	스테이션별 모델로 시작, 통합은 나중
불량이 너무 드묾	학습할 불량 사례가 수십 건뿐	정상만으로 학습하는 이상 탐지 먼저
숙련자 라벨이 엇갈림	같은 사이클에 다른 판단	2인 합의 규칙, 이견 사례는 회의 안건
설명이 그럴듯하지만 틀림	현장이 AI 제안을 무시	과거 사례 인용 없으면 내보내지 않음
엣지 연산 부족	사이클 안에 판단 못 끝냄	탐지는 엣지, 원인 설명은 서버

현업 실행 디테일: 누가, 언제, 무엇을

Panasonic은 본부가 연구를 맡고 그룹 공장이 실증 현장이 되는 구조를 밝혔습니다. 아래 역할, 일정, 기준은 이를 바탕으로 새로 짠 가상 예시입니다.

역할	맡는 일
공장장 또는 제조 부문장(스폰서)	대상 공정 선정, 12주 뒤 진행 판정
생산기술 담당	센서 설치, 사이클 신호 연결, 개선안 현장 적용
숙련 작업자 2~3명	사이클 라벨, 판단 이유 기록, AI 제안 검토
품질 담당	불량 정의, 평가 세트 관리
데이터·AI 엔지니어	이상 탐지, 원인 설명 파이프라인
IT·OT 보안	설비 네트워크와 사내 서버 연결 기준

준비물. 대상 공정 하나의 최근 6개월 불량 이력과 원인 보고서, 작업 표준서, 설비 PLC 신호 목록이 필요합니다. 힘·토크 센서가 없으면 1~2주차에 붙이고, 숙련자에게는 첫 주에 “최근 손으로 느껴서 멈춘 사례” 10건을 적어 오게 합니다.

숙련자에게 물을 것.

1. 조립할 때 손에 어떤 느낌이 오면 작업을 멈추나요?
2. 그 느낌이 올 때 가장 먼저 의심하는 원인은 무엇인가요?
3. 같은 느낌인데 원인이 달랐던 경우가 있나요? 무엇으로 구분했나요?
4. 신입 작업자가 가장 자주 놓치는 신호는 무엇인가요?
5. 작업 표준서에는 없지만 늘 확인하는 것은 무엇인가요?

진행 판정 기준(예시). 평가 세트 200개에서 AI가 숙련자의 “주의·불량” 판정의 80% 이상을 잡고 헛경보가 교대당 3건 이하이며, AI 제안으로 원인을 찾은 사례가 12주 동안 5건을 넘으면 같은 라인의 다른 공정으로 넓힙니다. 재현율이 60~80%면 라벨과 센서 위치를 보완해 6주 더 봅니다. 60%에 못 미치면 센서 구성부터 다시 봅니다.

AX 적용 제언. 자동차 부품, 전자 부품, 가전처럼 조립 공정이 많고 숙련자 은퇴가 다가오는 제조사라면 같은 순서를 쓸 수 있습니다. 순서는 불량 비용이 큰 공정 하나 고르기, 사이클 단위 기록, 숙련자 라벨, 이상 탐지, 원인 설명입니다. 연구 조직을 크게 만들기 전에 공장 한 곳을 Client Zero로 정하고, 그 공장의 생산기술 담당을 현업 스폰서로 붙이는 편이 빠릅니다. 외부 판매까지 생각한다면 첫 실증부터 데이터 형식과 평가 기준을 공정 단위로 표준화해 둡니다.

원문 사례

항목	내용
원문	산케이신문 기사, ITmedia ビジネスオンライン 전재(2026.11.12)
발표일	2026년 11월 11일
조직	AI·로보틱스 연구개발본부(2026.10.1 신설)
인원	약 250명
연구 축	3차원 공간 인식, 로봇 정밀 제어, 멀티모달 AI
학습 대상	부품 위치 관계, 마찰, 조립 힘 조절 등 숙련자 지식
바뀌는 점	사람이 센서 데이터를 보고 판단 → AI가 데이터를 해석해 공정 개선
검증	그룹 내 공장에서 먼저 검증, 외부 판매 검토
목표	3~5년 앞을 보고 공장·물류에서 사업화
발언	사카키바라 아키라 그룹 CAIO: 당분간 제조·공급망 현장에 집중, 창고·물류 전개도 시야
보강 자료	마이나비뉴스: 약 200명이 직접 연구, 3D 입력 정보량 1/10, 촉각 제어 성공률 약 35% → 65%
수치	적용 공장명·효과 수치 언급 없음

핵심 개념

CAIO

Chief AI Officer. 그룹 전체의 AI 전략과 투자를 맡는 임원입니다.

VLA

Vision-Language-Action. 영상과 언어를 받아 로봇 동작까지 한 모델로 내는 방식입니다. Panasonic은 시각 중심 방식에 촉각 보정을 더했습니다.

Edge AI

클라우드가 아니라 설비 옆 장비에서 바로 판단하는 AI입니다. 사이클 시간 안에 답해야 하는 공정에 씁니다.

Technology Day

Panasonic 홀딩스가 2026년 11월 11일 연 기술 설명 행사입니다. 이번 발표가 나온 자리입니다.

KMC

門真マニュファクチャリングコモンズ. Panasonic이 2027년 4월 개설을 목표로 하는 산관학 Physical AI 공동 거점입니다.

내 메모

TODO: 내 생각 추가

원문은 산케이신문의 「パナHD、AIとロボ組み合わせた「フィジカルAI」研究開発強化　倉庫・物流へ展開視野」(ITmedia ビジネスオンライン 전재, 2026.11.12)입니다. ITmedia 원문 페이지는 이번 작업에서 직접 열지 못해, 같은 기사를 실은 ITmedia NEWS 전재본(2026.11.13)으로 내용을 확인했습니다. 약 200명 직접 연구, Research·Applied AI 구성, Client Zero·현장 CPS 1.0/2.0 명칭, 3D 입력 정보량 1/10, 촉각 제어 성공률, KMC는 마이나비뉴스 TECH+ 「ロボット作業成功率65％、パナソニックHDが現場起点のフィジカルAIを加速」(2026.11.12)와 Panasonic 보도자료(2026.11.11)에서 보강했습니다. 요약, 메커니즘의 원문 내용, 사례는 이 자료들을 AX Partners가 다시 정리한 것이고, 기술·현업 실행 디테일, 가상 예시, 인포그래픽, 표는 새로 작성했습니다. 전체 내용은 원문에서 볼 수 있습니다.