A Functional Taxonomy of World Models: 화면·상태·행동 중 무엇을 내놓느냐로 가르는 세 유형

world model이라는 이름을 단 제품은 화면을 그리는 Renderer, 검사해도 버티는 세계 상태를 계산하는 Simulator, 다음 행동을 고르는 Planner 가운데 하나이고 셋은 품질 기준이 다릅니다. 공장 레이아웃이나 로봇 학습처럼 치수와 물리가 맞아야 하는 일에는 Simulator가 필요하며 도입 전에 산출물의 기하·스케일·sim-to-real 차이를 직접 재 봐야 합니다.

요약

Fei-Fei Li는 World Labs 팀과 함께 2026년 6월 3일 Substack에 올린 글에서 world model이라는 말이 너무 많은 것을 가리킨다고 짚습니다. 컴퓨터 비전, 로보틱스, 강화학습, 생성형 AI가 같은 이름을 서로 다른 뜻으로 쓰다 보니 물리적으로 있을 수 없는 불꽃을 그리는 영상 모델, 즉석에서 게임을 만드는 언어 모델, 연소를 계산하는 물리 엔진이 모두 world model로 불립니다. 저자는 강화학습의 agent-environment loop(에이전트가 행동하면 세계가 바뀌고 에이전트가 그 결과를 다시 관측하는 순환)를 바닥에 깔고 모델이 이 루프의 어느 조각을 내놓느냐로 셋을 가릅니다. 관측(픽셀)을 내면 Renderer, 상태(기하·물리·동역학)를 내면 Simulator, 행동을 내면 Planner입니다. 셋은 맞추려는 품질 기준도, 결과를 받아 쓰는 쪽도 다릅니다. 저자는 World Labs 공동창업자이며 글에서 예로 드는 Marble과 RTFM은 World Labs 제품입니다.

세 갈래는 성숙도가 다릅니다. Renderer는 상업적으로 가장 앞서 있지만 그럴듯함을 맞추도록 학습하므로, 드론 화면에서 완벽해 보이는 도시가 그 안을 차로 달려 보면 무너질 수 있습니다. Planner는 가장 초기 단계입니다. 지난 2년의 로봇 데모는 통제된 실험실, 좁은 물체 집합, 짧은 작업 시간에 머물렀습니다. 저자가 가장 결정적이라고 보는 쪽은 관심을 가장 덜 받는 Simulator입니다. 저자는 언어가 세계를 추상화하고 픽셀이 세계를 투영한다면 “geometry, physics, and dynamics are the world itself”라고 씁니다. 구조가 맞는 세계 상태가 있으면 그것을 픽셀로 바꿔 사람에게 보여 줄 수도, 행동의 결과로 바꿔 로봇에게 줄 수도 있습니다. 글은 세 경계가 이미 흐려지고 있고 필요에 따라 출력 모드를 바꾸는 통합 world model로 모인다고 내다봅니다. 아래에서는 루프와 세 기능을 풀고 제조·물류 현장에서 벤더 제품을 가려내고 시뮬레이터 파일럿을 판정하는 방법을 덧붙였습니다.

핵심 메커니즘

Agent-Environment Loop: 세 유형을 가르는 바닥 틀

강화학습의 기본 틀로, 에이전트와 세계가 행동과 관측을 주고받는 순환입니다. 요소는 넷입니다. Agent(사람·로봇·소프트웨어)가 Action을 하면 세계의 State가 바뀝니다. State는 한 순간의 세계를 빠짐없이 적은 기술인데, 에이전트는 이것을 직접 보지 못하고 카메라 픽셀이나 센서값 같은 Observation만 받습니다. 이렇게 일부만 보이는 상황을 POMDP(Partially Observable Markov Decision Process, 부분 관측 마르코프 결정 과정)로 형식화합니다. POMDP에서 에이전트는 지금까지의 관측으로 상태를 추정한 belief(믿음 상태)를 들고 다음 행동을 정합니다.

계보는 길게 이어집니다. Kenneth Craik는 1943년에 마음이 현실의 작은 모형을 머릿속에서 돌려 본다고 제안했고 이 생각은 1980년대 말~1990년대 초 신경망 연구로 넘어왔습니다. Ha와 Schmidhuber의 2018년 논문 『World Models』는 관측을 압축하는 부분과 다음 상태를 예측하는 부분을 학습시켜, 에이전트가 모델이 만든 가상 환경 안에서 정책을 훈련할 수 있음을 보였습니다. 저자의 요점은 세 유형이 모두 이 루프를 다르게 투영한 것이라는 데 있습니다. 가상 예시로 물류센터 피킹 로봇을 보면, 손목 카메라 영상을 만들어 내는 것은 Renderer, 선반 위 상자의 위치·무게·마찰을 계산하는 것은 Simulator, 집게의 위치와 힘을 정하는 것은 Planner의 몫입니다.

Renderer: 사람 눈에 보일 화면을 만드는 모델

Renderer는 관측, 곧 사람이 볼 픽셀을 내놓습니다. 행동이나 프롬프트를 받아 이미지나 영상 프레임을 만들고 맞추려는 기준은 시각적 충실도입니다. 명시적인 3D 구조 없이 무엇이 보일지만 생성하므로, 장면이 구조적으로 맞는지는 모델 안에서 따지지 않습니다. 원문은 텍스트-투-비디오 모델들, 실시간으로 인터랙티브 프레임을 만드는 Google Genie 3, World Labs의 RTFM, 잠재 사용자가 수억 명인 Google Nano Banana(이미지 생성)를 예로 들고 세 유형 가운데 상업적으로 가장 성숙했다고 봅니다.

사람이 보고 판단을 끝내는 일에 맞습니다. 마케팅 영상, 콘셉트 시안, 교육용 장면이 그렇습니다. 화면에서 치수나 충돌 여부를 꺼내 써야 하는 일에는 맞지 않습니다. 가상 예시로, 신형 운반 설비의 홍보 영상 시안 10개를 하루에 뽑는 데는 Renderer로 충분하지만 그 영상 속 통로 폭을 재서 설비 배치를 정하면 안 됩니다.

Simulator: 검사해도 무너지지 않는 세계 상태를 계산하는 모델

Simulator는 상태를 내놓습니다. 장면 사양이나 프롬프트를 받아 기하·물리·동역학이 맞는 세계 표현을 만들고 그 결과는 프로그램이 계산에 쓸 수 있는 구조를 갖춥니다. 기준은 구조적 충실도입니다. 어느 방향에서 들여다봐도 기하가 유지되고 물체는 뉴턴 법칙대로 움직이며 시간에 따른 변화가 올바라야 합니다. 결과를 쓰는 쪽은 둘입니다. 건축가, 디자이너, 영화 제작자, 게임 개발자 같은 사람과, 강화학습 에이전트·로봇 제어기·자율주행 시스템 같은 프로그램입니다. 프로그램은 현실에서 해 보기에 위험하거나 비싼 상황을 시뮬레이터 안에서 학습합니다.

원문의 예는 둘입니다. World Labs의 Marble은 텍스트, 이미지, 영상, 공간 스케치를 받아 돌아다닐 수 있는 3D 환경을 만들고 눈으로 보기 위한 Gaussian splats와 물리 엔진이 읽는 collision mesh를 함께 내보냅니다. NVIDIA Omniverse는 공장, 창고, 공급망의 디지털 트윈에 쓰이며 NVIDIA는 이 시장을 1조 달러 이상으로 추정합니다(NVIDIA 추정). 쓰임새로는 로봇 학습, 자율주행 테스트, 건축 시각화, 엔지니어링, 신약 개발이 꼽힙니다. 가상 예시로 공장 레이아웃을 바꿀 때는 설비 치수, 통로 폭, 무인운반차의 회전 반경이 미터 단위로 맞아야 하고 충돌 여부를 사람이 아니라 프로그램이 판정해야 하므로 Simulator가 필요합니다.

Planner: 관측과 목표에서 다음 행동을 고르는 모델

Planner는 행동을 내놓습니다. 관측과 목표를 받아 다음에 할 일을 정합니다. 방향으로 보면 Renderer의 역입니다. Renderer가 행동을 관측으로 바꾼다면 Planner는 관측을 행동으로 바꿔 지각과 행동의 루프를 닫습니다. 기준은 정해지지 않은 환경에서도 효과적으로 행동하는가인데, 이를 재는 공통 지표는 아직 없습니다. 접근법으로는 VLA(Vision-Language-Action, 영상과 언어를 받아 행동을 내는 모델), model-based 시스템, World Action Models가 있고 원문은 특정 기업을 꼽지 않습니다. 쓰임새는 주방, 창고, 수술실에서 일하는 로봇입니다.

세 유형 가운데 가장 초기 단계입니다. 지난 2년의 데모는 통제된 실험실, 좁은 물체 집합, 짧은 시간 범위에 머물렀고 실제 현장의 복잡도와 작업 길이에서 검증된 것은 없다고 저자는 적습니다. 가상 예시로, 토트 피킹 로봇에 카메라 영상과 ‘빨간 상자를 B칸으로’라는 목표를 주면 Planner가 집게 궤적을 냅니다. 지금은 물체 종류가 적고 동작이 짧은 작업에서 시험해 볼 단계입니다.

Simulation as Linchpin: Simulator가 중심인 이유

저자의 논리는 이렇습니다. 언어는 세계를 추상화하고 픽셀은 세계를 한 방향으로 투영한 결과이며 기하·물리·동역학은 세계 그 자체입니다. 그러니 시뮬레이션을 갖춘 모델은 그 이해를 픽셀로 내보내 사람에게 보여 줄 수도, 행동의 결과로 내보내 로봇에게 줄 수도 있습니다. 렌더링만 하거나 계획만 하는 모델은 둘 다를 채우지 못합니다. Renderer는 정확성이 아니라 그럴듯함을 맞추므로 건물 설계나 로봇 학습에 믿고 쓰기 어렵고 Planner는 데모와 안정적인 배포 사이의 거리가 아직 멀다는 것이 저자의 판단입니다.

저자는 Simulator 쪽에 남은 문제 네 가지를 듭니다. 첫째, 기하·재질·물리 주석이 붙은 3D 데이터는 인터넷 영상보다 몇 자릿수 적습니다. 둘째, 시뮬레이션에서 배운 것이 현실에서 그대로 통하지 않는 sim-to-real gap이 여전합니다. 셋째, 생성형 시뮬레이터는 보기엔 맞지만 면이 서로 뚫고 지나가거나 스케일이 틀린 기하를 만들 수 있고 그러면 물리 계산이 엉망이 됩니다. 넷째, 강체·변형체·유체·천을 함께 다루는 다중 물리 시뮬레이션은 한 영역만 다룰 때보다 훨씬 비쌉니다. 아래 기술 디테일의 검증 항목은 이 네 문제에 하나씩 대응합니다.

Unified World Model: 경계가 무너지는 방향

세 유형은 서로 섞이고 있고 각자 결과를 한 번 내놓고 끝나는 방식에서 주고받는 방식으로 옮겨 갑니다. Renderer는 행동을 입력으로 받는 action-conditioned 모델로, Simulator는 더 제어하고 편집할 수 있는 세계로, Planner는 즉각 반응하던 것에서 미리 따져 보는 쪽으로 갑니다. 원문은 수렴의 예로 두 가지를 듭니다. 로보틱스 연구실들이 사전학습된 영상 Renderer를 세계와 행동을 함께 예측하는 backbone으로 쓸 수 있음을 적어도 개념적으로 보였고 Marble은 한 모델에서 Gaussian splats와 collision mesh를 함께 내보내 Renderer와 Simulator의 경계를 흐립니다.

종착점은 사실적인 화면, 물리적으로 정확한 구조, 행동 계획을 필요에 따라 출력 모드만 바꿔 내놓는 통합 world model입니다. 남은 과제는 두 가지입니다. 인터넷 영상은 넘치지만 3D 자산과 로봇 시연 데이터는 적다는 불균형, 그리고 보기 좋은 화면을 맞추다 보면 로봇과 시뮬레이션에 필요한 정밀도를 잃는다는 긴장입니다. 저자는 이 긴장을 한 아키텍처 안에서 푸는 것이 결정적인 열린 문제라고 보고 World Labs는 Marble로 이를 풀어 가겠다고 밝힙니다.

통념과 다른 주장

저자가 든 사례

Marble: 화면과 충돌 형상을 한 번에 내보내는 생성형 시뮬레이터

구분	내용
상황	3D 환경을 만들려면 화면용 자산과 물리 엔진용 자산을 따로 준비해야 함
한 일	텍스트·이미지·영상·공간 스케치를 받아 돌아다닐 수 있는 3D 환경 생성. Gaussian splats와 collision mesh를 함께 출력
결과	성능 수치는 원문에서 밝히지 않음. 저자는 Renderer와 Simulator의 경계를 흐리는 예로 듦
연결	Simulator, Unified World Model. World Labs 제품

NVIDIA Omniverse: 공장·창고·공급망의 디지털 트윈

구분	내용
상황	공장, 창고, 공급망을 실제로 바꾸기 전에 가상으로 시험해야 함
한 일	디지털 트윈 플랫폼으로 산업 현장의 세계 상태를 표현
결과	NVIDIA는 Omniverse 시장을 1조 달러 이상으로 추정(NVIDIA 추정). 도입 성과 수치는 원문에서 밝히지 않음
연결	Simulator의 산업 쪽 대표 사례

로봇 Planner 데모와 영상 backbone

구분	내용
상황	주방·창고·수술실에서 일할 로봇은 관측과 목표에서 행동을 골라야 함
한 일	VLA, model-based, World Action Models로 접근. 일부 연구실은 사전학습된 영상 Renderer를 세계·행동 동시 예측의 backbone으로 씀
결과	지난 2년의 데모는 통제된 실험실, 좁은 물체 집합, 짧은 시간 범위. 실제 복잡도에서 검증된 것은 없음
연결	Planner, Unified World Model

기술 디테일: 벤더 제품을 기능별로 가려 쓰려면

아래는 글의 분류를 제조·물류 과제에 옮길 때 필요한 설계로, AX Review가 새로 작성했습니다. 도구 이름은 흔히 쓰이는 예이고 기준값은 가상 예시입니다.

출력 계약으로 세 기능을 판별하려면(세 유형과 연결) 데모 영상 대신 산출물 파일을 받습니다. Renderer라면 mp4나 png 프레임이 나오고 단위가 없습니다. Simulator라면 씬 파일(USD, glTF, OBJ 등)에 미터 단위 기하, 충돌 형상, 질량·마찰·반발 계수 같은 물리 속성이 붙어 나옵니다. Planner라면 관절 각도, 말단 위치, 그리퍼 명령의 시계열이 나옵니다. 계약서의 인수 조건에도 이 형식을 적습니다. 아래는 창고 통로 하나를 Simulator 산출물로 받을 때의 인수 요청 가상 예시입니다.

{
  "deliverable": "warehouse_aisle_03",
  "scene_format": "usd",
  "units": "meters",
  "visual": { "format": "gaussian_splat | textured_mesh" },
  "collision": { "format": "mesh", "watertight": true, "max_self_intersections": 0 },
  "physics": { "mass_kg": "required", "friction": "required", "restitution": "required" },
  "reference_dims": [
    { "object": "rack_A_height", "measured_m": 2.70, "tolerance_pct": 1.0 },
    { "object": "aisle_width", "measured_m": 3.20, "tolerance_pct": 1.0 },
    { "object": "pallet_T11", "measured_m": 1.10, "tolerance_pct": 1.0 }
  ],
  "regenerations": 3
}

기하 유효성을 자동으로 재려면(남은 문제 셋째와 연결) 씬을 받자마자 스크립트로 검사 게이트를 돌립니다. trimesh, Open3D 같은 오픈소스 메시 도구로 메시가 닫혀 있는지(watertight), 자기 교차가 몇 개인지, 뒤집힌 법선과 떠 있는 조각이 있는지, 물체끼리 얼마나 파고들었는지를 셉니다. 가상 기준으로 collision mesh의 자기 교차 0개, 물체 간 침투 5mm 이하를 통과선으로 둡니다. 화면용 Gaussian splats는 이 검사 대상이 아니므로, 판정은 collision mesh에서만 합니다.

스케일을 확인하려면 현장에서 줄자로 잰 기준 치수 5~10개를 미리 정합니다. 문 높이, 랙 높이, 통로 폭, 1,100×1,100mm T11 팔레트처럼 규격이 알려진 물체가 좋습니다. 생성된 씬에서 같은 치수를 재어 오차율을 냅니다. 같은 입력으로 3회 생성해 치수 편차도 봅니다. 생성형 모델은 실행마다 결과가 다를 수 있으므로, 편차의 표준편차가 허용 오차의 3분의 1을 넘으면 그 모델 출력은 한 번 생성으로 쓰지 않고 기준 치수로 보정합니다. 신제품 설계 검토처럼 CAD 원본이 이미 있는 경우에는 생성형 시뮬레이터보다 CAD에서 바로 시뮬레이션 모델을 만드는 쪽이 정확합니다. 생성형 Simulator가 값을 하는 곳은 도면이 낡았거나 없는 기존 공장·창고를 빠르게 3D로 옮기는 일입니다.

물리가 맞는지 간단히 보려면 세 가지 sanity test를 둡니다. 1m 높이에서 떨어뜨린 상자의 낙하 시간은 약 0.45초여야 합니다. 경사면에서 물체가 미끄러지기 시작하는 각도의 탄젠트는 설정한 마찰계수와 같아야 합니다. 팔레트에 상자를 쌓아 10초 동안 두었을 때 설정상 안정한 적재가 무너지지 않아야 합니다. 이론값과 10% 넘게 어긋나면 물리 속성이나 collision mesh를 고칩니다. 변형체·유체·천이 섞인 과제(포장재, 액체 충전, 케이블)는 다중 물리 비용이 크게 뛰므로(남은 문제 넷째), 파일럿은 강체만 다루는 과제로 시작합니다.

sim-to-real 차이를 재려면(남은 문제 둘째와 연결) 같은 작업을 시뮬레이터와 실물에서 같은 횟수만큼 돌려 성공률을 비교합니다. 가상 예시로 상자 피킹 50회를 양쪽에서 돌려 성공률 차이가 10%p 안이면 통과로 봅니다. 차이가 크면 조명, 텍스처, 마찰계수를 일정 범위(예: ±20%)에서 무작위로 바꿔 가며 학습하는 domain randomization을 넣고 다시 잽니다. 3D 데이터가 적다는 문제(남은 문제 첫째)는 우리 쪽에서 보면 기회입니다. 사내 CAD, 설비 도면, 레이저 스캔은 벤더가 인터넷에서 구할 수 없는 자산이므로, 파일럿 계약에 이 데이터의 사용 범위와 학습 사용 금지 여부를 명시합니다.

Renderer와 Planner를 시험할 때는 기준이 다릅니다. Renderer는 사람 평가로 봅니다. 시안 20개를 마케팅 담당 3명이 5점 척도로 매기고 로고·제품 형상·안전 표지가 틀린 장면은 점수와 상관없이 탈락시킵니다. Genie 3처럼 행동을 받아 화면을 이어 그리는 모델이라면, 한 바퀴 돌아 같은 자리로 왔을 때 처음 본 설비가 같은 모습으로 있는지도 봅니다. Planner는 데모 조건부터 확인합니다. 물체 종류 수, 한 작업의 길이, 환경을 얼마나 통제했는지를 묻고 우리 현장 조건으로 30회 이상 재현해 성공률과 사이클 타임을 잽니다.

현업 실행 디테일: 누가, 언제, 무엇을

역할	담당	6주 동안 하는 일
스폰서	CTO 또는 R&D 센터장	과제 1개와 예산 승인, 6주차 판정 회의 주재
과제 오너	생산기술·설비 엔지니어 1명	기준 치수 선정, 현장 실측, 결과의 현장 타당성 확인
시뮬레이션 엔지니어	1명	검사 게이트 스크립트, 물리 sanity test, 벤더 산출물 인수
로봇 엔지니어	1명(로봇 과제일 때)	sim과 실물 반복 시험, 성공률 비교
데이터 담당	CAD·스캔 관리자 1명	제공할 도면·스캔 범위 정리, 보안 등급 확인
구매·법무	각 1명	산출물 소유권, 사내 데이터 학습 사용 금지 조항

벤더 실사 질문표. 영업 자료에 world model이라고 적혀 있으면 아래 여섯 질문을 보내고 답이 어느 열에 들어가는지로 기능을 가립니다. 답이 두 열에 걸치면 어느 출력을 계약 대상으로 할지 계약서에 적습니다.

질문	Renderer라면	Simulator라면	Planner라면
산출물 파일은 무엇입니까?	영상·이미지	씬 파일과 물리 속성	행동 시계열·제어 명령
단위가 있습니까?	없음(픽셀)	미터·킬로그램	관절 각·속도·힘
시점을 바꾸거나 물체를 옮기면?	다시 생성	같은 상태 유지	해당 없음
외부 물리 엔진으로 내보낼 수 있습니까?	아니요	예(collision mesh)	제어기와 연동
품질을 무엇으로 잽니까?	사람 평가·시각 지표	치수 오차·충돌·물리 검사	작업 성공률·사이클 타임
데모 조건은 무엇이었습니까?	프롬프트	장면 크기·입력 자료	실험실 여부, 물체 수, 작업 길이

우리 과제와 유형 매핑.

과제	맞는 유형	꼭 맞아야 하는 것	넣을 데이터	주의
신제품 설계 검토	외관 리뷰는 Renderer, 간섭·조립 검토는 Simulator	치수, 간섭	CAD 원본	CAD가 있으면 생성형보다 CAD 기반이 정확
공장 레이아웃 변경	Simulator	스케일, 충돌, 동선	실측 치수, 설비 목록, 스캔	기준 치수 오차 ±1% 확인
물류센터 동선·운반차	Simulator, 이후 Planner 시험	통로 폭, 회전 반경	랙 배치도, 운반차 사양	강체만 먼저
로봇 피킹·조립 학습	Simulator로 학습 환경, Planner로 정책	sim-to-real 성공률 차이	물체 3D 모델, 실물 시험 50회	데모 조건과 현장 조건 비교
마케팅·교육 영상	Renderer	브랜드·안전 표지 정확성	제품 이미지, 브랜드 가이드	화면에서 치수를 재지 않음

시작 전 준비물: 과제 1개의 현장 실측 기준 치수 5~10개, 해당 구역의 도면이나 레이저 스캔, 설비·물체의 질량과 재질 목록, 로봇 과제라면 실물 시험을 돌릴 셀 하나와 50회분 시험 시간, 벤더에 보낼 실사 질문표.

주차	할 일	산출물
1주	과제 선정, 유형 매핑, 기준 치수 실측	과제 정의서, 기준 치수표
2주	벤더 2곳에 실사 질문표 발송, 산출물 수령	질문 답변 비교표
3주	기하 게이트, 스케일 오차, 3회 생성 편차 측정	기하·스케일 검사 결과
4주	물리 sanity test 3종	물리 검사 결과
5주	sim과 실물 각 50회 반복 시험(로봇 과제)	성공률 비교표
6주	판정 회의, 확대 여부 결정	판정 보고서

담당자 확인 질문: 이 과제에서 틀리면 가장 비싼 숫자는 무엇입니까(통로 폭, 하중, 사이클 타임)? 그 숫자를 지금은 무엇으로 확인합니까? 결과를 사람이 보고 끝냅니까, 다른 프로그램이 읽습니까? 도면이 실제 현장과 다른 곳은 어디입니까? 벤더에 줄 수 없는 도면이나 공정 정보는 무엇입니까?

진행 판정 기준(가상 예시): collision mesh 자기 교차 0개, 기준 치수 10개 중 9개 이상이 ±1% 안, 물리 sanity test 3종 모두 이론값 ±10% 안, sim과 실물 성공률 차이 10%p 안, 쓸 수 있는 씬을 만드는 데 드는 사람 수정 시간이 기존 수작업 모델링의 50% 이하이면 다음 구역으로 넓힙니다. 기하나 스케일에서 떨어지면 해당 벤더 산출물은 시각화 용도로만 쓰고 계산이 필요한 과제는 기존 CAD 기반 시뮬레이션으로 돌립니다.

AX 적용 제언. 제조·물류 기업이 이 글에서 가져갈 것은 구매 기준입니다. world model이라는 이름보다 산출물이 화면인지, 세계 상태인지, 행동인지를 먼저 묻고 과제마다 그에 맞는 품질 기준으로 계약합니다. 순서는 마케팅·교육 영상에서 Renderer를 먼저 써서 빠른 성과를 내고 공장·창고 레이아웃처럼 강체만 다루는 Simulator 파일럿으로 넘어간 뒤, sim-to-real 차이가 확인된 셀에서 Planner를 시험하는 쪽이 무난합니다. 사내 CAD·도면·스캔은 3D 데이터가 귀한 이 분야에서 우리 쪽 협상 카드이므로, 데이터 담당과 법무가 파일럿 첫 주부터 들어와야 합니다. 디지털 트윈을 이미 운영 중인 조직이라면, 그 트윈을 Simulator 기준(기하·스케일·물리)으로 다시 점검하는 일부터 시작해도 됩니다.

원문 사례

항목	내용
저자·발표처	Fei-Fei Li(World Labs 팀과 함께), Substack, 2026.06.03
이해관계	저자는 World Labs 공동창업자. Marble·RTFM은 World Labs 제품
바닥 틀	강화학습의 agent-environment loop(Sutton & Barto), POMDP. 요소: Agent, Action, State, Observation
분류 축	출력 유형(관측·상태·행동), 최적화하는 품질 기준, 결과를 쓰는 쪽
Renderer	출력 픽셀, 기준 시각적 충실도. 예: 텍스트-투-비디오 모델, Google Genie 3, World Labs RTFM, Google Nano Banana. 상업적으로 가장 성숙
Simulator	출력 상태, 기준 구조적 충실도. 예: World Labs Marble(Gaussian splats와 collision mesh), NVIDIA Omniverse(시장 1조 달러 이상, NVIDIA 추정)
Planner	출력 행동, Renderer의 역. 접근: VLA, model-based, World Action Models. 가장 초기 단계
중심 주장	Simulator가 가장 덜 주목받지만 가장 결정적
남은 문제	3D 데이터 희소, sim-to-real gap, 생성 기하 오류(자기 교차·스케일), 다중 물리 비용
전망	출력 모드를 바꾸는 통합 world model. 과제는 데이터 불균형과 시각 품질·정밀도의 긴장
계보	Kenneth Craik(1943), 1980년대 말~1990년대 초 신경망

핵심 개념

POMDP

세계의 참 상태를 볼 수 없고 관측만 받는 상황에서 행동을 고르는 문제를 적는 수학 틀.

belief(믿음 상태)

POMDP에서 지금까지의 관측으로 추정한 상태의 확률 분포.

Gaussian splats

장면을 수많은 작은 반투명 타원체로 나타내는 3D 표현. 눈으로 보기에 사실적이지만 충돌 계산용은 아니다.

collision mesh

물리 엔진이 충돌과 접촉을 계산하는 데 쓰는 단순화된 형상.

sim-to-real gap

시뮬레이터에서 배운 행동이 실물에서 같은 성과를 내지 못하는 차이.

domain randomization

조명·텍스처·물리 값을 무작위로 바꿔 가며 학습해 sim-to-real 차이를 줄이는 기법.

action-conditioned

다음 화면이나 상태를 만들 때 에이전트의 행동을 입력으로 받는 방식.

multi-physics(다중 물리)

강체·변형체·유체·천처럼 성질이 다른 물리를 한 시뮬레이션에서 함께 계산하는 것.

내 메모

TODO: 내 생각 추가

원문: Fei-Fei Li(World Labs 팀과 함께), “A Functional Taxonomy of World Models”(Substack, 2026.06.03). 요약·메커니즘·통념과 다른 주장·사례·원문 사례 표는 글의 내용을 AX Review가 다시 정리했습니다. POMDP와 belief, world model의 계보는 Richard Sutton·Andrew Barto의 『Reinforcement Learning: An Introduction』, Kaelbling·Littman·Cassandra의 POMDP 논문(1998), Kenneth Craik의 『The Nature of Explanation』(1943), David Ha·Jürgen Schmidhuber의 『World Models』(2018)로 보강했습니다. 기술·현업 디테일, 인수 요청 JSON, 실사 질문표, 과제 매핑표, 검증 기준, 일정, 인포그래픽은 새로 작성했으며 기준값은 가상 예시입니다. 원문 전체는 Substack에 있습니다.