피지컬AI 월드 모델 쉽게 이해하기, 로봇이 다음 장면을 예측하는 법

작성일 26. 11. 12.조회 11

월드 모델은 로봇이 '내가 이렇게 움직이면 다음에 무슨 일이 생길까'를 머릿속으로 먼저 그려 보게 해 주는 AI입니다. 2026년 10월에는 국내 마음AI가 월드 모델을 붙여 로봇 작업 성공률을 끌어올린 결과를 내놓았고, 미국 런웨이는 영상으로 배운 월드 모델을 로봇 제어에 쓰겠다고 밝혔습니다. 제조 기업이 당장 할 일은 모델을 직접 만드는 것이 아닙니다. 현장 영상과 작업 데이터를 모으고, 로봇이 실패하는 장면을 기록해 두는 것부터 시작하면 됩니다.

피지컬AI 월드 모델이란 무엇인가

월드 모델(World Model)은 말 그대로 세상이 어떻게 돌아가는지를 담은 모델입니다. 물건을 밀면 미끄러지고, 컵을 기울이면 물이 쏟아지고, 상자를 놓으면 아래로 떨어진다는 식의 물리적 인과관계를 데이터로 배웁니다. 그리고 지금 보이는 장면과 로봇이 하려는 행동을 입력받아 바로 다음 순간의 모습을 예측합니다.

사람에게 비유하면 '상상력'에 가깝습니다. 숙련된 작업자는 부품을 집기 전에 손이 어디로 가야 하는지, 잘못 잡으면 어떻게 될지를 머릿속으로 먼저 그려 봅니다. 월드 모델은 로봇에게 이런 예측 능력을 주려는 기술입니다.

대규모 언어 모델이 '다음에 올 단어'를 예측한다면, 월드 모델은 '다음에 올 장면과 상태'를 예측한다고 보면 이해가 쉽습니다. 세계경제포럼이 2026년 10대 유망 기술에 월드 모델을 넣은 것도 로봇과 자율주행처럼 몸을 가진 AI에 꼭 필요한 기술로 보기 때문입니다.

월드 모델의 작동 원리: 관찰, 예측, 행동

월드 모델이 일하는 흐름은 크게 세 단계로 볼 수 있습니다.

- 관찰: 카메라 영상, 관절 각도, 힘 센서 값처럼 로봇이 지금까지 보고 느낀 정보를 받습니다. - 예측: 특정 행동을 했을 때 몇 초 뒤 장면과 상태가 어떻게 바뀔지 계산합니다. - 행동: 여러 후보 행동의 결과를 미리 비교해 가장 나은 행동을 고르거나, 로봇 두뇌(정책 모델)가 더 나은 판단을 내리도록 돕습니다.

여기서 중요한 선택지가 두 가지 있습니다. 하나는 미래 장면을 영상처럼 통째로 그려 내는 방식입니다. 사람이 보기에 직관적이고 시뮬레이션 용도로도 쓸 수 있지만 계산량이 큽니다. 다른 하나는 판단에 필요한 핵심 특징만 압축해서 예측하는 방식입니다. 그림은 그리지 않지만 가볍고 빨라서 실시간 제어에 유리합니다.

월드 모델은 쓰임새도 두 갈래입니다. 로봇 안에 들어가 실시간 판단을 돕는 '예측 엔진'으로 쓰기도 하고, 로봇 밖에서 학습용 가상 데이터를 만들거나 새 로봇 프로그램을 미리 시험해 보는 '가상 실험장'으로 쓰기도 합니다. 엔비디아가 2026년 6월 1일 GTC 타이베이에서 공개한 오픈 월드 모델 코스모스 3가 대표적인 후자 사례로, 로봇 학습용 합성 데이터 생성에 주로 쓰입니다.

최근 사례 1: 마음AI, 월드 모델로 로봇 성공률 개선

국내 AI 기업 마음AI는 2026년 10월 29일 로봇 AI 모델 'PonderPounce-WM'을 발표했습니다. 기존 로봇 모델인 PonderPounce에 월드 모델을 결합한 버전입니다.

회사 발표에 따르면 이 모델은 과거의 관찰과 행동 기록을 바탕으로 0.5초, 1초, 2초 뒤의 시각적 특징과 상태 변화를 예측합니다. 미래 장면 전체를 영상으로 만들지 않고 판단에 필요한 핵심 특징만 예측하도록 가볍게 설계해 실시간 제어가 가능하게 했다는 설명입니다. 앞에서 말한 두 번째 방식을 택한 셈입니다.

성능은 로봇 기억력 평가 벤치마크인 RoboMME로 측정했습니다. 미국 미시간대, 스탠퍼드대, 피규어AI 연구진이 만든 이 시험은 시간·공간·물체·절차 기억을 묻는 16개 작업으로 이뤄져 있습니다. 새 모델의 성공률은 67.42%로, 9월에 기존 모델이 낸 60.83%보다 6.59%포인트 높아졌습니다. 실제 로봇을 실시간으로 제어한 평가에서도 67.44%를 기록했다고 밝혔습니다. 다만 회사가 발표한 수치인 만큼, 다양한 물체와 환경에서 추가 검증이 필요하다는 지적도 함께 나왔습니다.

이 과제는 과학기술정보통신부의 '피지컬 AI 선도기술개발' 사업에 포함된 월드 모델 개발 과제입니다. 2026년 6월 9일 착수한 이 사업은 2년간 340억 원 규모로, LG전자가 주관하고 마음AI, 로보티즈, KT, 한국과학기술원, 서울대 등 산학연 10개 기관이 참여합니다. 월드 모델을 적용하지 않았을 때보다 실제 로봇의 동작 성공률을 20%포인트 이상 높이는 것이 목표이고, 마지막 단계에서는 제조·물류 현장 실증을 계획하고 있습니다.

최근 사례 2: 런웨이, 영상으로 배운 월드 모델을 로봇에

영상 생성 AI로 알려진 미국 런웨이는 10월 초(로봇 전문 매체 더로봇리포트 2026년 10월 2일 보도) 로봇용 '월드 액션 모델' Praxis-1을 공개했습니다. 장면을 예측하는 월드 모델에 행동 생성까지 묶은 모델입니다.

핵심 아이디어는 데이터 확보 방식에 있습니다. 사람이 로봇을 원격으로 조종해 모으는 시연 데이터는 비싸고 양이 적습니다. 반면 사람이 물건을 다루는 일반 영상은 훨씬 많습니다. 런웨이는 제3자 시점 영상으로 사전 학습을 하고, 영상을 많이 학습할수록 로봇 정책 성능이 좋아진다고 설명했습니다. 또 자사 월드 모델 안에서 로봇 프로그램을 시험한 결과가 실제 결과와 0.95의 상관관계를 보였다고 주장했습니다.

현재는 노블머신즈(양팔 조작), 스탠다드봇(6축 로봇팔), 울트라(이동형 로봇) 등 초기 파트너가 각자 하드웨어에서 시험하고 있습니다. 앞으로 몇 달 안에 가중치를 공개하는 오픈 모델로 내놓을 계획입니다. 다만 투명한 물체, 어지럽게 가려진 물체, 천처럼 형태가 바뀌는 물체는 아직 실패 사례로 꼽혔습니다.

자주 묻는 질문

Q. 월드 모델과 디지털 트윈은 같은 것인가요?

다릅니다. 디지털 트윈은 실제 공장이나 설비를 설계 데이터와 센서 값으로 가상 공간에 그대로 옮겨 놓은 복제본입니다. 월드 모델은 데이터에서 물리 법칙을 스스로 배워 다음 상황을 예측하는 AI입니다. 둘을 함께 쓰는 사례도 늘고 있습니다.

Q. 월드 모델이 있으면 실제 로봇 데이터가 필요 없나요?

그렇지 않습니다. 월드 모델은 데이터 부족을 덜어 주고 사전 시험 비용을 줄여 주지만, 현장 마무리 학습과 검증에는 여전히 실제 데이터가 필요합니다. 처음 보는 환경에서는 예측이 틀릴 수 있다는 한계도 있습니다.

Q. 중소 제조기업도 지금 관심을 가져야 하나요?

모델을 직접 개발할 필요는 없습니다. 다만 월드 모델 기반 로봇 솔루션이 1~2년 안에 현장 제안으로 들어올 가능성이 크므로, 평가 기준과 데이터 준비는 미리 해 두는 편이 좋습니다.

실무자가 챙길 점

월드 모델은 아직 연구와 실증이 함께 진행되는 단계입니다. 그래도 국내 기업이 지금 준비할 수 있는 일은 분명합니다.

- 현장 영상을 자산으로 보기: 런웨이 사례처럼 일반 작업 영상도 학습 재료가 됩니다. 조립, 포장, 적재 공정을 일정한 각도로 촬영해 두고 보안 기준과 활용 범위를 정해 둡니다. - 실패 장면을 기록하기: 로봇이 놓치거나 떨어뜨리는 장면은 월드 모델 학습과 성능 검증에 특히 쓸모가 있습니다. 실패 유형별로 태그를 달아 둡니다. - 우리 공정의 어려운 물체 파악하기: 투명 용기, 비닐, 케이블처럼 현재 모델이 약한 대상을 미리 정리해 두면, 기술기업과 협의할 때 현실적인 범위를 잡을 수 있습니다. - 평가 지표를 먼저 정하기: 공급사가 내미는 벤치마크 점수보다 우리 라인의 성공률, 사이클 타임, 재시도 횟수를 기준으로 시범 적용을 평가합니다. - 정부 사업 동향을 지켜보기: 과기정통부 피지컬 AI 선도기술개발 사업은 제조·물류 현장 실증을 계획하고 있습니다. 실증 수요처 모집이나 연계 과제에 참여할 기회가 있는지 확인해 둡니다. - 내부 이해도를 높이기: 월드 모델, 로봇 파운데이션 모델, 시뮬레이션의 차이를 의사결정자와 현장 엔지니어가 같은 말로 이해해야 도입 논의가 빨라집니다.

참고 자료

마음AI, 로봇에 '미래 예측' 더했다…작업 성공률 67.42% 기록 (KMJ) https://www.kmjournal.net/news/articleView.html?idxno=14033

[더벨]마음AI, 한국 대표 '월드모델' 최고 기록 경신 (머니투데이) https://www.mt.co.kr/stock/2026/10/29/2026102914539622770

"월드모델 우리 손으로"…정부, 피지컬 AI 핵심기술 국산화 선도사업 착수 (로봇신문) https://www.irobotnews.com/news/articleView.html?idxno=46808

Runway introduces Praxis-1 world action model for robotics (The Robot Report) https://www.therobotreport.com/runway-introduces-praxis-1-world-action-model-robotics/

Introducing Praxis-1: Runway's Open-Weight World Action Model https://runway.com/research/introducing-praxis-1

NVIDIA Launches Cosmos 3, the Open Frontier Foundation Model for Physical AI https://investor.nvidia.com/news/press-release-details/2026/NVIDIA-Launches-Cosmos-3-the-Open-Frontier-Foundation-Model-for-Physical-AI/default.aspx

"처음 보는 환경도 학습"…피지컬 AI 시대 여는 '월드모델' (머니투데이) https://www.mt.co.kr/industry/2026/04/23/2026042316422598158

피직박스(PHYSICBOX)는 기업 대상 AI·피지컬AI 교육과 제조 현장 AX 기술기업 매칭을 운영합니다. 교육·협업 문의: https://www.physicbox.com/inquiry 피직박스 유튜브: https://www.youtube.com/@physicbox_ai

이 글은 공개된 자료를 바탕으로 AI가 초안을 쓰고 피직박스 운영진이 검토해 게시했습니다.

목록으로