I.4. VR 모션 캡처 데이터와 인간 시연 데이터 활용

Tesla는 Optimus의 학습을 위해 대규모의 인간 동작 데이터셋을 구축하고 있으며, 이를 위해 VR 모션 캡처 기술을 활용하고 있습니다. 2024년 Tesla는 사람들이 모션 캡처 수트와 VR 헤드셋을 착용하고 하루에 최대 7시간씩 걸어 다니며 작업 동작을 수행하는 데이터 수집 오퍼레이터를 채용한다는 공고를 내기도 했습니다​[iotworldtoday.com] .

모션 캡처 수트는 사람의 관절 움직임과 자세를 정밀하게 기록하고, VR 헤드셋을 통해 가상환경에서 특정 작업 시나리오를 제시함으로써, 인간이 로봇 역할을 연기하며 다양한 동작 데이터를 만들게 됩니다​. 예컨대, 사람이 VR로 공장 작업자 역할을 맡아 부품을 들어 올려 지정된 곳에 끼우는 행동을 하면, 그 전신 동작 데이터가 그대로 저장되어 Optimus의 학습 데이터로 사용됩니다. Tesla는 이러한 인간 시연(human demonstrations) 데이터를 모방 학습에 활용하여, 로봇이 처음부터 시행착오를 겪지 않고도 시연된 행동을 그대로 따라하는 정책을 얻도록 합니다​[analyticsindiamag.com].

구체적으로, 수집된 시연 데이터는 Behavior Cloning 등 지도학습 방식으로 신경망에 주입되어 초기 정책 네트워크를 훈련하는 데 사용됩니다. 예를 들어 사람이 걷는 모션캡처 데이터를 통해 Optimus의 보행 신경망에 인간 보행의 궤적 패턴을 모방시킴으로써, 로봇이 보다 안정적으로 걷기 시작할 수 있습니다. 또한 강화학습 단계에서도 이 인간 데이터가 유용하게 쓰이는데, 보상 함수 설계에 인간 동작을 참고하거나, Adversarial Imitation Learning 기법 (생성적 적대 모방학습)을 통해 로봇의 움직임이 인간스러운 분포에 가깝도록 유도합니다.

 

Tesla의 데이터 수집 전략에는 원격 조작도 포함됩니다. 앞서 언급한 VR를 활용한 방식은 사실상 사람이 가상으로 Optimus를 조종하는 것과 다름없습니다. Tesla는 필요에 따라 텔레옵션(teleoperation) 모드로 사람 조작자가 직접 로봇을 움직이게 하고, 그 때의 로봇 센서 데이터 및 제어 명령을 모두 기록합니다. 이렇게 하면 모션캡처 수트로 얻은 데이터보다, 로봇 자체의 관점에서 수집된 데이터 (온보드 카메라 영상, 관절각/토크 등)를 확보할 수 있어 더욱 학습에 적합합니다. 수집된 시연 데이터들은 Dojo 슈퍼컴퓨터 상에서 대량으로 처리되어, 수많은 변형 시나리오로 증강되고 신경망 학습에 투입됩니다. 요약하면, VR 모션 캡처와 인간 시연 데이터는 Optimus에게 “사람처럼 생각하고 움직이는 법” 을 가르치는 교본 역할을 하며, 이를 통해 지도학습→강화학습으로 이어지는 학습 사이클의 초기 정책과 시연 기반 보상을 제공합니다​[electrek.co].