II테슬라 Optimus의 기술 스택 분석:

1.    Optimus의 신경망 아키텍처

 테슬라 Optimus의 인공지능 소프트웨어는 자율주행 FSD(Full Self-Driving) 시스템의 신경망 아키텍처를 기반으로 발전했습니다. 실제로 Optimus는 테슬라 FSD 컴퓨터(자율주행 차량에 쓰이는 HW3/HW4 칩셋)를 그대로 두뇌로 사용하며, FSD에서 활용된 뉴럴 네트워크 스택을 공유합니다​. 예를 들어, 자율주행에 쓰이는 Occupancy Network(점유 공간 신경망)을 Optimus에도 적용하여, 카메라 입력으로부터 주변 환경의 3D 공간 지도를 생성하는 방식이 그대로 활용됩니다​. 다만 Optimus용으로는 실내 환경과 물체 조작에 맞춰 훈련 데이터를 새로 수집하고 네트워크를 재훈련해야 했습니다​[notateslaapp.com]. 이는 차량용 FSD가 도로 환경에 특화되어 있었기 때문입니다.

 

두 시스템 모두 멀티 카메라 비전과 딥러닝 기반 추론을 사용하는 점은 공통적이지만, 신경망의 출력과 제어 대상에는 차이가 있습니다. FSD 신경망은 차선을 인식하고 주행 경로를 산출하여 자동차의 조향/속도를 제어하는 반면, Optimus의 신경망은 주변 사물을 인식하고 보행 경로 및 팔/손 동작을 산출하여 다관절 로봇의 관절을 제어합니다. 구조적으로 FSD의 비전 신경망은 8대의 카메라로부터 얻은 영상을 처리하여 도로상의 차량/보행자/신호등 등을 식별하고 주행 가능한 공간(drivable space)을 예측하는 수십 개의 하위 네트워크로 이루어져 있습니다​.

반면 Optimus의 신경망은 이러한 비전 모듈을 공유하면서도, 상위 계층에 로봇 제어 모듈을 추가합니다. Optimus 팀은 자율주행 뉴럴넷을 이족보행 로봇에 이식하여도 잘 동작함을 확인했는데​ , 이는 테슬라가 추구하는 범용 AI 아키텍처의 가능성을 보여줍니다. 다만 로봇의 고속 실시간 제어를 위해, 보행 제어 알고리즘 일부는 신경망보다는 기존 제어공학 기법(예: 궤적 생성 및 참조 제어기)으로 구현되었을 수도 있습니다​[news.accelerationrobotics.com]. 궁극적으로 Optimus는 시각 인식→의사결정→모션 제어로 이어지는 전체 파이프라인을 End-to-End 딥러닝으로 달성하는 것을 목표로 하지만, 초기 프로토타입 단계에서는 안정성을 위해 전통적 제어와 혼합된 형태로 아키텍처를 구성하고 있습니다.