II.5 Optimus의 엣지 컴퓨팅 및 센서 융합

Optimus 로봇은 사람처럼 자율적으로 동작하기 위해, 온디바이스 엣지 컴퓨팅과 다양한 센서 융합 기술을 활용합니다. Optimus의 본체에는 Tesla 자동차에 탑재되는 것과 동일한 FSD 컴퓨터(SoC 기반)가 내장되어 있어, 클라우드에 의존하지 않고 실시간으로 신경망 추론과 제어 계산을 수행합니다​. 2022년 공개된 Optimus 시제품에는 FSD 컴퓨터의 Tesla SoC 칩 2개 중 1개만 사용되는 형태의 **맞춤형 보드(Bot Brain)**가 사용되었는데, 이는 로봇의 크기와 전력 제약을 고려하여 차량 대비 절반 수준의 연산장치로도 충분한 성능을 내게 한 것입니다​[news.accelerationrobotics.com].

최신 버전 Optimus에는 향상된 연산능력을 지닌 HW4 기반 칩셋이 적용되어, 카메라 8개의 고해상도 영상도 실시간 처리하면서 여러 신경망 모듈을 병렬 실행할 수 있습니다. Dojo 슈퍼컴퓨터는 이러한 Optimus 두뇌에 들어갈 거대 신경망들을 훈련하는 역할을 담당합니다. Tesla는 Dojo를 통해 자율주행 차량 수백만 대에서 모은 영상 데이터와 Optimus의 모션캡처 데이터를 동시에 학습시켜, 비디오 기반 거대 모델을 훈련하고 있고, 이 모델이 장차 자율주행차와 로봇의 공통된 두뇌 역할을 할 것이라고 언급했습니다​[teslarati.com].

즉, FSD와 Optimus 모두에서 통하는 비전-플래닝 통합 AI 모델을 Dojo가 뒷받침하고 있으며, 이렇게 훈련된 거대 신경망이 Optimus의 온보드 SoC에 배포되어 구동되는 구조입니다.

Optimus에는 다양한 센서들이 장착되어 있으며, Tesla는 이들 멀티모달 센서 데이터의 융합(fusion)을 통해 안정적 제어를 구현합니다. 우선 카메라 센서들은 시각 정보로 주변 환경을 인식하고 지도화하는 용도입니다. 앞서 설명한 8개의 광시야각 카메라 배치는 로봇 주변 360도를 커버하며, 사람의 머리 회전과 비슷한 범위로 시야를 확보합니다​[yourstory.com].

카메라로 포착된 정보는 주로 인지 및 경로계획에 활용되며, 다른 센서와 비교적 저속 (수십 Hz) 으로 융합됩니다. 다음으로 관성측정장치(IMU) 는 3축 가속도계와 자이로로 구성되어 로봇의 자세, 기울기, 각속도 등을 고속으로 측정합니다. IMU는 Optimus의 자세 안정화와 밸런싱에 필수적인 센서로, 이 값이 다리 관절 각도 센서와 함께 실시간 처리됨으로써 로봇이 기울어지거나 미끄러질 때 즉각적으로 균형을 잡도록 합니다​[notateslaapp.com].

또 다른 핵심 센서는 토크/포스 센서입니다. 각 관절 구동기에 내장된 토크 센서와, 손목이나 발목 부근에 장착된 6축 힘센서를 통해, 로봇은 자기 관절에 가해지는 힘과 접촉 힘을 감지합니다 . 이를테면 Optimus의 발바닥에는 6축 힘-토크 센서가 있어 한 쪽 발에 실리는 수직하중, 무게중심 이동 등을 측정하며, 이를 기반으로 실시간 보행 균형 제어를 수행합니다. 이처럼 다수의 관절각 엔코더, 모터 전류 센서, 토크센서, IMU로부터 얻은 자기 상태(proprioception) 정보들은 1kHz 이상의 고주파로 로컬 제어기에 입력되고, Extended Kalman Filter 등의 추정 기법으로 통합되어 로봇의 자세/속도 추정치를 산출합니다​[reemanrobot.com] .

센서 융합은 상이한 주기로 들어오는 정보를 일관된 로봇 세계 상태로 만드는 과정입니다. 예를 들어 IMU는 빠르지만 누적 오차가 있고, 카메라는 느리지만 절대적인 위치 인식에 강점이 있습니다. Optimus는 IMU 기반 관성항법으로 짧은 순간의 움직임을 추적하고, 수십 밀리초 단위로 갱신되는 카메라 기반 비전 SLAM으로 전역적인 위치와 지도를 보정합니다. 또한 힘 센싱을 통해 발이 지면에 닿았는지 여부를 판단하고, 카메라 영상으로 얻은 지형 정보와 결합해 다음 발 디딤 위치를 결정합니다. 이러한 융합을 통해 Optimus는 실시간으로 자기 위치를 파악하고 주변 객체를 인지하여, 복잡한 환경에서도 넘어지지 않고 임무를 수행할 수 있습니다. 테슬라는 초기에 비전이 완전히 준비되기 전까지는 기타 센서에 의존하도록 로봇을 훈련시켰고, 실제로 현재 Optimus는 카메라가 없는 상황에서도 균형 보행이 가능할 정도의 내부 안정화를 보여주고 있습니다​[notateslaapp.com].

그러나 궁극적으로는 카메라 비전이 주 센서가 되어, 다른 센서 입력을 보조적으로 활용하는 형태로 단순화할 것입니다​ . 이는 인간이 평소에는 시각에 크게 의존하되, 발바닥의 촉각이나 균형감각은 무의식적으로 사용하는 것과 비슷합니다. 요약하면, Optimus의 기술 스택은 강력한 온보드 AI 컴퓨팅을 기반으로 카메라 비전, IMU, 힘센서 등 멀티센서 데이터를 융합하여 인지-계획-제어의 전 사이클을 수행하는 구조로, Tesla가 FSD로 입증한 엣지 AI와 딥러닝의 힘을 휴머노이드 로봇에 그대로 적용한 사례라고 볼 수 있습니다.