Motion Planning using Network TOO

2023년 CVPR(Computer Vision and Pattern Recognition) WAD(Workshop on Autonomous Driving)에서 테슬라의 Ashok Elluswamy가 발표한 키노트 중, “Motion Planning using Network TOO”는 테슬라가 추구하는 최신 모션 플래닝 접근법을 보여주는 핵심 개념입니다. 기존의 엔지니어링 규칙 기반 로직이나 단순 예측-플래닝 분리 방식을 넘어, 신경망(Neural Network)을 활용해 차량의 실제 주행 경로(trajectory)를 결정하는 시스템을 더욱 고도화·통합했다는 점이 특징입니다. 아래에서는 이 발표의 주요 내용과 의의, 그리고 기술적 핵심 포인트를 정리해보겠습니다.

1) 배경: 테슬라의 자율주행 스택 발전

• 초기 규칙 기반: 테슬라를 포함한 대부분 자율주행 업체들은 과거에 ‘규칙(If-Then)’ 혹은 ‘최적화’ 로직을 통해 경로를 계획(Planning)했습니다. 예: “차간거리가 X 이하이면 속도 감소” 같은 식으로 사람이 코딩한 규칙에 의존.

• 딥러닝 기반 인식(Perception): Vision(카메라)으로부터 객체·차선·환경 정보를 추출하는 부분은 신경망 기반이 확고히 자리 잡았으나, 플래닝(Planning) 단계는 여전히 하이브리드(규칙+AI) 또는 전통적 최적화 기법에 머물러 있었습니다.

• 최근 경향: 테슬라는 “엔드투엔드(End-to-End) AI” 철학을 강조하며, 플래닝 단계 역시 점점 더 신경망 중심으로 옮겨가고 있습니다. 이번 발표의 “Network TOO”는 그러한 흐름의 결정판 중 하나로 볼 수 있습니다.

 

2) “Motion Planning using Network TOO” 개념

Network TOO란 무엇인가?

• 발표에서 사용된 “Network TOO”는 테슬라가 사내에서 사용하는 신경망 기반 모션 플래닝 프레임워크의 별칭으로 추정됩니다(“TOO”는 Trajectory Optimization/Orchestration, 혹은 Tesla 내부 코드명일 가능성).

• 간단히 말해, 차량이 주행해야 할 최적의 궤적(trajectory)을 신경망이 직접 연산/예측/평가하는 통합 구조입니다.

핵심 아이디어

• 기존에는 ‘주변 차량의 움직임 예측(prediction)’ → ‘에고 차량 경로 결정(planning)’ 과정을 순차적으로 분리해왔으나, 이제는 주변 객체 움직임과 에고 차량의 잠재적 경로를 동시에(network 안에서) 고려합니다.

• 즉, 신경망이 입력(Occupancy 정보, 과거 프레임, 환경 맵 등)을 받고, 여러 후보 경로를 생성·평가 후, 가장 비용이 낮고 안전한(또는 유연한) 경로를 선택하도록 학습되었다고 볼 수 있습니다.

중간 표현(minimal intermediate representation) 최소화

• “엔드투엔드” 접근에서는 사람이 정의한 중간 단계(예: 특정 규칙, 하드코딩된 비용함수 등)를 줄이고, 데이터로부터 직접 학습된 신경망이 판단하는 비중을 높입니다.

• 발표에서 테슬라는 이러한 최소한의 중간 표현으로 Occupancy Grid나 Vector Space를 유지하면서도, 의사결정의 상당 부분을 신경망에 맡긴다고 설명했습니다.

 

3) 동작 구조: 예시 흐름

입력(Perception & Occupancy)

• 차량 카메라 8대에서 얻은 영상 정보를 신경망(예: Occupancy Networks)으로 처리해, 3D 공간에서 “어디가 막혀 있고, 어느 곳이 뚫려 있는지” 표현하는 Occupancy 볼륨을 생성.

• 보행자, 차량, 자전거 등 동적인 객체의 ‘예상 움직임’(Occupancy Flow)도 함께 추정.

후보 경로 생성(Proposal)

• “Network TOO”는 에고(ego) 차량이 앞으로 갈 수 있는 여러 경로(trajectory)를 동시에 만들어봄.

• 이때 속도, 가속, 차선 변경 여부, 목표 차선 위치 등 다양한 변수들을 조합해 다수의 후보 궤적이 탄생.

평가(Scoring / Cost Minimization)

• 각 후보 경로가 충돌 위험, 편안함(과도한 가속·감속 회피), 교통법 준수, 시간 효율 등을 종합적 비용 함수로 평가받음.

• 이 비용 함수 자체도, 전부 또는 상당 부분을 신경망이 ‘사람다운 주행 감각’을 학습해 추론하는 구조일 수 있음(“Neural Cost Function”).

• 가장 비용이 낮은(=안전하고 부드러우며 빠른) 경로를 최종 채택.

실행 및 피드백

• 결정된 경로를 차량 제어(steering, throttle, brake 등)에 전달해 실제 주행을 진행.

• 주행 과정에서 새롭게 관측된 환경이나 예기치 못한 상황이 나타나면, 다시 빠르게 반복 계산해 궤적을 갱신.

 

4) 장점과 의의

사람처럼 유연한 판단

• 전통적 방식에서는 일정 규칙에 따라 교차로, 합류 구간, 차간거리 등을 계산하다 보니 불필요한 급브레이크나 비현실적인 차선 변경 등이 생길 수 있었습니다.

• Network TOO 방식은 실제 도로 주행 데이터를 대규모로 학습하여, 사람이 하듯 “살짝 늦춰주거나”, “상황을 보고 합류”하는 등의 미묘한 판단을 모방할 수 있습니다.

복잡 상호작용 처리 능력 향상

• 주변 차량/보행자가 예기치 못한 행동을 할 때도, 신경망이 이를 곧바로 인식하고 여러 경로 중 최적을 선택함으로써 더 자연스럽게 대응.

• 교통 흐름 전체에도 긍정적인 효과(덜 급한 감속, 원활한 교차 등)를 기대할 수 있음.

데이터 엔진과 결합

• 테슬라의 “데이터 엔진(Data Engine)” 프로세스(그림자 모드, 인터랙션 서치 등)와 결합해, 이상 동작이나 부정확성이 발견되면 즉시 새 데이터 셋을 만들어 학습.

• 이로써 알고리즘이 점점 더 많은 코너 케이스를 수용하고, 주행 성능이 지속적으로 개선됨.

 

5) 남은 과제

안전성 보장

• 신경망이 주도적으로 의사결정을 내릴수록, 의사결정 과정을 해석하기 어렵고, 극단적 상황(코너 케이스)에서 위험이 발생할 수 있음.

• 테슬라는 이를 보완하기 위해, 실패 사례를 빠르게 수집하고 재학습하는 순환 구조, 추가적인 규제·제한(Guardrail) 등을 병행할 것으로 추정.

계산 자원

• 3D Occupancy 계산과 다중 궤적 평가를 모두 신경망으로 수행하려면, 차량 내 컴퓨팅 성능(FSD 컴퓨터)과 클라우드 학습 인프라(Dojo 등)가 상당히 요구됨.

• 하지만 테슬라는 전용 칩과 분산 학습 시스템을 통해 이를 해결하고 있다는 입장을 강조.

법규·윤리 문제

• 완전 신경망 기반 계획이 사람 운전자의 직관을 닮아가더라도, 실제 도로에서는 예외적 법규나 지역별 운전 문화가 존재.

• 이를 학습 데이터로 충분히 반영해야 하며, 만일 사고가 났을 경우 책임 소재가 누구에게 있는지도 여전히 복잡한 문제로 남음.

 

https://www.thinkautonomous.ai/blog/tesla-end-to-end-deep-learning/

 

요약하면

테슬라 Ashok Elluswamy가 CVPR 2023 WAD에서 발표한 “Motion Planning using Network TOO”는, 자율주행 차량의 실제 주행 경로를 신경망이 직접 생성·평가·결정하는 방식으로 진화시키려는 테슬라의 최신 시도를 보여준다.

• Occupancy Network 등으로 얻은 3D 환경 정보를 기반으로 복수의 후보 경로를 만들고, 신경망 기반 비용함수로 평가하여 최적의 궤적을 선택하는 구조를 사용한다.

• 이는 기존의 규칙 기반 모션 플래닝보다 사람처럼 유연하고 자연스러운 주행을 가능케 하며, 복잡한 상호작용과 돌발 상황에도 빠르게 대응할 수 있다.

• 다만 완벽한 안전성·법적 책임 등 해결해야 할 숙제도 남아 있으며, 테슬라는 방대한 실도로 주행 데이터를 활용해 이를 점진적으로 개선하고 있다.

결론적으로, “Motion Planning using Network TOO”는 엔드투엔드 신경망 설계가 ‘인식(Perception)’을 넘어 ‘플래닝(Planning)’ 단계에도 본격적으로 적용됨을 시사하며, 테슬라가 궁극적으로 지향하는 완전자율주행 소프트웨어의 중요한 전환점이라고 볼 수 있다.