FSD Planning

테슬라 AI 데이 2022에서 발표된 FSD(Full Self-Driving) 플래닝은, 차량 주변 환경을 인식(퍼셉션)한 뒤 어떻게 경로를 설정하고 주행 동작을 결정할지에 관한 핵심 기술을 의미합니다. 한마디로 “도로 상황을 파악했으니, 이제 어떤 경로로 어떻게 움직일까?”를 실시간으로 결정하는 자율주행의 두뇌 부분입니다. 테슬라는 이 과정을 뉴럴 네트워크 기반으로 대폭 고도화하고 있으며, 기존에 일정 부분 규칙 기반이던 로직을 점차 신경망 중심으로 통합하고 있습니다. 아래에서는 테슬라가 AI 데이 2022에서 발표한 FSD 플래닝의 주요 포인트들을 간단히 정리해 보겠습니다.

“Joint Trajectory Planning for Ego and Other Agents“는 참고/부록 참조

 

1) 전체 구조 개요

퍼셉션(인식) → 시뮬레이션/예측 → 플래닝(계획) → 제어

• 테슬라의 FSD 스택은 크게 네 단계로 볼 수 있습니다.

• 그중 플래닝(Planning)은 인식된 주변 상황과 예측된 객체 움직임을 종합하여 가장 안전하고 효율적인 차량 경로를 결정하는 단계입니다.

Occupancy Networks·Vector Space 활용

• 테슬라는 AI 데이 2022에서 “Occupancy Network”라는 볼륨 기반 3D 인식 방식을 공개했습니다.

• 이 3D 정보를 플래닝 단계로 넘겨, 도로와 객체, 장애물을 마치 하나의 3차원 공간 지도처럼 다룹니다.

• “Vector Space” 또는 “Vector Lanes”라는 내부 표현도 이용해, 차선·교차로·진입로 등의 구조적 정보를 플래닝에 결합합니다.

 

2) 뉴럴 네트워크 기반 플래닝의 특징

규칙 기반 로직 최소화

• 예전에는 “이 상황에선 이 차선을 타고, 속도를 이렇게 줄이고, …” 같은 식의 하드코딩된 규칙이 많았습니다.

• AI 데이 2022에서 테슬라는 이런 부분을 줄이고, 데이터로부터 직접 학습한 신경망이 상황별 주행 동작을 결정하도록 설계하고 있음을 강조했습니다.

• 예: 좌회전 중 맞은편 차가 빠르게 다가오는 경우, 교차로 진입을 잠시 늦추는 등 ‘사람처럼’ 유연한 대응을 가능하게 함.

멀티 경로 시뮬레이션 & 비용 함수(Cost Function)

• 플래닝 모듈은 가능한 여러 경로 후보(trajectory)를 동시에 시뮬레이션해 봅니다.

• 각각의 경로가 충돌 위험, 안전 거리, 쾌적성(가감속, 횡가속), 교통규칙 준수 등을 종합해 “비용(Cost)”을 계산하고, 그중 가장 비용이 낮은(안전하고 자연스러운) 경로를 선택합니다.

• 이때 비용 계산 자체도 머신러닝으로 학습되어, 단순히 고정된 공식이 아니라 주행 데이터로부터 ‘사람과 비슷한 우선순위’를 배운 모델일 수 있습니다.

실시간 객체 예측 및 상호작용 고려

• 자율주행 플래닝은 주변 차량·보행자·이륜차 등이 어떻게 움직일지를 예측해야 합니다.

• 테슬라 AI 데이 2022에서는 시간 축을 포함한 4D Occupancy Grid 및 Transformer 기반 예측 모델을 통해, 앞서 말한 여러 객체들의 미래 위치/속도를 신경망이 동적으로 추론한다고 밝혔습니다.

• 플래닝 모듈은 이 예측된 움직임을 활용하여, 충돌을 피하고 원활하게 교차로·차선·합류 구간 등을 통과하도록 경로를 세웁니다.

 

 

3) 대표 예시: 교차로·차선변경 시의 플래닝

교차로 좌회전

• 기존에는 “초 단위 타이머와 차간 거리 측정” 같은 규칙형 로직이 주로 쓰였습니다.

• 이제는 뉴럴 네트워크가 교차로에 접근하는 타 차량의 속도·방향·속도를 복합적으로 감안해, “들어가도 안전하다/조금 기다려야 한다” 등을 사람처럼 결정합니다.

• 예를 들어, 맞은편 직진 차량이 예상보다 빠르게 접근하면, 스스로 좌회전 타이밍을 늦춰 사고를 방지합니다.

차선 변경

• 과거에는 “차간거리 ≥ X 미터면 차선 변경 가능” 같은 단순 규칙이 종종 부자연스러운 결과를 초래했습니다.

• 테슬라 AI 데이 2022 시연 자료에 따르면, 뉴럴 네트워크는 후방 차량의 가속도·차선 위치 변화 등을 종합적으로 판단하여, 안전하면서도 매끄러운 차선 변경을 계획합니다.

• 뒤 차가 속도를 높여 들어오고 있다면 플래닝 모듈이 이를 ‘위협 요소’로 보고 차선 변경을 잠시 미루는 식입니다.

 

4) 데이터 엔진과의 결합

• 그림자 모드(Shadow Mode), 인터랙션 서치(Interaction Search) 등을 통해 특이한 주행 상황(코너 케이스) 데이터를 대량으로 수집합니다.

• 수집된 데이터를 재학습시키면서 플래닝 관련 모듈도 꾸준히 업데이트합니다.

• 이처럼 실제 도로에서 발생하는 복잡한 상호작용 사례를 계속 학습하기 때문에, FSD 플래닝은 갈수록 “사람다운 판단”에 가까워집니다.

 

5) 도전과 과제

안전성 검증

• 뉴럴 네트워크가 모든 의사결정을 하려면, 이를 철저히 검증하고 불확실성에 대비해야 합니다.

• 갑작스런 끼어들기, 날씨/조명 변화, 도로 공사 구간 등 예외 상황에서의 안전성 확보가 핵심 과제입니다.

메모리·계산량 증가

• 3D/4D Occupancy, 멀티 경로 시뮬레이션 등은 큰 연산 자원을 요구합니다.

• 테슬라는 이를 위해 Dojo 같은 고성능 컴퓨팅 인프라와 효율적인 칩 설계를 활용하고 있습니다.

법규·지역별 차이 반영

• 교통 규제가 지역마다 다르고, 운전 문화도 상이합니다.

• 플래닝이 전 세계 어디서나 안정적으로 동작하려면, 신경망이 지역 특유의 규칙이나 관습도 익혀야 합니다.

 

요약하면

AI 데이 2022에서 테슬라가 선보인 FSD 플래닝은, 사람 같은 상황 판단과 유연한 주행 의사결정을 목표로, 완전히 통합된 뉴럴 네트워크 기반의 접근법을 제시했다는 점에서 큰 관심을 모았습니다. 이전에는 특정 규칙을 하드코딩했지만, 이제는 실제 주행 데이터로부터 학습한 신경망이 주도적으로 경로를 계획하고, 여러 대안 경로 중 안전성과 매끄러움을 동시에 만족하는 선택지를 고릅니다. 여기에 수많은 차량에서 수집되는 데이터와 초고성능 학습 인프라가 결합해, 테슬라는 매일같이 FSD 알고리즘을 발전시키고 있습니다.

그 결과, 교차로·차선 변경·우회전·합류 구간 등 복잡한 시나리오에서도 직관적이고 자연스러운 플래닝이 가능해지고 있으며, 향후 완전 자율주행으로 가는 결정적 열쇠가 될 것으로 기대됩니다.