FSD Networks in Car

1) FSD Networks in CAR의 개념

 

테슬라의 FSD(Full Self-Driving) 소프트웨어는 차량 내부 전용 컴퓨터(HW3/HW4 등)에서 여러 개의 뉴럴 네트워크가 병렬로 실행되며, 실시간으로 주변 환경을 파악하고 주행 결정을 내리는 구조를 갖추고 있습니다. 이 네트워크들은 각기 다른 목적(객체 추적, 공간 점유 분석, 교통 신호 인식, 주행 경로 계획 등)을 수행하면서도 상호 협력하여 완전 자율주행을 지향하는 통합 시스템을 형성합니다.

 

2) Moving Object Network

• 역할
주변 차량, 보행자, 자전거, 이륜차 등 “움직이는 객체”를 실시간으로 포착하고 추적하는 신경망입니다.

• 특징

1. 객체 검출 + 동적 속성 파악: 단순히 “존재 여부”만 파악하는 것이 아니라, 속도·가속도·주행 방향 등을 추적해 “미래 위치”를 예측합니다.

2. 예측(Prediction)과 직결: 이 네트워크의 출력은 곧 “이 차량이 앞으로 차선 변경을 할 것인가?”, “보행자가 도로를 가로지를 것인가?” 등을 추론하는 예측 모듈에 연결됩니다.

3. 안전성 향상: 복잡한 도심 교차로나 고속도로 합류 구간에서 발생하는 상호작용에 신속히 대응하기 위해 필수적인 정보를 제공해 줍니다.

 

3) Occupancy Network

• 역할
2D 카메라만으로 3D 공간을 복원해, “도로가 어디까지 뚫려 있으며, 어디에 장애물이 있는지”를 점유 맵(Occupancy Map) 형태로 만들어내는 핵심 신경망입니다.

• 특징

1. 카메라 기반 3D 재구성: 라이다 없이 카메라 영상만으로 주행 환경을 3차원 형태로 추정합니다.

2. 동적 객체 추적: 주행 중 움직이는 차량, 보행자 등을 볼륨 형태로 표현해, 시간이 지남에 따라 어떻게 점유 공간이 변하는지를 계산(Occupancy Flow)합니다.

3. 플래닝 연계: 결과적으로 Occupancy Network가 “이 길은 주행 가능”, “이 공간은 막혀 있음” 등을 시시각각 업데이트해주면, Path Planning 단계에서 실시간으로 안전한 경로를 결정할 수 있습니다.

 

4) Traffic Control & Road Sign Network

• 역할
신호등, 정지표지, 속도 제한 표지판 등의 “교통 통제 요소”를 인식하고 판별하는 신경망입니다.

• 특징

1. 신호등 상태 식별: 적색, 황색, 녹색 신호뿐 아니라 화살표 신호, 점멸 신호 등 다양한 교통 신호 패턴을 분류합니다.

2. 표지판 검출: 속도제한, 일시정지, 차선 변경 금지 등 수많은 도로 표지판을 분류·해석하여, 주행 중 지켜야 할 규칙을 차량에 알려줍니다.

3. 지역·언어별 차이 반영: 국가나 지역마다 다른 신호체계와 표지판 디자인이 존재하기 때문에, 광범위한 데이터 수집과 고도화된 라벨링이 필수적입니다.

 

 

5) Path Planning(경로 계획)

• 역할
앞서 언급한 Moving Object Network, Occupancy Network, Traffic Control & Road Sign Network 등에서 만들어진 정보를 종합해, 최종적으로 차량이 어떤 경로를 따라 주행할지를 결정하는 단계입니다.

• 특징

1. 비용 함수(Cost Function) 기반 후보 경로 평가: 여러 후보 경로를 동시에 시뮬레이션하고, 안전성(충돌 위험도), 쾌적성(급가속·급브레이크 최소화), 교통규칙 준수 등을 종합해 점수를 매깁니다.

2. Moving Object 예측 활용: 주변 차량이 차선 변경을 시도하거나, 교차로에서 빠르게 진입하는 경우 등 동적 상황을 반영해 실시간으로 경로 계획을 업데이트합니다.

3. 점진적 뉴럴화: 기존에는 규칙 기반 로직이 많았으나, 최근 테슬라는 엔드투엔드 신경망 접근을 확대하고 있습니다(CVPR 2023 등에서 발표된 “Motion Planning using Network TOO”).

 

6) 종합 동작 흐름

데이터 입력

• 차량에 장착된 멀티 카메라(8개+)와 기타 센서(레이더 제외, 초음파 등)에서 신호가 들어옴.

병렬 신경망 처리

• Moving Object Network가 동적 객체 식별 및 움직임 추적.

• Occupancy Network가 3D 점유 지도 생성, 도로·장애물 정보를 실시간 업데이트.

• Traffic Control & Road Sign Network가 신호등·표지판을 인식해 현재 주행 규칙을 확인.

Path Planning

• 위의 모든 정보를 종합해서 “어떤 경로로 주행할지”를 결정. 속도, 조향각, 차선 변경 타이밍 등을 출력.

실행 및 피드백

• 결정된 주행 경로를 차량 제어(조향, 가속, 제동)로 전달. 운전자가 직접 개입하거나 예기치 못한 상황이 생기면 그림자 모드(Shadow Mode)로 관련 데이터를 기록해, 향후 학습에 반영.

 

 

요약하면

 

“FSD Networks in CAR”는 테슬라 차량 내부에서 구동되는 다양한 신경망(Occupancy, Moving Object, Traffic Control & Road Sign, Path Planning 등)이 유기적으로 협업해 실시간 주행 환경 이해와 안전한 경로 결정을 수행하는 통합 시스템입니다. AI Day 2022 발표에서 테슬라는 이 네트워크들이 2D 객체 검출을 넘어 3D 공간·동적 예측·신호·표지판까지 폭넓게 처리하고, 최종적으로 자율주행 플래닝을 지원함으로써 사람처럼 유연한 주행에 한 걸음 더 다가섰음을 강조했습니다.