Automated 3D Labelling by multi-trip reconstruction

여러 번의 주행(트립)에서 획득한 영상·센서 데이터를 하나의 3D 장면으로 재구성한 뒤, 그 결과물을 이용해 자동으로 객체나 환경 요소에 라벨을 달아주는 기법을 의미합니다. 즉, 같은 장소를 여러 차례 지나가면서 촬영한 다각도·다시점 데이터를 종합해 정교한 3D 모델을 만들고, 이를 활용해 “자동 라벨링”을 수행하는 방식입니다. 일반적인 흐름을 단계적으로 살펴보면 다음과 같습니다.

 

 

1) 복수 주행(multi-trip) 데이터 수집

 

반복 경로 주행

• 동일 혹은 유사 경로를 여러 번 지나갈 때, 차량(또는 로봇)이 카메라·라이다 등 센서를 통해 풍부한 영상·깊이 정보를 수집합니다.

• 각 트립마다 촬영되는 시점(각도, 조도, 날씨)이 다르므로, 장면을 다양한 관점에서 관찰할 수 있습니다.

시간 분산 데이터

• 하루 중 다른 시각, 날씨, 교통량, 계절 등에 따라 수집된 데이터가 달라집니다.

• 이렇게 누적된 영상·센서 데이터를 종합하면, 개별 트립에서 놓쳤거나 가려졌던 객체·부분도 다른 트립에서 포착할 수 있게 됩니다.

 

2) 3D 장면 재구성(Reconstruction)

멀티 뷰 스테레오(MVS) / SLAM / NeRF 등

• 여러 시점에서 촬영된 영상(또는 라이다 포인트 클라우드)을 사용해, 물체·공간의 3D 구조를 복원합니다.

• 최근에는 NeRF(Neural Radiance Fields) 등 딥러닝 기반 3D 복원 기법도 활용되어, 더 사실적이고 매끄러운 3D 모델을 얻을 수 있습니다.

정합(Alignment) 및 정규화

• 각 트립에서 생성된 부분 모델 혹은 포인트 클라우드를 일관된 좌표계(세계 좌표계)로 정렬·합치는 과정이 필요합니다.

• 예: GPS/IMU 정보로 대략적인 위치를 맞춘 뒤, 시각 피처 매칭·ICP(Iterative Closest Point) 등으로 보다 정밀하게 정합시킵니다.

고해상도·고정밀 3D 지도 완성

• 누적 데이터를 통해, 건물·도로·차선·주변 물체 등 장면 내 모든 요소가 세밀하게 표현된 3D 지도를 얻습니다.

• 가려짐(occlusion)이 심했던 부분도 다른 시점 데이터를 활용해 채워넣을 수 있으므로, 단일 관측보다 훨씬 정밀도가 높습니다.

 

3) 자동 라벨링(Auto Labelling)

객체·환경 요소 식별

• 완성된 3D 재구성 장면에서, 건물·차량·보행자·표지판·신호등 등 특정 객체를 찾고 분할(Segmentation)합니다.

• 알고리즘에 따라 라벨별 특징(예: 점군 밀집도, 색상, 형상, 텍스처)을 활용하거나, 별도의 학습 모델을 적용하기도 합니다.

신뢰도 향상

• 멀티 트립 데이터를 통해 얻은 장면에서는, 객체가 여러 시점에서 동일하게 관측되었음을 확인하기 쉽습니다.

• 예: “이 위치에는 항상 자동차가 주차되어 있었나?”, “해당 위치는 건물 벽에 해당하나?” 등을 여러 관측 결과로 교차 검증할 수 있습니다.

• 이런 반복 검증을 통해 자동 라벨링의 정확도가 높아집니다.

3D Bounding Box or Semantic 라벨

• 결과적으로 객체마다 3D 경계 상자(바운딩 박스)나 메시에 대한 클래스 정보를 자동 할당할 수 있습니다.

• 사람 검수(수정)는 최소화하고, 대규모 데이터셋을 빠르게 마련하는 데 큰 도움이 됩니다.

요약하면

“Automated 3D Labelling by multi-trip reconstruction”는 여러 차례에 걸친 주행·관측 데이터를 3D로 통합 재구성하고, 그 장면 위에 자동으로 객체·환경 라벨을 할당하는 방법론입니다. 단일 관측에서 해결하기 어려운 가려짐 문제와 정확도 한계를 극복하며, 자율주행·로봇·디지털 트윈 등 다양한 분야에서 고품질의 3D 라벨링 데이터를 대량 생산할 수 있게 해준다는 점에서 큰 의미가 있습니다.