**Autonomous driving tech./*NeRF

[NeRF] Instant Neural Graphics Primitives with a Multi-resolution Hash Encoding

2wnswoo 2025. 2. 1. 20:19

*Neural Graphics Primitives : 신경망을 이용하여 생성되는 그래픽스의 기본 요소를 의미, 3D 모델, 텍스처, 조명 효과를 포함한다.

*Multi-resolution Hash Encoding : 다중 해상도 해시 인코딩을 사용하여 데이터를 효율적으로 저장, 처리하는 방법을 나타낸다.

* Aliasing( 계단 현상, 왜곡 현상 ) : 신호 처리나 그래픽에서 해상도가 충분하지 않아 발생하는 왜곡 현상을 의미해. 쉽게 말하면, 부드러워야 할 선이나 곡선이 깨져 보이거나, 원래 신호가 잘못된 형태로 표현되는 것

 

*NeRF( Representing Scenes as Neural Radiance Fields for View Synthesis ) : 2D 이미지 여러 장을 학습해서 3D 공간을 복원하는 딥러닝 기반 기술이다.

  • NeRF의 목표
    • 다양한 위치와 방향에서 사진 촬영
    • Strucrture from Motion을 통해 카메라 파라미터 추출
    • 학습 및 렌더링을 통해 새로운 시점에서의 장면을 생성

 

- Instant NeRF( = Instant NGP ) 는 몇 십 장의 정지된 이미지로 몇 분만에 학습을 완료하고, 그 결과로 나온 3D 장면을 몇 초 내에 렌더링할 수 있어서 현재 가장 빠른 NeRF 중 하나이다 [2024]

 

- SLAM과 NeRF는 서로 보완적인 관계이다.

 

SLAM의 한계 (NeRF가 보완할 수 있는 부분)

  1. 세밀한 3D 표현 부족
    • SLAM이 생성하는 3D 지도( Point Cloud )는 대략적인 형태만 표현할 수 있어.
    • 반면 NeRF는 더 높은 해상도로 세밀한 3D 장면을 복원할 수 있어.
  2. 센서 의존성 ( LiDAR, IMU 필수 )
    • SLAM은 보통 LiDAR, IMU( 관성 센서 ), 스테레오 카메라 같은 하드웨어가 필요해.
    • NeRF는 RGB 카메라만으로도 3D 공간을 재구성할 수 있어 더 경제적일 수 있음.
  3. 사각지대 문제
    • SLAM은 센서가 직접 감지한 정보만 활용하므로, 사각지대를 보완하기 어렵다.
    • NeRF는 기존 이미지들을 바탕으로 새로운 시점에서의 장면을 생성할 수 있어, 보이지 않는 영역도 예측 가능.

🔹 SLAM과 NeRF를 함께 쓰면? (이점)

SLAM은 실시간 위치 추적 + 대략적인 3D 지도 생성
NeRF는 고해상도 3D 장면 생성 + 사각지대 보완
센서 기반 지도(SLAM) + 데이터 기반 장면 재구성(NeRF) = 최적의 3D 인식 시스템!

🚗 결론:
👉 SLAM은 실시간 위치추정에 강하고, NeRF는 더 정밀한 3D 장면을 복원하는 데 강점이 있음
👉 둘을 결합하면 더 정밀하고 안전한 자율주행 시스템을 만들 수 있음! 🔥

즉, SLAM만으로 충분하지 않고, NeRF가 보완 역할을 할 수 있다! 😊

 

맞아! NeRFSLAM의 가장 큰 차이점 중 하나는 딥러닝(Deep Learning) 사용 여부야.

 
 
 
 
 
--
 
Instant Neural Graphics Primitives with a Multi-resolution Hash Encoding 2023