자율주행과 인공지능 03

카메라 :

•  사람과 사물, 차량 등으로 분류하면서 주변 물체 식별
• 어두운 공간이나 악천후 상황에서는 사물 식별 어려움
• 원근감 정확한 판별 불가

레이더 : 

• 반사되어 돌아오는 신호를 기반으로 거리, 속도, 방향 등의 정보를 추출
• 날씨, 시간과 관계없이 제 성능을 발휘, 주파수에 따라 단거리부터 중거리, 장거리를 모두 감지할 수 있음
• ADAS( ACC ) 에 사용
• 물체의 정확한 식별 불가

라이다 : 

• 물체와 빛을 주고받으며 3차원 지도를 제작

센서 융합, Sensor Fusion 은 :

• 각 센서에서 인식된 정보를 하나로 결합, 자율주행이 가능하도록 한 기술사람과 사물, 차량 등으로 분류하면서 주변 물체 식별
• 어두운 공간이나 악천후 상황에서는 사물 식별 어려움
• 원근감 정확한 판별 불가

• 센서의 Data 처리 이전 융합 방법
  • 카메라 2D 이미지 + 라이다 포인트클라우드 정보
    • 듬성듬성 포인트정보를 보내게 되면 어떤 픽셀에는 라이다 정보가 포함되고, 어떤 픽셀에는 라이다 정보가 포함되지 않게 되기도 함 > 보간법을 통해 픽셀 사이의 값 보정 가능
    • YOLO, SSD 등과 같은 신경망 이용 시 입력 채널수가 바뀐 것을 고려하여 신경망 앞쪽에서 컨볼루션 레이어를 조정하면 바로 사용 가능

R, G, B 3채널 + 거리정보, 반사율 2채널