[ROS2] Object detection(bounding box), semantic segmentation, instance segmentation

Perception 

로봇의 눈인 카메라를 통해 얻어지는 영상 정보를 분석하여 로봇이 주변을 파악하고 그에 따라 능동적으로 대처할 수 있게 하는 기술

• 컴퓨터 비전 기술에 기반하고 있음
• 인공지능 기술로 확장
• 정확도는 비약적으로 상승

Perception으로 얻어진 로봇이 주변 상황을 파악했으면 로봇이 주변 환경과 상호작용하기 위해 Object Detection, Tracking 하는 것은 필수적이다.

 

주변에서 Detection 된 Object 들이 어떤 속성, 카테고리인지를 Recogition까지 해야 로봇이 어떻게 상호작용할 지 판단 가능

-object detction :

bounding box로 클래스를 매기는 것, 가장빠름 bounding box만 치면 되므로

-semantic segmentation :

픽셀로 구분하여 클래스 매기는 것

-instance segmentation :

픽셀로 구분하는데 더하여 각 객체마다 고유한 ID를 매기는 라벨링 작업이 있음.

Multi-Object Detection

• 이미지 내에 영역을 균등하게 분할한 후 분할된 그리드 셀마다 Box를 미리 할당함
• Grid Cell 내에 있는 객체를 찾아가려면 Box의 크기를 조절해서 Bounding Box Regression을 수행함
• Localization과 Classification을 같이 수행함

그 대표적인 모델 > YOLO

 

Fig01 적절하지 않은 Bounding Box를 제거하는 모습

Fig02 Bounding Box가 완료되어 라벨링하여 클래스를 지정