**Autonomous driving tech./*Computer Vision 6

[ViT] AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE

Abstract기존의 CNN에 의존하는 것이 필수불가결한 문제가 되지 않았음CNN 기반 네트워크는 당시 SOTA 성능을 보였었음ViT는 CNN 기반 네트워크에 비해 훨씬 더 연산량이 적었음1 IntroductionCNN은 Inductive Biases 가 있음 / ViT는 없음평행이동 (translation) e.g. CNN, locality / translation(평행이동) equivalance 한계점 : CNN, RNN 둘다 global 한 영역을 보진 않았기에 이를 보완 할 연구 필요했음 pretrain : 본격적으로 모델 학습(task) 하기 전에 일반 데이터로 먼저 학습시키는 것 ViT이미지를 patch단위로 나눈다.이 나눈 patch들을 linear 하게 transformer 모델에 inp..

Transformer

주의 (Attention) 메커니즘은 순환 신경망(RNN)의 성능을 획기적으로 향상시켰음Seq2Seq 모델의 한계를 극복하고, 더 효과적으로 긴 시퀀스를 처리할 수 있게 해줌"Attention is All You Need?" 제안 논문Transformer, NLP 분야 혁신적으로 발전시킴높은 BLEU 점수를 얻었음*BLEU(Bilingual Evaluation Understudy): 기계 번역 성능 평가 지표 BLEU는 기계가 번역한 문장과 사람이 직접 번역한 참조 문장(Reference) 간의 유사성을 평가, 주로 0부터 1까지의 점수로 표현2016년경, NLP에서 가장 널리 사용되는 방법은, 양방향 LSTM을 이용하여 문장을 인코딩하는 것이였음.Attention 메커니즘을 활용하여 주목해야 할 정보에..

[Computer Vision] 04 KLT algorithm, VOT, MOT, SORT algorithm

KLT Algorithm, Kanade-Lucas-Tomasi Algorithm전통적인 Computer Vision Algorithm으로 별도의 학습 데이터가 필요 없이 객체 Tracking 이 가능.1980년대와 1990년대 초반에 걸쳐 개발된 알고리즘임딥러닝 모델 X 아님.Real-Time으로 Object Detection 할 때 활용빠르고 가벼운 알고리즘이지만, 빠른 움직임과 조명 변화에는 약함KLT는 지역 특징을 Tracking 하므로 뚜렷하게 특징점이 나타나지 않는 물체를 추적하지 못함Tracking을 추적할 물체의 개수에 따른 이진 분류VOT, Visual Object Tracking, 단일 물체 추적초기 프레임에서 대상을 하나 지정하고, 하나의 객체만 추적하는 기법빠른 속도로 추적 가능하다...

[Computer Vision] 03 IoU, mAP, BCS, Backbone Architecture

IoU, Intersection over UnionIoU, Intersection over Union : Object Detection 모델에서 하나의 계측을 예측한 bounding box와 실제 bounding box와의 accuracy를 측정하는 지표       *Union : 합집합, Intersection : 교집합, Over : 나누기mAP, Mean Average Precision: Object Detection 모델이 여러 객체를 얼마나 잘 탐지했는지  Ex. 0.519 mAP각 클래스별로 AP, Average Precision을 구한 후, 모든 클래스에 대해 평균을 낸 값이 mAPEx.실제 자동차 대수 : 10대정확하게 탐지한 대수 : 9대 탐지 했다면,AP = 0.9 (90%)Box Co..

[Computer Vision] 02 Machine Learning 4-Step

Hough Transform: 이미지에서 특정한 형태( 직선, 원 등 )을 찾는 알고리즘, 가장 기본적인 형태는 직선 검출임 *노이즈 제거, 스무딩 처리하는 이유 :노이즈가 많은 이미지에서는 엉뚱한 곳에 경계를 만들 수 있음.👉 스무딩을 하면 불필요한 엣지를 줄이고, 진짜 경계만 남길 수 있어!👉  경계가 아닌 부분인데도 엣지가 생기면 잘못된 결과를 초래 Machine Learning의 4단계 1단계 : 데이터 수집 , 학습에 필요한 데이터를 수집하는 과정2단계 : 모델 선택 , 머신러닝/딥러닝 모델 선택3단계 : 학습, 훈련 집합에 있는 샘플을 최소 오류로 맞히는 최적의 가중치 weight 값을 알아내는 것4단계 : 예측( 추론, inference ) , 학습을 마친 모델을 사용하여 새로운 데이터 ..

[Computer Vision] 01

컴퓨터 비전의 목표 : 제한된 환경에서 특정한 과업을 사람 성능에 가깝게 또는 사람보다 우월하게 수행하는 것       *GAN, Generative Adversarial Network : 두 신경망( 생성자와 판별자, Generator/Discriminator )가 서로 경쟁하며 학습하는 모델비주얼 서보잉, visual servoing : 로봇이나 자율 시스템이 카메라로 얻은 이미지 정보를 이용하여 물체를 추적하는 기술이진영상, binary image : 픽셀이 두 가지 값 ( 0 과 1 또는 0 검정 과 255 흰색 )만 갖는 영상을 의미캐니 엣지 디텍션의 결과 > binary image이진화 하는 이유 : 데이터를 단순화하고 연산량을 줄이기 위해모폴로지, Morphology : 이미지의 형태를 분석..