Deep learning & Deep Neural Network, DNN

1. 딥러닝과 심층신경망 개요

  1. 심층 신경망( Deep Neural Network, DNN ) : 많은 수의 은닉층이 적층된 신경망 모델

  2. 심층 신경망 ⊂ 인공 신경망

  3. 딥러닝( Deep learning ): 심층신경망을 학습하기 위해 다양한 알고리즘을 적용해 학습하는 기법( 알고리즘, 컨볼루션 레이어 등 )

  4. 딥러닝은 AlphaGo, ChaGPT, 영상, 음성 등의 패턴 인식과 분석 등에 활용

  5. 기울기 소멸( Vanishing Gradient ) 문제 직면

Deep Neural Network, DNN

2. 네오코그니트론( Neocognitron )

  1. 1970년대 Cognitron 발표, 1980년대 Neocognitron 발표

  2. 손글씨 숫자, 문자 인식 연구, 일그러짐이나 크기, 각도 변화에도 인식 강인하다.

  3. 많은 셀들로 적층된 계층화된 네트워크

  4. 각 계층 별로 입력된 문자를 일반화 시킨다.

  5. 학습을 위한 연결강도 최적화가 오래 걸리고, 인식도 느리다.

3. 심층 신경망의 침체, 일반 기계학습의 발전

  1. ~1980년대 중반: 다층 신경망 개념적/수학적 연구

  2. 1990년대~2000년대 초반: 컴퓨터 성능 부족으로 학습/인식 속도 느림

  3. 1990년대~2000년대 초반: 같은 시기, 상대적으로 계산량이 적어 빠른 실행이 가능한 SVM 등의 기계학습 발전

  4. 2000년대 중반~현재: CPU, GPU의 비약적 발전, 가격의 하락, 메모리의 증가

  5. 2006년 대량의 데이터( 빅데이터 )를 활용한 딥러닝 개발

  6. 2010년대 중반~현재: 통신 네트워크의 발달로 인터넷/클라우드 서비스를 이용한 학습 활발

 

4. 딥러닝의 시작

DBN은 딥러닝의 발전에 중요한 기여를 함

  1. 2006년 토론토 대학의 힌튼 교수, 딥러닝 학습 발표

  2. 발표한 모델의 이름: 심층 신뢰 신경망(Deep Belief Network, DBN)

  3. 2012년 이미지 인식 경연대회( ILSVRC )에서 1위( 오차율 15% ), 2위가 26% 오차율

  4. 기울기 소멸( Vanishing Gradient ) 문제 대응 방법 제시

  5. 학습에 경사하강법( Gradient Descent )외에도 다양한 기술적 알고리즘 활용

  6. 2018년 힌튼의 튜링상 수상

  7. 2024년 힌튼의 노벨상 수상

 Deep Belief Network (DBN)는 제프리 힌튼(Geoffrey Hinton) 교수가 개발한 모델로, 2006년에 발표되었습니다. DBN은 비지도 학습을 통해 데이터의 특징을 효과적으로 추출할 수 있는 능력 덕분에 주목받게 되었습니다.

특히, DBN은 2010년 ImageNet 대회와 같은 이미지 인식 경연대회에서 뛰어난 성능을 발휘하여 1위를 차지하는 데 기여했습니다. 이 대회에서 DBN을 사용한 모델은 기존의 방법들보다 훨씬 높은 정확도를 기록하며, 딥러닝 기술의 가능성을 널리 알리는 계기가 되었습니다. 이러한 성과는 딥러닝이 이미지 인식 분야에서 혁신적인 발전을 이루는 데 중요한 역할을 했습니다.

제프리 힌튼 교수는 이후에도 딥러닝 분야에서 많은 기여를 하였으며, 그의 연구는 현대 인공지능 기술의 발전에 큰 영향을 미쳤습니다.

 

5. 딥러닝의 발전

  1. 2009년 다양한 딥러닝 알고리즘 개발 활발

  2. 기존 패턴 인식 알고리즘( 규칙기반, 기계학습 기반 등 )에 비해 월등한 인식율

  3. 2012년 앤드류 응( Andrew Ng ) 스탠포드 교수와 구글의 공동 연구

  4. 딥러닝을 활용해 1,000만 개의 이미지에서 '고양이' 이미지 추출 성공

  5. 키워드 기반 영상 검색에 획기적 발전

 

6. Difference of Machine Learning and Deep Learning( Deep Neural Network )

  1. 적고, 선별적인 데이터를 이용할 경우 기계학습의 성능이 좋을 수도 있음

  2. 기계학습과 간단한 신경망의 성능 한계에 비해 딥러닝은 더욱 다양한 문제를 우수한 성능으로 해결이 가능하다.