Machine learnign & Artificial Neural Networks, ANN

인공 신경망( Artificial Neural Networks )이란 무엇인가?

  1. 인공 신경망 : 동물의 생물학적 신경( 뉴런 )을 모방한 모델

  2. 뉴런의 작동 방식

    1. 각 뉴런이 다른 뉴런과 연결되어 하나의 회로를 만듦

    2. 외부로부터 자극( 입력 )을 특정 회로에 통과시켜 반응생성

    3. 아래와 같이 인공 신경망 도식화 가능

    4. 인공 신경망의 각 부분별 용도

      - 노드 :  입력된 신호를 합치고,  활성화 함수를 이용해 비선형화

      - 연결선 : 데이터를 연결된 강도에 따라 다음노드에 전달 

 

노드라는 것은 입력 신호를 받아서 가중치를 곱하고 더한 후, 활성화 함수를 통해 최종 출력을 생성하는 역할을 하는 것. 이렇게 함으로써 신경망은 더 복잡한 문제를 해결할 수 있게 된다.

 

< 인공신경망 개략도 >

   [X1] ----> [H1] ----> [Y]
                         |
   [X2] ----> [H2]
                         |
   [X3] ----> 

 

- 입력 노드 ( X1, X2, X3) : 외부에서 들어오는 데이터이다.

- 은닉 노드 ( H1, H2 ) : 입력 데이터를 처리하는 중간 단계이다. 각 은닉 노드는 입력노드로부터 오는 데이터의 가중합을 계산한다.

- 가중합 : 여러 개의 값에 각각의 가중치를 곱한 후, 이들을 모두 더한 값을 의미

 

3대 신경망 모델과 알고리즘

1. 1957년 / 로젠블럿 / 마크1 퍼셉트론 

2. 1984년 / 데이비드 루멜하트 / 다층 퍼셉트론 

3.  2006년 / 제프리 힌튼 / 심층 신뢰 신경망

 

3. 인공 신경망의 기술적 의미

1. 기계학습의 한 분야로 명확한 규칙 없이 정보를 바탕으로 규칙 생성 가능

2. 기존 기계학습 알고리즘은 특정 문제들에 최적화 되어있음

  - 강화학습 : 실시간 판단 , 기계( 로봇 ) 제어

  - 지도학습 : 분류, 회귀

  - 비지도학습 : 클러스터링, 차원축소

3. 인공 신경망은 여러 문제에 접근 가능

  = 범용성이 높음

  = 음성, 이미지, 영상, 대기정보, 가격정보, 로봇의 자세 등 다양한 정보 활용 가능

4. CPU와 GPU, RAM 등 컴퓨터의 성능이 비약적으로 증가함에 따라 딥러닝의 활용도가 증가

5. 빅데이터와 시너지를 통해 급격한 발전 중

4. 신경망의 시작과 발전 과정

1. 1943년, 맥컬럭-피츠 모델( 신경망을 논리회로 모델링 )

  - 각 노드 뉴런을 나타낸다, 신호 전달 시 0,1로 전달하여 논리 회로로 설명한다.

2. 1949년, 도날드 헵( Donald Hebb )이 뉴런 간 신경 강도 경화 규칙 제시

  - 이후, 노드 간 연결 강도( weight ) 모델링에 영향

3. 1957년, 로젠 블럿의 단층 퍼셉트론(마크 1퍼셉트론 )

  - 다수의 아날로그 신호 연결망으로 일부 문자를 구별하고 인식

4. 1969년, '퍼셉트론즈 ( Perceptrons )' 저서에서 한계 제시

  - "인공지능의 아버지"로 불리는 MIT 민스키 ( Minsky ) 교수의 저서

  - XOR과 같은 비선형 분리 불가 한계 제시

5. 1984년, 다층 퍼셉트론, 역전파 알고리즘에 의해 재부흥

  - 1~2개의 은닉층( hidden layer )의 추가로 XOR 등 비선형 분리 문제 해결

  - 컴퓨터 성능 부족으로 학습이 오래 걸리고, 많은 수의 은닉층 활용 불가

    = 복잡한 문제는 해결 불가

6. 2006년 깊은 은닉층 가지는 딥러닝 발표 

  - 2020년대 현재까지 활발한 연구 수행 됨