[Deep-Learning] 02

의사결정 트리, decision tree

• 지도학습 알고리즘
• Ex. 스무고개 놀이
• 엔트로피 : 정답에 대한 불확실성을 수치화 한 것
• 정보 이득 = 질문 전의 엔트로피 - 질문 후의 엔트로피
• 단점은, 쉽게 overffiting 된다는 것이다.

나이브 베이즈 분류 알고리즘, Naive bayes *naive = 단순한

데이터를 나이브하게 독립적인 사건으로 가정하고, 이 독립 사건들을 베이즈 이론에 대입시켜 가장 높은 확률의 레이블로 분류를 실행하는 알고리즘이다.

 

*이산적이다 : 연속적이지 않고 끊어져 있는 상태를 의미 Ex. 1, 3, 7 같은 개별적인 숫자

 

📌 앙상블 기법 (Ensemble Learning)

여러 개의 모델을 조합하여 개별 모델보다 더 나은 성능을 내는 방법

• 배깅(Bagging, Bootstrap Aggregating)
  • 예제: 🎻 연주하기 어려운 바이올린 곡을 초급 연주자 여러 명이 나눠서 연주하면, 중급 연주자보다 더 나은 연주를 할 수도 있는 것과 유사
  • 여러 개의 모델을 독립적으로 학습한 후, 평균 또는 투표 방식으로 최종 예측
  • 대표적인 알고리즘: 랜덤 포레스트(Random Forest)
• 부스팅(Boosting)
  • 여러 개의 모델을 순차적으로 학습하며, 이전 모델이 틀린 부분을 보완하는 방식
  • 여러 개의 분류기가 예측한 값을 가중치를 조정하면서 결합하여 최종 결론을 도출
  • 대표적인 알고리즘: AdaBoost, Gradient Boosting, XGBoost

---

📌 배깅 관련 개념

• 부트스트랩(Bootstrap)
  • 원본 데이터에서 일부를 중복을 허용하여 샘플링하는 방법 (조금은 편향된 데이터셋을 생성)
• 어그리게이팅(Aggregating)
  • 여러 개의 모델이 예측한 결과를 결합하는 과정 (예: 평균, 다수결 투표 등)

---

📌 군집화 알고리즘 (비지도 학습, Unsupervised Learning)

• K-평균 알고리즘(K-Means Clustering)
  • 데이터를 K개의 군집(클러스터)으로 묶는 알고리즘
  • 각 클러스터의 중심을 반복적으로 조정하여 최적의 군집을 형성

---

📌 지도 학습 관련 개념

• 선형회귀(Linear Regression)
  • 주어진 데이터로부터 최적의 직선을 찾아서 새로운 데이터를 예측하는 알고리즘
• 선형결합(Linear Combination)
  • 여러 개의 벡터를 가중치를 주어 더해서 새로운 벡터를 만드는 과정
• 크로스 엔트로피(Cross-Entropy)
  • 두 확률 분포(예측값과 실제값) 간의 차이를 나타내는 지표
  • 분류 문제에서 손실 함수(loss function)로 자주 사용됨
• 주성분 분석(PCA, Principal Component Analysis)
  • 고차원 데이터를 저차원으로 축소하는 기법
  • 데이터의 중요한 특징을 유지하면서 차원을 줄여 데이터 분석 및 시각화에 사용

---

📌 퍼셉트론(Perceptron)과 편향(Bias)

• 편향(Bias)
  • 퍼셉트론이 학습할 때 결정 경계를 더 쉽게 조정할 수 있도록 도와주는 값
  • 모델이 특정 방향으로 학습할 수 있도록 유연성을 제공