Knowledge Distillation

Knowledge Distillation 등장 이유?

아래의 두 모델 이 있을때

• 복잡한 모델 T : 예측 정확도 99% + 예측 소요 시간 3시간
• 단순한 모델 S : 예측 정확도 90% + 예측 소요 시간 3분

복잡한 모델 T가 학습한 generalization 능력을 단순한 모델 S에 전달 해주는 것

Knowledge Distillation 등장 시기?

 

Knowledge Distillation 하는 방법?

*cumbersome model: 크고 복잡하고 학습이 잘 된 고성능 모델

Distilling the Knowledge in a Neural Network

Abstract

• 머신러닝 알고리즘의 성능을 향상시키는 가장 쉬운 방법은 같은 데이터셋에 수많은 다른 모델들을 학습시키고, 예측값을 평균내는 방법임
• 지식을 Distillation 하는 방법으로 모델의 앙상블 효과를 하나의 모델로 전이 가능함