Model compression via distillation and quantization

Knowledge Distillation은 Teacher Network로 Student Network를 학습 시키는 방법이다. 이 기본 개념을 이용해서 Student Network을 Quantized Network로 학습 시키는 방법을 제안하는 논문이다.

처음에 intel distiller가 모델을 압축 시킨다고 해서 그 원리를 알기 위해 파고 파고 팠더니 그 배경 지식으로Knowledge Distillation이 나왔다. 이걸 한참 공부하고 나서도 'Knowledge Distillation은 압축이 아닌데?'라고 생각했는데, 이 논문이 Knowledge Distillation을 Quantized Network에 적용(?)했기 때문에 압축이 된 것 처럼 보였던 것 같다.