SENet (간단 개념 설명)

Squeeze-and-Excitation 쥐어짜서 활성하는 네트워크 라는 뜻이다.

)F_sq) feature map의 각 채널을 GAP(global average pooling)으로 1차원 벡터로 Squeeze하고
F_ex) feature map의 중요한 정도(?)를 알아내서 원본 feature map에 곱하는 개념
feature의 채널별로 중요도에 따라 dependency를 알아내서 모델 성능을 향상 시킴

SE 블럭을 쌓아서 만든 모델, 여러 모델에 적용할 수 있는 개념임.

Squeeze: 짜낸다. 농축한다. Global information embedding

Excitation: adaptive recalibration

F_ex는 FC -> ReLU -> FC -> Sigmoid
...............^^^^^^^^^ compress : 차원 감소가 일어남
.............................................^^^^^^^^^^^^ decompress : 원래대로 복원

- H x W x C -> 1 x 1 x C 으로 (global average pooling)

• 1 x 1 x C/r 으로 원래 보다 작은 차원으로 줄어 듬
• decompress에 의해서 원래 차원 1 x 1 x C가 됨
• 원래(X)에 적용 함

참고 :

• https://arxiv.org/abs/1709.01507 (https://arxiv.org/pdf/1709.01507.pdf)
• https://www.youtube.com/watch?v=Ra-x8Mz0m60
• https://youtu.be/3mIvBkmlOFs