[Paper Review] Densely Connected Convolutional Networks
1. Abstract 최근 ConvNet 관련된 연구를 보니 그 깊이가 깊을수록 정확도가 좋아지지만, 입력-출력 사이의 connection이 적으면 학습에 효율적이었다고 합니다. 그래서 DenseNet에서는 그 깊이를 줄이고, 모든 layer를 feed-forward하게 연결해주었다고 합니다. L 개의 layer에 대해 ConvNet에서 L 개의 connection이 있다고 하면, DenseNet에서는 $ \frac{L(L + 1)}{2} $ 개의 connection이 생깁니다. 이를 통해 gradient-vanishing을 해결하고 feature propagation을 강화했으며 feature의 재사용을 encourage(?)하고 parameter의 수를 감소 시켰다고 합니다. CIFAR 10, CIF..
ML, DL/Paper Review
2021. 7. 20. 23:20