Attention please

이번에 리뷰할 논문은 "Densely Connected Convolutional Networks" 이다. CNN 모델의 성능을 높이기 위해 가장 직접적인 방법은 층의 깊이를 늘리는 것이다. 하지만 단순히 층이 깊어지기만 하면 vanishing gradient와 같은 문제들이 발생하게 되는데 이러한 문제들을 해결하기 위해 앞부분과 뒷부분을 short path로 연결해주는 ResNet과 같은 모델들이 제안되었다. DenseNet 역시 앞부분과 뒷부분을 연결해준다는 점을 사용하여 접근하였다. Connectivity 1. ResNet DenseNet 역시 앞부분과 뒷부분을 연결해주는데 그 방식이 ResNet과 차이가 있다. ResNet의 방식은 입력값과 출력값을 skip connection에 의해 더해준다. 이..

이번에 리뷰할 논문은 "Xception: Deep Learning with Depthwise Separable Convolutions " 이다. 구글에서 2014년에 GoogLeNet이라는 모델을 제시하였고 이때 Inception module이라는 개념이 등장하였다. Xception은 이 Inception module을 기반으로 만들어진 모델이며, "Extreme Inception" 의 줄임말이다. Inception Module 본 논문은 Inception v3 로부터 Xception 모델까지 가는 과정을 담고 있다. Inception v1 (GoogLeNet)과는 약간의 차이가 있는데 구조는 다음과 같다. Inception v1 과 다른점은 5x5 Convolution 층을 3x3 Convolution..