Attention please

이번에 리뷰할 논문은 "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications" 이다. MobileNet은 말 그대로 모바일 기기에서 동작할 수 있도록 성능 저하를 최소화하면서 모델을 크게 경량화하는 것을 목표로 하였다. 2017년도 당시 사용되는 CNN 모델들은 분명 성능은 좋았지만 모델의 size가 너무 커진다는 단점이 있었다. 물론 데이터 센터와 같이 고성능의 환경에서는 무리없이 돌아가겠지만 문제는 모바일과 같이 고성능이 아닌 환경에서는 돌아가지도 않는다는 것이다. 즉 본 논문의 핵심은 파라미터를 줄이는데에 있었고 이를 위해 사용한 기법이 크게 3가지가 있다. Depthwise Separable Convol..

이번에 리뷰할 논문은 "Densely Connected Convolutional Networks" 이다. CNN 모델의 성능을 높이기 위해 가장 직접적인 방법은 층의 깊이를 늘리는 것이다. 하지만 단순히 층이 깊어지기만 하면 vanishing gradient와 같은 문제들이 발생하게 되는데 이러한 문제들을 해결하기 위해 앞부분과 뒷부분을 short path로 연결해주는 ResNet과 같은 모델들이 제안되었다. DenseNet 역시 앞부분과 뒷부분을 연결해준다는 점을 사용하여 접근하였다. Connectivity 1. ResNet DenseNet 역시 앞부분과 뒷부분을 연결해주는데 그 방식이 ResNet과 차이가 있다. ResNet의 방식은 입력값과 출력값을 skip connection에 의해 더해준다. 이..

이번에 리뷰할 논문은 "Xception: Deep Learning with Depthwise Separable Convolutions " 이다. 구글에서 2014년에 GoogLeNet이라는 모델을 제시하였고 이때 Inception module이라는 개념이 등장하였다. Xception은 이 Inception module을 기반으로 만들어진 모델이며, "Extreme Inception" 의 줄임말이다. Inception Module 본 논문은 Inception v3 로부터 Xception 모델까지 가는 과정을 담고 있다. Inception v1 (GoogLeNet)과는 약간의 차이가 있는데 구조는 다음과 같다. Inception v1 과 다른점은 5x5 Convolution 층을 3x3 Convolution..

이번에 구현할 논문은 "VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION" 입니다. 이번 논문을 구현하기 위해 사용한 프레임 워크는 Pytorch 입니다. The Dataset 논문에서 사용한 데이터셋은 저번 글에서 소개한 ImageNet dataset입니다. 하지만 너무 많은 양의 데이터와 분류때문에 학습시간이 오래 걸릴 것을 고려하여 저번과 동일하게 CIFAR-10 데이터셋을 사용하도록 하겠습니다. (imagenet 과 cifar-10 데이터셋에 대한 설명은 저번 글에 남겨놓았습니다.) Depth 이 논문에서 중요시하는 것은 모델의 깊이 입니다. 모델의 깊이가 깊어지면 깊어질 수록 성능이 좋아진다는 것입니다. 즉, 이미지의 대한 정..