Attention please

이번에 리뷰할 논문은 "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks" 이다. 본 논문에서 제안한 EfficientNet은 ImageNet 데이터셋의 classification task에 SOTA에 달성하였다. 본 논문의 부제목을 살펴보면 "CNN 모델들을 모델 scaling하는 방법에 대해 다시 생각해보자" 이다. 즉, 모델을 scaling하는 방법들에 대해 실험을 하여 보다 효율적인 성능을 내도록 하는 것이 본 논문의 목적인데, 이 효율적이라 함은 적은 파라미터의 수로 좋은 성능을 낸다는 것에 있다. 다음 figure와 같이 모델의 파라미터 수와 정확도를 비교한 표이다. 다른 모델들은 파라미터의 수가 많아지는 것에 비..

이번에 리뷰할 논문은 "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications" 이다. MobileNet은 말 그대로 모바일 기기에서 동작할 수 있도록 성능 저하를 최소화하면서 모델을 크게 경량화하는 것을 목표로 하였다. 2017년도 당시 사용되는 CNN 모델들은 분명 성능은 좋았지만 모델의 size가 너무 커진다는 단점이 있었다. 물론 데이터 센터와 같이 고성능의 환경에서는 무리없이 돌아가겠지만 문제는 모바일과 같이 고성능이 아닌 환경에서는 돌아가지도 않는다는 것이다. 즉 본 논문의 핵심은 파라미터를 줄이는데에 있었고 이를 위해 사용한 기법이 크게 3가지가 있다. Depthwise Separable Convol..

이번에 리뷰할 논문은 "Deep Residual Learning for Image Recognition" 이다. 이 논문에서 소개하는 모델은 ResNet이라 불리며 이미지넷 이미지 인식 대회(ILSVRC)에서 1등을 차지하였다. 모델의 깊이가 깊어지게되면 모델의 성능 역시 상승하게 된다. 하지만 vanishing gradient와 같이 모델의 깊이가 깊어지게 되면 생기는 문제들 역시 존재하기에 아무런 대책없이 무작정 모델의 layer을 높이는 것은 정답이 아니다. 하지만 ResNet은 무려 152개의 layer을 쌓았으며 VGGNet보다 복잡도가 낮은 엄청난 성과를 보여주었다. Residual Learning 앞서 말했던 것처럼 CNN은 모델의 깊이가 깊어질수록 학습할 수 있는 feature가 증가하게 ..

이번에 구현할 논문은 "VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION" 입니다. 이번 논문을 구현하기 위해 사용한 프레임 워크는 Pytorch 입니다. The Dataset 논문에서 사용한 데이터셋은 저번 글에서 소개한 ImageNet dataset입니다. 하지만 너무 많은 양의 데이터와 분류때문에 학습시간이 오래 걸릴 것을 고려하여 저번과 동일하게 CIFAR-10 데이터셋을 사용하도록 하겠습니다. (imagenet 과 cifar-10 데이터셋에 대한 설명은 저번 글에 남겨놓았습니다.) Depth 이 논문에서 중요시하는 것은 모델의 깊이 입니다. 모델의 깊이가 깊어지면 깊어질 수록 성능이 좋아진다는 것입니다. 즉, 이미지의 대한 정..

이번에 구현할 논문은 "ImageNet Classification with Deep Convolutional Neural Networks" 입니다. 이번 논문 구현을 하기 위해 사용한 프레임워크는 Pytorch입니다. The Dataset 논문에서 사용한 데이터셋은 ImageNet dataset 입니다. 22,000개의 범주로 구성되어 있으며, 총 1500만개의 이미지가 포함된 데이터셋입니다. 하지만 저 많은 데이터들을 학습시키기에는 소요되는 시간이 많아 논문에서 사용된 모델을 구현하는데 중점으로 두고 데이터셋은 CIFAR-10 으로 두고 학습을 시켜보도록 하겠습니다. 이 데이터셋은 32x32 픽셀의 이미지이며, 총 60000개의 컬러이미지로 구성되었습니다. 또한 위에 사진에 보이는 것과 같이 총 10개..