Attention please

옵티마이저란 model을 학습시키기 위해 설정해주어야 하는 작업입니다. SGD를 제외한 옵티마이저들은 모두 SGD의 응용으로 만들어졌습니다. optimizer에 대해 쉽게 설명하자면 산을 한걸음 한걸음 씩 내려간다고 생각하면 됩니다. 위에 사진처럼 모델을 학습하는데 있어서 목표는 가장 아래까지 내려가는 것이고, 내려가는 방법이 여러 종류가 있는데 그 방법이 optimizer입니다. 하지만 모델을 학습하기 위해 내려가야 하는 산은 3차원의 일반적인 산이 아닌 사람이 이해할 수 없는 다차원의 산입니다. 그렇기에 경사하강법(gradient descent)의 방법을 사용하여 내려가는 것이고 그중 가장 기초가 되는 SGD에 대해 살펴보겠습니다. SGD SGD, stochastic gradient descent의 ..

이번에 구현할 논문은 "ImageNet Classification with Deep Convolutional Neural Networks" 입니다. 이번 논문 구현을 하기 위해 사용한 프레임워크는 Pytorch입니다. The Dataset 논문에서 사용한 데이터셋은 ImageNet dataset 입니다. 22,000개의 범주로 구성되어 있으며, 총 1500만개의 이미지가 포함된 데이터셋입니다. 하지만 저 많은 데이터들을 학습시키기에는 소요되는 시간이 많아 논문에서 사용된 모델을 구현하는데 중점으로 두고 데이터셋은 CIFAR-10 으로 두고 학습을 시켜보도록 하겠습니다. 이 데이터셋은 32x32 픽셀의 이미지이며, 총 60000개의 컬러이미지로 구성되었습니다. 또한 위에 사진에 보이는 것과 같이 총 10개..