Attention please

옵티마이저란 model을 학습시키기 위해 설정해주어야 하는 작업입니다. SGD를 제외한 옵티마이저들은 모두 SGD의 응용으로 만들어졌습니다. optimizer에 대해 쉽게 설명하자면 산을 한걸음 한걸음 씩 내려간다고 생각하면 됩니다. 위에 사진처럼 모델을 학습하는데 있어서 목표는 가장 아래까지 내려가는 것이고, 내려가는 방법이 여러 종류가 있는데 그 방법이 optimizer입니다. 하지만 모델을 학습하기 위해 내려가야 하는 산은 3차원의 일반적인 산이 아닌 사람이 이해할 수 없는 다차원의 산입니다. 그렇기에 경사하강법(gradient descent)의 방법을 사용하여 내려가는 것이고 그중 가장 기초가 되는 SGD에 대해 살펴보겠습니다. SGD SGD, stochastic gradient descent의 ..