Attention please

2022.09.29 - [딥러닝] - 옵티마이저(optimizer) - SGD 옵티마이저(optimizer) - SGD 옵티마이저란 model을 학습시키기 위해 설정해주어야 하는 작업입니다. SGD를 제외한 옵티마이저들은 모두 SGD의 응용으로 만들어졌습니다. optimizer에 대해 쉽게 설명하자면 산을 한걸음 한걸음 smcho1201.tistory.com 지난 글에서는 모든 optimizer의 기초가 되는 SGD에 대해 설명하였습니다. 이번에는 SGD의 문제점 중 local minimum에 빠지는 문제를 해결하기 위해 고안된 Momentum 기법에 대해 알아보겠습니다. Momentum 위에서 말했던 것처럼 momentum은 SGD의 local minimum에 빠져버리는 문제를 해결하기 위해 생겨난 기..

옵티마이저란 model을 학습시키기 위해 설정해주어야 하는 작업입니다. SGD를 제외한 옵티마이저들은 모두 SGD의 응용으로 만들어졌습니다. optimizer에 대해 쉽게 설명하자면 산을 한걸음 한걸음 씩 내려간다고 생각하면 됩니다. 위에 사진처럼 모델을 학습하는데 있어서 목표는 가장 아래까지 내려가는 것이고, 내려가는 방법이 여러 종류가 있는데 그 방법이 optimizer입니다. 하지만 모델을 학습하기 위해 내려가야 하는 산은 3차원의 일반적인 산이 아닌 사람이 이해할 수 없는 다차원의 산입니다. 그렇기에 경사하강법(gradient descent)의 방법을 사용하여 내려가는 것이고 그중 가장 기초가 되는 SGD에 대해 살펴보겠습니다. SGD SGD, stochastic gradient descent의 ..