[딥러닝] 옵티마이저(optimizer) - SGD

 옵티마이저란 model을 학습시키기 위해 설정해주어야 하는 작업입니다.

 

SGD를 제외한 옵티마이저들은 모두 SGD의 응용으로 만들어졌습니다.

 

 

 

optimizer에 대해 쉽게 설명하자면 산을 한걸음 한걸음 씩 내려간다고 생각하면 됩니다.

위에 사진처럼 모델을 학습하는데 있어서 목표는 가장 아래까지 내려가는 것이고,

내려가는 방법이 여러 종류가 있는데 그 방법이 optimizer입니다.

 

하지만 모델을 학습하기 위해 내려가야 하는 산은 3차원의 일반적인 산이 아닌

사람이 이해할 수 없는 다차원의 산입니다.

 

그렇기에 경사하강법(gradient descent)의 방법을 사용하여 내려가는 것이고

그중 가장 기초가 되는 SGD에 대해 살펴보겠습니다.

 

 

 

 

SGD

SGD, stochastic gradient descent의 줄임말로 번역하면 확률적 경사 하강법입니다.

 

 

위 사진은 위에서 말했던 다차원의 산을 2차함수로 단순화하여 

어떤식으로 내려가는지 보여준 것입니다.

 

랜덤한 위치에서 출발을 하여 가장 loss가 최소가 되는 지점으로 가는 것이 목표이며,

2차함수에서 최소가 되는 지점은 최소점입니다.

 

 

위 함수에서 w(t)가 현재 위치이며 수식을 통해

다음 한걸음 후 위치인 w(t+1)을 구하는 것입니다.

 

위 부분은 산에서 내려갈 때 한 걸음의 보폭이라고 생각하면 되겠습니다.

 

 

 

한계

 

앞서 말했던 것과 같이 모델을 학습하는 것은 산을 내려가는 것이라고 하였습니다.

다차원의 산이기에 눈을 감고 산을 내려가는 것과 같기도 합니다.

 

그렇기에 지금의 나의 위치에서 더 내려갈 길이 없다고 해도

그 곳이 이 산의 맨 밑바닥인가를 확정하기에는 어렵습니다.

 

그렇기에 최소점이 아니지만 극점인 부분들을 local minimum이라 하고

최소점을 global minimum이라고 합니다.

 

하지만 SGD기법은 한번 local minimum에 빠지면 더이상 내려가지 않기에

명확한 한계가 있다고 할 수 있습니다.

 

만약 global minimum 까지 내려왔다면 학습이 아주 잘 되었다고 할 수 있습니다.

 

 

 

다음은 4개의 optimizer의 이동하는 경로를 시각화한 것입니다.

 

보이는것 처럼 다른 optimizer 기법들과 다르게 SGD는 심하게 지그재그로

요동치며 나아가는 것을 볼 수 있습니다.

 

즉 산을 내려갈 때 너무 비효율적으로 내려감을 의미하며

훈련시간 역시 너무 길기에 한계점이라 할 수 있습니다.

 

 

 

 

코드구현

 

 

class SGD:

    def __init__(self, lr=0.01):
        self.lr = lr
        
    def update(self, params, grads):
        for key in params.keys():
            params[key] -= self.lr * grads[key]

 

SGD를 사용할 때 수동으로 지정해야할 파라미터는 learning rate뿐입니다.

하지만 거의 0.01로 통일되어 빈번하게 사용하고 있습니다.

 

update 메서드는 위의 수식을 코드화한 것 입니다.