목록분류 전체보기 (116)

Attention please

[딥러닝] LeCun / Xavier / He 초기값 설정 - 표현력 제한, vanishing gradient문제 보완

2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - Adam 옵티마이저(optimizer) - Adam 2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - RMSProp 옵티마이저(optimizer) - RMSProp 2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - AdaGrad 옵티마이저(optimizer) - AdaGrad 2022.09.30 - [딥러닝].. smcho1201.tistory.com 지금까지 optimizer 기법들에 대해 살펴보았습니다. 이번 글에서는 학습을 시키기 전 가중치값들을 어떻게 초기화해야 하는지에 대해 살펴보겠습니다. 가중치 초기값 설정 왜 가중치를 초기화 하는 것이 중요할까요? 사실 많은 사람들이 앞서 설명드..
딥러닝/DNN 2022. 10. 1. 12:16
[딥러닝] 옵티마이저(optimizer) - Adam

2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - RMSProp 옵티마이저(optimizer) - RMSProp 2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - AdaGrad 옵티마이저(optimizer) - AdaGrad 2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - NAG 옵티마이저(optimizer) - NAG 2022.09.30 - [딥러닝] - 옵티마.. smcho1201.tistory.com 지난 글에서는 RMSProp기법에 대해 알아보았습니다. 이번 글에서는 가장 많이 쓰인다는 Adam에 대해 알아보겠습니다. Adam 지금까지 알아본 optimizer기법들은 가장 기본인 SGD기법의 문제점들을 보완하기 위해 만들어졌었다. ..
딥러닝/DNN 2022. 9. 30. 02:10
[딥러닝] 옵티마이저(optimizer) - RMSProp

2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - AdaGrad 옵티마이저(optimizer) - AdaGrad 2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - NAG 옵티마이저(optimizer) - NAG 2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - Momentum 옵티마이저(optimizer) - Momentum 2022.09.29 - [딥러닝] - 옵티.. smcho1201.tistory.com 이전 글에서는 learning rate를 각 스텝마다 변수에 맞게 조절해나가는 optimizer기법인 AdaGrad에 대해 알아보았습니다. 이번에는 AdaGrad에서의 문제점들을 보완한 RMSProp 기법에 대해 알아보겠습니다. RMS..
딥러닝/DNN 2022. 9. 30. 01:34
[딥러닝] 옵티마이저(optimizer) - AdaGrad

2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - NAG 옵티마이저(optimizer) - NAG 2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - Momentum 옵티마이저(optimizer) - Momentum 2022.09.29 - [딥러닝] - 옵티마이저(optimizer) - SGD 옵티마이저(optimizer) - SGD 옵티마이저란 model을 학습.. smcho1201.tistory.com 지금까지 알아보았던 Momentum과 NAG는 기존의 SGD에서 관성을 적용시키는 방식으로 접근을 한 기법이였습니다. 하지만 이번에 알아볼 AdaGrad기법은 관성으로 접근하는 것이 아닌 learning rate를 조절하는 것으로 접근하는 기법입니다. AdaGr..
딥러닝/DNN 2022. 9. 30. 01:19
[딥러닝] 옵티마이저(optimizer) - NAG

2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - Momentum 옵티마이저(optimizer) - Momentum 2022.09.29 - [딥러닝] - 옵티마이저(optimizer) - SGD 옵티마이저(optimizer) - SGD 옵티마이저란 model을 학습시키기 위해 설정해주어야 하는 작업입니다. SGD를 제외한 옵티마이저들은 모두 SGD의 응용으로.. smcho1201.tistory.com momentum기법은 현재 위치에서 관성과 gradient의 반대방향을 합하였습니다. NAG는 momentum을 공격적인 방식으로 변형한 것입니다. NAG NAG는 Nesterov Accelated Gradient의 줄임말입니다. 위 사진과 같이 원래 gradient step에 mome..
딥러닝/DNN 2022. 9. 30. 00:18
[딥러닝] 옵티마이저(optimizer) - Momentum

2022.09.29 - [딥러닝] - 옵티마이저(optimizer) - SGD 옵티마이저(optimizer) - SGD 옵티마이저란 model을 학습시키기 위해 설정해주어야 하는 작업입니다. SGD를 제외한 옵티마이저들은 모두 SGD의 응용으로 만들어졌습니다. optimizer에 대해 쉽게 설명하자면 산을 한걸음 한걸음 smcho1201.tistory.com 지난 글에서는 모든 optimizer의 기초가 되는 SGD에 대해 설명하였습니다. 이번에는 SGD의 문제점 중 local minimum에 빠지는 문제를 해결하기 위해 고안된 Momentum 기법에 대해 알아보겠습니다. Momentum 위에서 말했던 것처럼 momentum은 SGD의 local minimum에 빠져버리는 문제를 해결하기 위해 생겨난 기..
딥러닝/DNN 2022. 9. 30. 00:17
이전 Prev 1 ··· 16 17 18 19 20 Next 다음