| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 | 29 |
| 30 |
Tags
- 논문구현
- ViT
- programmers
- 코딩테스트
- Paper Review
- pytorch
- Semantic Segmentation
- Computer Vision
- Self-supervised
- 머신러닝
- Ai
- 알고리즘
- 프로그래머스
- opencv
- 코드구현
- transformer
- 논문 리뷰
- cnn
- 파이토치
- 논문
- Segmentation
- 옵티마이저
- 딥러닝
- 논문리뷰
- optimizer
- 파이썬
- 인공지능
- Python
- object detection
- Convolution
Archives
- Today
- Total
목록Global Minimum (1)
Attention please
[딥러닝] 옵티마이저(optimizer) - Momentum
2022.09.29 - [딥러닝] - 옵티마이저(optimizer) - SGD 옵티마이저(optimizer) - SGD 옵티마이저란 model을 학습시키기 위해 설정해주어야 하는 작업입니다. SGD를 제외한 옵티마이저들은 모두 SGD의 응용으로 만들어졌습니다. optimizer에 대해 쉽게 설명하자면 산을 한걸음 한걸음 smcho1201.tistory.com 지난 글에서는 모든 optimizer의 기초가 되는 SGD에 대해 설명하였습니다. 이번에는 SGD의 문제점 중 local minimum에 빠지는 문제를 해결하기 위해 고안된 Momentum 기법에 대해 알아보겠습니다. Momentum 위에서 말했던 것처럼 momentum은 SGD의 local minimum에 빠져버리는 문제를 해결하기 위해 생겨난 기..
딥러닝/DNN
2022. 9. 30. 00:17