| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 | 29 |
| 30 |
Tags
- Convolution
- optimizer
- transformer
- 코딩테스트
- programmers
- 머신러닝
- Computer Vision
- 파이썬
- cnn
- 알고리즘
- 파이토치
- 코드구현
- Self-supervised
- 논문 리뷰
- Semantic Segmentation
- Ai
- object detection
- Segmentation
- 딥러닝
- pytorch
- Paper Review
- Python
- 프로그래머스
- ViT
- 논문
- 옵티마이저
- opencv
- 논문리뷰
- 논문구현
- 인공지능
Archives
- Today
- Total
목록Gradient (1)
Attention please
[딥러닝] 옵티마이저(optimizer) - NAG
2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - Momentum 옵티마이저(optimizer) - Momentum 2022.09.29 - [딥러닝] - 옵티마이저(optimizer) - SGD 옵티마이저(optimizer) - SGD 옵티마이저란 model을 학습시키기 위해 설정해주어야 하는 작업입니다. SGD를 제외한 옵티마이저들은 모두 SGD의 응용으로.. smcho1201.tistory.com momentum기법은 현재 위치에서 관성과 gradient의 반대방향을 합하였습니다. NAG는 momentum을 공격적인 방식으로 변형한 것입니다. NAG NAG는 Nesterov Accelated Gradient의 줄임말입니다. 위 사진과 같이 원래 gradient step에 mome..
딥러닝/DNN
2022. 9. 30. 00:18