일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 | 31 |
Tags
- programmers
- pytorch
- 논문구현
- 머신러닝
- Python
- opencv
- Segmentation
- Ai
- 논문 리뷰
- 프로그래머스
- Self-supervised
- 코딩테스트
- 논문리뷰
- Paper Review
- cnn
- 논문
- 인공지능
- 딥러닝
- transformer
- 알고리즘
- optimizer
- Computer Vision
- Semantic Segmentation
- 옵티마이저
- object detection
- 코드구현
- 파이토치
- Convolution
- 파이썬
- ViT
Archives
- Today
- Total
목록NAG (1)
Attention please
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/FHcgY/btrNn3v7PKR/ed8JupfWwwceyAyK50x4O1/img.png)
2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - Momentum 옵티마이저(optimizer) - Momentum 2022.09.29 - [딥러닝] - 옵티마이저(optimizer) - SGD 옵티마이저(optimizer) - SGD 옵티마이저란 model을 학습시키기 위해 설정해주어야 하는 작업입니다. SGD를 제외한 옵티마이저들은 모두 SGD의 응용으로.. smcho1201.tistory.com momentum기법은 현재 위치에서 관성과 gradient의 반대방향을 합하였습니다. NAG는 momentum을 공격적인 방식으로 변형한 것입니다. NAG NAG는 Nesterov Accelated Gradient의 줄임말입니다. 위 사진과 같이 원래 gradient step에 mome..
딥러닝/DNN
2022. 9. 30. 00:18