일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 | 31 |
- programmers
- Semantic Segmentation
- 옵티마이저
- pytorch
- 딥러닝
- 코딩테스트
- Paper Review
- 알고리즘
- 논문 리뷰
- object detection
- cnn
- 머신러닝
- Self-supervised
- 인공지능
- Ai
- opencv
- 파이썬
- 파이토치
- 코드구현
- Python
- Convolution
- ViT
- 프로그래머스
- 논문
- transformer
- Computer Vision
- optimizer
- 논문리뷰
- 논문구현
- Segmentation
- Today
- Total
목록분류 전체보기 (115)
Attention please
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/MU0Mw/btrU0tTkT0z/5kX6HF2iTTe3AjZ5VkSU0K/img.gif)
다양한 convolution 기법들 original convolution Transposed convolution separable & depthwise & pointwise convolution depthwise separable convolution CNN 모델은 input data 와 kernel을 convolution하여 feature를 추출한다. 일반적인 Convolution 기법은 다음과 같다. 하지만 object detection이나 object segmentation과 같은 경우 객체 주변이나 주위의 환경에 대해 판단하기 위해 contextual information을 확보하는 것이 중요한데 이를 위해서는 더 넓은 receptive field를 고려해야한다. 하지만 기존의 Convoluti..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/dcgd3c/btrUVjD1sHE/yK5TteLqFhWRAbYQpTrE91/img.png)
이번에 리뷰할 논문은 "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks" 이다. 본 논문에서 제안한 EfficientNet은 ImageNet 데이터셋의 classification task에 SOTA에 달성하였다. 본 논문의 부제목을 살펴보면 "CNN 모델들을 모델 scaling하는 방법에 대해 다시 생각해보자" 이다. 즉, 모델을 scaling하는 방법들에 대해 실험을 하여 보다 효율적인 성능을 내도록 하는 것이 본 논문의 목적인데, 이 효율적이라 함은 적은 파라미터의 수로 좋은 성능을 낸다는 것에 있다. 다음 figure와 같이 모델의 파라미터 수와 정확도를 비교한 표이다. 다른 모델들은 파라미터의 수가 많아지는 것에 비..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bkQuM7/btrUTJ36tNn/jpWtpEBQ4KZiYGkPQL31h1/img.png)
이번에 리뷰할 논문은 "Squeeze-and-Excitation Networks" 이다. SENet은 2017년 ImageNet 대회에서 우승을 차지한 모델이다. top-error가 2.251%로 사람의 error rate 인 5%보다 적은 수치를 달성하기도 했다. 논문의 제목을 읽어보면 Squeeze(짜내다)와 Excitation(활성화) 한 network라고 한다. 본 논문에서는 기존의 어떤 모델들과도 적용할 수 있는 SE block이라는 것을 제안했는데 이때 이 블럭의 과정이 squeeze하고 excitation을 한다고 하여 SE block이라고 한다. SE block은 기존 모델인 VGGNet, GoogLeNe, ResNet 에 첨가되어 성능이 향상되는 동시에 하이퍼 파라미터는 많이 늘지 않아서..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/ujIrL/btrUYp4w98R/FKouE9QkmfypDo12ns3FmK/img.png)
이번에 리뷰할 논문은 "Aggregated Residual Transformations for Deep Neural Networks " 이다. CNN의 성능을 높이기 위해 가장 먼저 드는 생각은 깊고(dimension) 넓게(scale) 만드는 것이다. 하지만 본 논문에서는 저 두가지가 아닌 cardinality를 키우는 것에 초점을 맞추었다. cardinality : the size of the set of transformations (똑같은 형태의 블록 개수) Split - Transform - Merge 즉, 같은 block을 반복하여 구축하는 것이 모델의 깊이와 넓이를 크게 가져가는 것보다 정확도에 더 큰 영향을 미친다는 것인데 이는 Inception module과 비슷한 형태를 가진다. res..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/co796k/btrUSzf8ikW/XqVkH22aM41kIzPJeL1tR0/img.png)
이번에 리뷰할 논문은 "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications" 이다. MobileNet은 말 그대로 모바일 기기에서 동작할 수 있도록 성능 저하를 최소화하면서 모델을 크게 경량화하는 것을 목표로 하였다. 2017년도 당시 사용되는 CNN 모델들은 분명 성능은 좋았지만 모델의 size가 너무 커진다는 단점이 있었다. 물론 데이터 센터와 같이 고성능의 환경에서는 무리없이 돌아가겠지만 문제는 모바일과 같이 고성능이 아닌 환경에서는 돌아가지도 않는다는 것이다. 즉 본 논문의 핵심은 파라미터를 줄이는데에 있었고 이를 위해 사용한 기법이 크게 3가지가 있다. Depthwise Separable Convol..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/OEqTd/btrUVjp5kbt/n8jesLxvdIWlLlouqgz1Pk/img.png)
이번에 리뷰할 논문은 "Densely Connected Convolutional Networks" 이다. CNN 모델의 성능을 높이기 위해 가장 직접적인 방법은 층의 깊이를 늘리는 것이다. 하지만 단순히 층이 깊어지기만 하면 vanishing gradient와 같은 문제들이 발생하게 되는데 이러한 문제들을 해결하기 위해 앞부분과 뒷부분을 short path로 연결해주는 ResNet과 같은 모델들이 제안되었다. DenseNet 역시 앞부분과 뒷부분을 연결해준다는 점을 사용하여 접근하였다. Connectivity 1. ResNet DenseNet 역시 앞부분과 뒷부분을 연결해주는데 그 방식이 ResNet과 차이가 있다. ResNet의 방식은 입력값과 출력값을 skip connection에 의해 더해준다. 이..