Attention please

이번에 리뷰할 논문은 FAR: Fourier Aerial Video Recognition 입니다. https://paperswithcode.com/paper/fourier-disentangled-space-time-attention-for Papers with Code - FAR: Fourier Aerial Video Recognition 🏆 SOTA for Action Recognition on UAV Human (Top 1 Accuracy metric) paperswithcode.com 일반적인 image classification 문제의 경우 위 그림과 같이 이미지 내 객체의 class를 분류하는 것을 목표로 하고 있습니다. 이미지 내 객체가 어디에 있는지 위치와 상관없이 종류가 무엇이냐에만 관심이..

이번에 리뷰할 논문은 Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 입니다. https://paperswithcode.com/paper/swin-transformer-hierarchical-vision Papers with Code - Swin Transformer: Hierarchical Vision Transformer using Shifted Windows #2 best model for Image Classification on OmniBenchmark (Average Top-1 Accuracy metric) paperswithcode.com 2017년도에 transformer 모델이 등장하면서 NLP 분야에서 큰 ..

이번에 리뷰할 논문은 AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 입니다. https://paperswithcode.com/paper/an-image-is-worth-16x16-words-transformers-1 Papers with Code - An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 🏆 SOTA for Out-of-Distribution Generalization on ImageNet-W (IN-W Gap metric) paperswithcode.com ViT를 이해하기 위해서는 기본적으로 transformer에 대한 ..

이번에 리뷰할 논문은 "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks" 이다. 본 논문에서 제안한 EfficientNet은 ImageNet 데이터셋의 classification task에 SOTA에 달성하였다. 본 논문의 부제목을 살펴보면 "CNN 모델들을 모델 scaling하는 방법에 대해 다시 생각해보자" 이다. 즉, 모델을 scaling하는 방법들에 대해 실험을 하여 보다 효율적인 성능을 내도록 하는 것이 본 논문의 목적인데, 이 효율적이라 함은 적은 파라미터의 수로 좋은 성능을 낸다는 것에 있다. 다음 figure와 같이 모델의 파라미터 수와 정확도를 비교한 표이다. 다른 모델들은 파라미터의 수가 많아지는 것에 비..

이번에 리뷰할 논문은 "Squeeze-and-Excitation Networks" 이다. SENet은 2017년 ImageNet 대회에서 우승을 차지한 모델이다. top-error가 2.251%로 사람의 error rate 인 5%보다 적은 수치를 달성하기도 했다. 논문의 제목을 읽어보면 Squeeze(짜내다)와 Excitation(활성화) 한 network라고 한다. 본 논문에서는 기존의 어떤 모델들과도 적용할 수 있는 SE block이라는 것을 제안했는데 이때 이 블럭의 과정이 squeeze하고 excitation을 한다고 하여 SE block이라고 한다. SE block은 기존 모델인 VGGNet, GoogLeNe, ResNet 에 첨가되어 성능이 향상되는 동시에 하이퍼 파라미터는 많이 늘지 않아서..

이번에 리뷰할 논문은 "Aggregated Residual Transformations for Deep Neural Networks " 이다. CNN의 성능을 높이기 위해 가장 먼저 드는 생각은 깊고(dimension) 넓게(scale) 만드는 것이다. 하지만 본 논문에서는 저 두가지가 아닌 cardinality를 키우는 것에 초점을 맞추었다. cardinality : the size of the set of transformations (똑같은 형태의 블록 개수) Split - Transform - Merge 즉, 같은 block을 반복하여 구축하는 것이 모델의 깊이와 넓이를 크게 가져가는 것보다 정확도에 더 큰 영향을 미친다는 것인데 이는 Inception module과 비슷한 형태를 가진다. res..