Attention please

IoU란? IoU란 Ground Truth와 모델이 예측한 값이 얼마나 겹쳐있는지 나타내는 Metric이다. 즉, IoU는 실제 box와 예측한 box의 교집합 / 합집합을 의미한다. 정답 영역과 예측 영역의 겹쳐진 부분이 크면 클수록 IoU값은 커진다. 물론 값이 크면 클수록 잘 예측했다고 판단한다. IoU의 최대값은 1이며, 최소값은 0이다. IoU는 굉장히 엄격한 metric이기에 사람 눈으로 봤을 때는 object가 잘 검출된다고 느껴질지는 몰라도 IoU 값은 현저히 떨어질 수 있다. 고작 1/9 정도의 오차이기에 사람의 입장에서는 좋게 보여지지만 실제로 IoU값은 0.65 정도로 높지 않다. 그만큼 IoU Metric은 엄격한 평가지표임을 알 수 있다. 계산 방법 x : 각 영역 중심의 x좌표 ..

다양한 convolution 기법들 original convolution dilated convolution transposed convolution depthwise separable convolution Separable Convolution 말 그대로 kernel 작업을 여러 단계로 나누어 주는 기법이다. Convolution 연산은 y = conv(x, k) 라고 표현해보자. (x : input data, y : output data, k : kernel) 이때 kernel k 가 k1.dot(k2) 로 연산되는 2D Convolution이라면 2차원 계산을 하는 대신 1차원 계산 2개로 나누어 계산하는 것이다. 즉, k 를 k1 과 k2 1D Convolution으로 나누어 계산한다. 물론 둘 ..

다양한 convolution 기법들 original convolution dilated convolution separable & depthwise & pointwise convolution depthwise separable convolution 이번 글에서는 Transposed Convolution에 대해 알아보자. 이 convolution 기법은 Deconvolution 이라는 이름으로 많이 쓰이지만 이는 잘못된 표현이다. Deconvolution은 이전의 convolution 작업을 되돌려 output을 원본 input으로 되돌리는 것이다. Transposed Convolution 역시 같은 spatial dimension을 만들어낸다는 점에서 Deconvolution과 유사하지만 Transpos..

다양한 convolution 기법들 original convolution Transposed convolution separable & depthwise & pointwise convolution depthwise separable convolution CNN 모델은 input data 와 kernel을 convolution하여 feature를 추출한다. 일반적인 Convolution 기법은 다음과 같다. 하지만 object detection이나 object segmentation과 같은 경우 객체 주변이나 주위의 환경에 대해 판단하기 위해 contextual information을 확보하는 것이 중요한데 이를 위해서는 더 넓은 receptive field를 고려해야한다. 하지만 기존의 Convoluti..

이번에 리뷰할 논문은 "Squeeze-and-Excitation Networks" 이다. SENet은 2017년 ImageNet 대회에서 우승을 차지한 모델이다. top-error가 2.251%로 사람의 error rate 인 5%보다 적은 수치를 달성하기도 했다. 논문의 제목을 읽어보면 Squeeze(짜내다)와 Excitation(활성화) 한 network라고 한다. 본 논문에서는 기존의 어떤 모델들과도 적용할 수 있는 SE block이라는 것을 제안했는데 이때 이 블럭의 과정이 squeeze하고 excitation을 한다고 하여 SE block이라고 한다. SE block은 기존 모델인 VGGNet, GoogLeNe, ResNet 에 첨가되어 성능이 향상되는 동시에 하이퍼 파라미터는 많이 늘지 않아서..

이번에 리뷰할 논문은 "Densely Connected Convolutional Networks" 이다. CNN 모델의 성능을 높이기 위해 가장 직접적인 방법은 층의 깊이를 늘리는 것이다. 하지만 단순히 층이 깊어지기만 하면 vanishing gradient와 같은 문제들이 발생하게 되는데 이러한 문제들을 해결하기 위해 앞부분과 뒷부분을 short path로 연결해주는 ResNet과 같은 모델들이 제안되었다. DenseNet 역시 앞부분과 뒷부분을 연결해준다는 점을 사용하여 접근하였다. Connectivity 1. ResNet DenseNet 역시 앞부분과 뒷부분을 연결해주는데 그 방식이 ResNet과 차이가 있다. ResNet의 방식은 입력값과 출력값을 skip connection에 의해 더해준다. 이..