목록딥러닝 (54)

Attention please

[딥러닝] 텐서의 합성곱의 원리, CNN - 합성곱신경망

2022.12.09 - [딥러닝/CNN] - 이미지와 텐서, 전치(transpose) 이미지와 텐서, 전치(transpose) CNN(합성곱 신경망) 앞으로 다룰 CNN - Convolution Neural Network 은 컴퓨터 비전 즉 이미지를 처리하는데 특화되어있다. 즉, 이미지를 학습을 한다는 것인데 컴퓨터에 학습시키기 위해서는 데이터를 수 smcho1201.tistory.com 저번 글에서는 학습을 할 이미지가 텐서로 구성됨을 보였으며, 학습을 위한 전처리 방법 중 하나인 전치(transpose)에 대해 알아보았다. 이번 글에서는 CNN의 핵심이라 할 수 있는 합성곱이 어떻게 이루어지는지 알아보자. 합성곱(Convolution)이란 무엇인가? 앞에서 다루었던 Affine층으로 이루어진 full..
딥러닝/CNN 2022. 12. 9. 23:12
[딥러닝] 이미지와 텐서의 관계, 전치(transpose) - CHW, HWC

CNN(합성곱 신경망) 앞으로 다룰 CNN - Convolution Neural Network 은 컴퓨터 비전 즉 이미지를 처리하는데 특화되어있다. 즉, 이미지를 학습을 한다는 것인데 컴퓨터에 학습시키기 위해서는 데이터를 수치화할 필요가 있다. 글과 같이 자연어를 처리할 때는 언어를 벡터로 바꾸는 등 전처리 과정이 필요하지만 이미지나 영상은 애초에 텐서의 형태를 가지고 있다. 예를 들어 흑백 사진은 행렬 즉 2차원 텐서이며, 여러 이미지들을 배치로 묶게 되면 3차원 텐서가 된다. 컬러 이미지같은 경우는 R, G, B 3개의 행렬이 합쳐져 있는 형태로 3차원 텐서이며, 컬러 이미지 여러장을 배치로 묶게 되면 4차원 텐서가 된다. 2차원 텐서까지는 평면에 표현하기 어렵지 않다. 하지만 3차원 이상부터는 입체..
딥러닝/CNN 2022. 12. 9. 21:38
[딥러닝] Regularization(Weight Decay, Dropout) - overfitting(과적합) 억제

2022.10.27 - [딥러닝] - Batch Normalization (배치정규화) Batch Normalization (배치정규화) 2022.10.01 - [딥러닝] - LeCun / Xavier / He 초기값 설정 - 표현력 제한, vanishing gradient문제 보완 LeCun / Xavier / He 초기값 설정 - 표현력 제한, vanishing gradient문제 보완 2022.09.30 - [딥러닝] -.. smcho1201.tistory.com 이전 글에서는 Batch Normalization층에 대해 알아보았습니다. 이번 글에서는 Batch Norm층의 장점 중 하나인 overfitting이란 무엇이고, overfitting을 억제하기 위한 다른 2가지 방법을 알아보겠습니다. ..
딥러닝/DNN 2022. 10. 30. 14:12
[논문 리뷰] VGGNet(2015), 파이토치 구현

이번에 구현할 논문은 "VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION" 입니다. 이번 논문을 구현하기 위해 사용한 프레임 워크는 Pytorch 입니다. The Dataset 논문에서 사용한 데이터셋은 저번 글에서 소개한 ImageNet dataset입니다. 하지만 너무 많은 양의 데이터와 분류때문에 학습시간이 오래 걸릴 것을 고려하여 저번과 동일하게 CIFAR-10 데이터셋을 사용하도록 하겠습니다. (imagenet 과 cifar-10 데이터셋에 대한 설명은 저번 글에 남겨놓았습니다.) Depth 이 논문에서 중요시하는 것은 모델의 깊이 입니다. 모델의 깊이가 깊어지면 깊어질 수록 성능이 좋아진다는 것입니다. 즉, 이미지의 대한 정..
논문 리뷰/Image classification 2022. 10. 1. 16:17
[딥러닝] LeCun / Xavier / He 초기값 설정 - 표현력 제한, vanishing gradient문제 보완

2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - Adam 옵티마이저(optimizer) - Adam 2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - RMSProp 옵티마이저(optimizer) - RMSProp 2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - AdaGrad 옵티마이저(optimizer) - AdaGrad 2022.09.30 - [딥러닝].. smcho1201.tistory.com 지금까지 optimizer 기법들에 대해 살펴보았습니다. 이번 글에서는 학습을 시키기 전 가중치값들을 어떻게 초기화해야 하는지에 대해 살펴보겠습니다. 가중치 초기값 설정 왜 가중치를 초기화 하는 것이 중요할까요? 사실 많은 사람들이 앞서 설명드..
딥러닝/DNN 2022. 10. 1. 12:16
[딥러닝] 옵티마이저(optimizer) - Adam

2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - RMSProp 옵티마이저(optimizer) - RMSProp 2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - AdaGrad 옵티마이저(optimizer) - AdaGrad 2022.09.30 - [딥러닝] - 옵티마이저(optimizer) - NAG 옵티마이저(optimizer) - NAG 2022.09.30 - [딥러닝] - 옵티마.. smcho1201.tistory.com 지난 글에서는 RMSProp기법에 대해 알아보았습니다. 이번 글에서는 가장 많이 쓰인다는 Adam에 대해 알아보겠습니다. Adam 지금까지 알아본 optimizer기법들은 가장 기본인 SGD기법의 문제점들을 보완하기 위해 만들어졌었다. ..
딥러닝/DNN 2022. 9. 30. 02:10
이전 Prev 1 ··· 5 6 7 8 9 Next 다음