🤖딥러닝 (18) 썸네일형 리스트형 Attention Mechanism (어텐션 메커니즘)의 거의 모든것(1) 01. seq2seq의 문제점 이전 게시글에서는 입력 시퀀스에 대한 모든 정보를 하나의 고정된 크기의 벡터(context vector)로 인코딩한다음, 이를 디코더로 전달하여 다른 도메인의 시퀀스를 출력하는 seq2seq에 대해 정리하였다. seq2seq는 vanilla RNN보다 시퀀스 데이터를 더욱 잘 처리할 수 있지만, 여전히 한계가 존재한다. 1️⃣입력 시퀀스의 길이에 상관없이, 항상 고정된 크기의 벡터에 모든 정보를 압축하기 때문에 이 과정에서 정보 손실이 발생한다. (bottleneck으로 작용) 2️⃣입력 시퀀스의 길이가 길어지면 RNN에서 발생된 기울기 소실(vanising gradient) 문제가 여전히 존재한다. -> 위와 같은 seq2seq의 문제점을 보완하기 위해 Attention .. seq2seq 개념 01. Seq2Seq란? seq2seq는 'sequence to sequence(시계열에서 시계열로)'로, 한 시계열 데이터를 다른 시계열 데이터로 변환하는 것을 의미한다. 기본적으로 seq2seqs는 RNN기반의 모델 두 개를 연결하여 구현할 수 있으며, 이를 encoder(인코더)-decoder(디코더) 모델이라고도 한다. 인코더는 입력된 정보를 취합/저장하는 역할을 하고, 디코더는 인코더로부터 축약된 정보들을 풀어서 반환/생성해주는 역할을 한다. 하나의 문장을 시퀀스로 볼 수 있는데, 이때 어떠한 언어 문장(ex. 안녕!)을 또 다른 언어의 문장(ex.Hi!)으로 번역하는 것이 seq2seq의 대표적인 예이다. 02. Seq2Seq원리 seq2seq는 인코더&디코더라는 두 개의 모듈로 구성된다. 이.. 다중 분류 손실함수(categorical_crossentropy 와sparse_categorical_crossentropy 차이) 손실 함수(loss function)는 해당 데이터를 가지고 어떤 형태의 예측을 할 것인지에 따라 선택하면 되는데, 그중, 다중 클래스 분류를 위해 사용되는 손실 함수에 대해 정리해보고자 한다. 일반적으로 다중 클래스 분류 시 'categorical_crossentropy'를 손실함수로 사용한다. 그런데 'sparse_categorical_crossentropy'또한 다중 클래스 분류 시 손실 함수로 사용할 수 있다. 그렇다면 두 손실함수는 어떤 차이가 있을까? 결론적으로, 훈련데이터의 label(y / target) 값이 원-핫 벡터 형태인경우 categorical_crossentropy 를 사용하고 훈련 데이터의 label(y / target) 값이 정수(Int) 형태인 경우에는 sparse_cate.. [딥러닝] Object detection (2)(R-CNN / Fast R-CNN / Faster R-CNN 총정리) 01. R-CNN ➰ R-CNN의 작동원리 1️⃣ Input 이미지를 가지고 CPU상에서 selective search를 진행하여 물체가 존재할 것 같은 지역(ROI)을 2000개 정도 뽑아낸다. 2️⃣ 이렇게 뽑아낸 ROI(Refions Of Interest)들은 각각 다른 크기와 위치를 가진다. 때문에 이를 corp & warp 하여 CNN에 들어가기 좋은 정사각 형태로 만든다. 3️⃣ 각각의 ROI들을 ConvNet으로 돌려 feature vector를 추출한다. 4️⃣ 추출된 feature vector들을 SVMs을 이용하여 어떤 클래스에 해당되는지, 그리고 Regressor를 이용하여 정확한 물체의 위치가 어딘지 bounding box를 조절한다. ✔️ 위의 단계를 조금 더 구체적으로 보자면, .. [딥러닝] Object detection(Region proposal / Sliding window / Selective search) 1. Object detection 이미지 내에서 사물을 인식하는 방법에는 다양한 유형이 존재하는데, 그중 Object detection에 대해 정리하고자 한다. Object detection은 이미지내에 불특정 다수의 object가 있을때, 각 object의 위치와 클래스정보를 알려주는 것이다. object detection을 접근하는 아이디어는 크게 2가지가 있다. 예를 들어, 한 장의 이미지에 고양이, 강아지, 오리 등의 다양한 object가 있을 때 고양이(클래스)는 여기에(위치), 강아지는 저기에 이러한 정보를 맞추는 것이다. ➰ 아이디어1️⃣: Regression 앞서 Localization을 regression으로 간주했듯, regression을 기반으로 object detection을 접근.. 이전 1 2 3 4 다음
