Note 432 Segmentaion, Object Detection/Recognition
MLP나 CNN을 이용하면 이미지에 맞는 class를 예측하는 이미지 분류를 할 수 있다. 하지만, MLP는 공간정보를 보존하지 못하고, CNN 또한 완전 연결 신경망 층에서는 기존에 추출했던 공간정보를 보존하지 못하기 때문에 더 세부적인 이미지 분류가 어렵다. 이번 포스팅에서는 ...
Recent posts
Note 431 합성곱 신경망(CNN)
이미지 데이터는 공간적인 특성을 가지고 있고 (높이, 너비, 깊이) 라는 3차원 텐서로 표현되는데 여기서 깊이란 이미지가 흑백인지 컬러인지를 구분할 수 있게 한다. 예를 들어 (28,28,1)의 이미지는 가로 세로 벡터의 크기가 28인 이미지이고 깊이(채널)은 1이기 때문에 흑백 ...
Note 424 Transformer
RNN에서는 단어가 순서대로 들어오기 때문에 시퀸스가 길면 연산 시간이 길어진다는 단점이 있다. 단어를 time-step별로 처리해서 병렬처리를 하지 못하기 때문인데 트랜스포머(Transformer)는 모든 토큰을 동시에 입력받아 병렬 연산을 함으로써 이 문제를 해결한다. 트랜스포...
Note 423 RNN, LSTM, GRU, Attention
순환 신경망(Recurrent Neural Network)를 사용하면 시계열과 같은 Sequential한 데이터를 잘 예측할 수 있다. 이번 포스팅에서는 언어모델과 순환신경망에 대해 정리해보자.
Note 422 분산 표현, Word2Vec, FastText
NLP에서 단어를 벡터화 하기 위해서는 등장 횟수 기반과 분산 기반 표현 이 2가지 방법이 있다. 등장 횟수 기반은 단어의 빈도수만 고려하고 다른 단어와의 상관관계는 고려하지 않는다는 단점이 존재한다. 또한, 단어의 갯수가 많아질수록 계산해야 하는 차원이 많아져서 저장 공간이나 계...