Note 424 Transformer
RNN에서는 단어가 순서대로 들어오기 때문에 시퀸스가 길면 연산 시간이 길어진다는 단점이 있다. 단어를 time-step별로 처리해서 병렬처리를 하지 못하기 때문인데 트랜스포머(Transformer)는 모든 토큰을 동시에 입력받아 병렬 연산을 함으로써 이 문제를 해결한다. 트랜스포...
Recent posts
Note 423 RNN, LSTM, GRU, Attention
순환 신경망(Recurrent Neural Network)를 사용하면 시계열과 같은 Sequential한 데이터를 잘 예측할 수 있다. 이번 포스팅에서는 언어모델과 순환신경망에 대해 정리해보자.
Note 422 분산 표현, Word2Vec, FastText
NLP에서 단어를 벡터화 하기 위해서는 등장 횟수 기반과 분산 기반 표현 이 2가지 방법이 있다. 등장 횟수 기반은 단어의 빈도수만 고려하고 다른 단어와의 상관관계는 고려하지 않는다는 단점이 존재한다. 또한, 단어의 갯수가 많아질수록 계산해야 하는 차원이 많아져서 저장 공간이나 계...
Note 421 자연어처리, 텍스트 전처리, 등장 횟수 기반의 단어표현
자연어는 사람들이 일상적으로 쓰는 언어를 의미하고, 인공적으로 만들어진 언어(프로그래밍 언어 등)와 구분하여 부른다. 이 자연어를 컴퓨터로 처리하는 기술을 자연어 처리(Natural Language Processing, NLP)라고 하는데 이번 스프린트에서는 이 NLP에 대해 배웠...
시각화와 결론
지난 포스팅까지 해서 대전광역시 교통사고 위험 예상지역 100개지역을 도출했고, 마지막으로 이 지역들에게 어떠한 조치가 취해지면 좋을지 대안책을 제시해보자.