David의 개발 이야기!

https://arxiv.org/abs/1408.5882 Convolutional Neural Networks for Sentence Classification We report on a series of experiments with convolutional neural networks (CNN) trained on top of pre-trained word vectors for sentence-level classification tasks. We show that a simple CNN with little hyperparameter tuning and static vectors achieves excell arxiv.org 원본 논문은 여기서 볼 수 있다! 전체내용을 번역하는 것이 아닌, 핵심 내..

1. 딥러닝 기반의 기계 번역 발전 과정 기계번역 발전과정은 위 표과 같다. GPT와 BERT의 차이는 아래와 같다. GPT : Transformer 의 디코더(Decoder) 아키텍처 활용 BERT : Transformer 의 인코더(Encoder) 아키텍처 활용 2. 기존 Seq2Seq 모델들의 한계점 (1) bottleneck 현상 - seq2seq 는 context vector v에 소스문장의 정보를 압축하는 구조 -> 병목(bottleneck)이 발생하여, 성능하락의 원인이 된다. (2) 디코더가 context vector를 매번 참고하는 문제 -> 그럼에도 여전히 소스문장을 하나의 벡터로 압축해야함. [ 문제 정리 ] => 하나의 context vector 가 소스 문장의 모든 정보를 가지고 ..