David의 개발 이야기!

1. Seq2seq - Sequence to sequence 모델 개요 seq2seq 모델은, 입력된 sequence로부터 다른 도메인의 시퀀스를 출력하는 모델이다. 주로 seq2seq는 번역기에서 대표적으로 사용되는 모델로, RNN을 어떻게 조립했느냐에 따라, seq2seq 구조가 만들어진다. 위 그림은, "나는 너를 사랑해" 라는 한국어 문장을 "I love you" 영어로 번역해 출력하는 모습을 보여준다. 2. Seq2seq 구조도 seq2seq 모델은 크게 인코더(encoder) 와 디코더(decoder) 두개의 모듈로 구성되어있다. 인코더는 입력문장의 모든 단어들을 순차적으로 입력받아, 마지막에 이 모든 단어 정보들을 압축해서, context vector로 만든다. Input값의 단어의 정보들이..

2023.08.19 - [자연어처리] - RNN 에 대해 알아보자 RNN 에 대해 알아보자 RNN(Recurrent Neural Network) 는 입력과 출력을 시퀀스 단위로 처리하는 시퀀스(Sequence) 모델이다. 1. RNN 예시 1. POS tagging RNN은 아래그림 같이, POS tagging(품사 분류)를 할 수 있다. 모델 구조를 좀 더 자세 david-kim2028.tistory.com 1. Vanilla RNN 의 한계 앞선 글에서 알수 있듯이, 바닐라 RNN 은 "Long-Term Dependencies" 라는 문제가 있다. 이러한 문제를 극복하기 위한 방법중 하나가 LSTM 이다. "Long-Term Depedencies"를 좀 더 자세히 설명하면, 아래 그림과 같다. RNN..

RNN(Recurrent Neural Network) 는 입력과 출력을 시퀀스 단위로 처리하는 시퀀스(Sequence) 모델이다. 1. RNN 예시 1. POS tagging RNN은 아래그림 같이, POS tagging(품사 분류)를 할 수 있다. 모델 구조를 좀 더 자세히 보면, 이렇게 구성되어있고, POS tagging 인경우, Supervised Learning 이므로, Softmax 를 통해 품사를 분류 할 수 있다. target값과 pred 값을 비교해, gradient descent 이용해 조정해 정확도를 높여간다. 각 변수는 다음과 같은 뜻을 지닌다. 모델에 있는 변수들이 Whh, Wxh, b가 결국 같은 변수고, 시간에 따라, 변하는 것이기에 Back Propagation 이 아니라 Ba..