David의 개발 이야기!

Step 1. Build data processing pipeline 대부분의 머신러닝 시스템은 모델을 학습시키기 위해 미니배치를 사용한다. 따라서, 금번 실습에서는 미니배치를 활용해 학습/평가를 진행하고자 한다. 세부 단계는 아래와 같다. 1. Load inputs and labels 2. Preprocess inputs and labels 3. Group inputs and labels as a mini-batch Step 2. Build Model 인풋을 통해 예측 혹은 분류를 진행하는 모델을 정의한다. 1. Which model should be used? 2. How to set the hyperparameters of the ..

이미지 내에서 사물을 인식하는 방법에는 다양한 유형이 존재한다. 1. Object Detection 과 Localization에 대한 설명 Object Detection 은 다수의 사물이 존재하는 상황에서 각 사물의 위치와 클래스를 찾는 작업을 말한다. - 사물이 여러 개일 수 있는 상황에서 "각 사물마다" (Classification + Localization)을 같이 한다. - 직관적으로 생각해보면, 사물이 있는 위치를 모두 찾고, 그걸 개별적으로 CNN을 돌려서 분류하면 되지 않을까? -> 이 방식이 2-Stage 방식 (1) 사물이 있는 위치를 찾고 (2) 각 사물을 분류하자. Localization 은, Object Detection 의 하위호환 개념으로, 사물의 위치를 찾는 작업이다. loca..

1. 딥러닝 기반의 기계 번역 발전 과정 기계번역 발전과정은 위 표과 같다. GPT와 BERT의 차이는 아래와 같다. GPT : Transformer 의 디코더(Decoder) 아키텍처 활용 BERT : Transformer 의 인코더(Encoder) 아키텍처 활용 2. 기존 Seq2Seq 모델들의 한계점 (1) bottleneck 현상 - seq2seq 는 context vector v에 소스문장의 정보를 압축하는 구조 -> 병목(bottleneck)이 발생하여, 성능하락의 원인이 된다. (2) 디코더가 context vector를 매번 참고하는 문제 -> 그럼에도 여전히 소스문장을 하나의 벡터로 압축해야함. [ 문제 정리 ] => 하나의 context vector 가 소스 문장의 모든 정보를 가지고 ..

1. Seq2seq - Sequence to sequence 모델 개요 seq2seq 모델은, 입력된 sequence로부터 다른 도메인의 시퀀스를 출력하는 모델이다. 주로 seq2seq는 번역기에서 대표적으로 사용되는 모델로, RNN을 어떻게 조립했느냐에 따라, seq2seq 구조가 만들어진다. 위 그림은, "나는 너를 사랑해" 라는 한국어 문장을 "I love you" 영어로 번역해 출력하는 모습을 보여준다. 2. Seq2seq 구조도 seq2seq 모델은 크게 인코더(encoder) 와 디코더(decoder) 두개의 모듈로 구성되어있다. 인코더는 입력문장의 모든 단어들을 순차적으로 입력받아, 마지막에 이 모든 단어 정보들을 압축해서, context vector로 만든다. Input값의 단어의 정보들이..

2023.08.19 - [자연어처리] - RNN 에 대해 알아보자 RNN 에 대해 알아보자 RNN(Recurrent Neural Network) 는 입력과 출력을 시퀀스 단위로 처리하는 시퀀스(Sequence) 모델이다. 1. RNN 예시 1. POS tagging RNN은 아래그림 같이, POS tagging(품사 분류)를 할 수 있다. 모델 구조를 좀 더 자세 david-kim2028.tistory.com 1. Vanilla RNN 의 한계 앞선 글에서 알수 있듯이, 바닐라 RNN 은 "Long-Term Dependencies" 라는 문제가 있다. 이러한 문제를 극복하기 위한 방법중 하나가 LSTM 이다. "Long-Term Depedencies"를 좀 더 자세히 설명하면, 아래 그림과 같다. RNN..

RNN(Recurrent Neural Network) 는 입력과 출력을 시퀀스 단위로 처리하는 시퀀스(Sequence) 모델이다. 1. RNN 예시 1. POS tagging RNN은 아래그림 같이, POS tagging(품사 분류)를 할 수 있다. 모델 구조를 좀 더 자세히 보면, 이렇게 구성되어있고, POS tagging 인경우, Supervised Learning 이므로, Softmax 를 통해 품사를 분류 할 수 있다. target값과 pred 값을 비교해, gradient descent 이용해 조정해 정확도를 높여간다. 각 변수는 다음과 같은 뜻을 지닌다. 모델에 있는 변수들이 Whh, Wxh, b가 결국 같은 변수고, 시간에 따라, 변하는 것이기에 Back Propagation 이 아니라 Ba..