David의 개발 이야기!

1. 전이 학습(Transfer Learning)이란? 위키백과의 정의에 따르면, '한 분야의 문제를 해결하기 위해 얻은 지식과 정보를 단른 문제를 푸는데 사용하는 방식"이다. 딥러닝 분야에서는, 이미지분류 문제를 해결하는데 사용헀떤 네트워크를 다른 데이터셋 혹은 다른 문제(Task)에 적용시켜 푸는 것을 의미한다. 특히, 시각적 이해를 목표로 하는 컴퓨터 비전의 영역에서 전이학습으로 수행된 모델들이 높은 성능을 보이고 있어, 가장 많이 사용되는 대표적인 방법중 하나이다. 이러한 결과를 보여주는 이유는, 다양한 이미지의 "특징"(feature)들을 학습했기 때문이다. 일반적으로 네트워크가 깊어질 수록, 서로 다른 종류들의 피처들을 학습한다고 알려져있는데, 낮은 층에서 학습되는 feature를 low-le..

CNN 을 활용하여 MNIST 분류 모델을 구현해보자. 우선, CNN에 대한 개념 정리를 다시 보면, 1. filter(==kernel) 개념 - 실제로 각 필터는, 특정한 (feature)를 인식하기 위한 목적으로 사용된다. - 각 필터는 특징이 반영된 특징 맵(feature map)을 생성한다. - 얕은 층에서는 local feature, 깊은 층에서는 global feature를 인식하는 경향이 있다. 2. Pooling 개념 합성곱 계층의 출력데이터를 입력으로 받아, 출력 데이터의 크기를 줄이거나, 특정 데이터를 강조하는 용도로 사용 stride 가 2인 경우의 예시임. 3. Padding 개념 패딩이 필요한 이유 -> 이미지 데이터의 축소를 막기 위해(해상도를 유지하기 위해) -> Edge pi..

https://arxiv.org/abs/1509.01626 Character-level Convolutional Networks for Text Classification This article offers an empirical exploration on the use of character-level convolutional networks (ConvNets) for text classification. We constructed several large-scale datasets to show that character-level convolutional networks could achieve state-of-the arxiv.org 원본 논문은 여기에서 볼 수 있다! CharCNN 논문은, 텍스..

n-gram 언어 모델은 단어 빈도에 기반한 통계적 접근을 사용하고 있으며, 이전에 등장한 모든 단어를 고려하는 것이 아닌, 일부 단어만 고려하는 접근 방법을 사용한다. 이때, 일부 단어를 몇개 보느냐를 결정하는데, 이것이 n-gram 에서 n이 가지는 의미이다. P(is | The best AI developer) == P(is | developer) The best AI developer가 나왔을때, is 가 나올 확률을, developer 가 나왔을때 is가 나올 확률로 생각해보자. 갖고 있는 Corpus(말뭉치) 에 The best AI developer가 있을 가능성 보다는 developer is 라는 더 짧은 단어 시퀀스가 존재할 가능성이 더 높다. 즉, 단어의 확률을 구하고자 기준 단어의 앞..

1. 1D 합성곱(1D Convolutions) 'wait for the video and don't rent it'이라는 문장이 있을 때, 이 문장이 토큰화, 패딩, 임베딩 층(Embedding layer)을 거친다면 다음과 같은 문장 형태의 행렬로 변환된다. 아래 그림에서 k은 문장의 길이, l는 임베딩 벡터의 차원입니다. 그렇다면 1D 합성곱 연산의 경우, 이러한 행렬은 어떻게 처리할까? 1D 합성곱 연산에서, 커널의 너비는, 문장 행렬에서 임베딩 벡터의 차원과 동일하게 설정된다. 따라서, 1D 합성곱 연산에서는 커널의 높이만으로 해당 커널의 크기로 간주한다. 즉, 아래 그림의 경우, 커널의 크기는 2이다. 커널의 너비가 임베딩 벡터의 차원이라는 의미는 결국, 커널이 2D 합성곱 연산과는 달리(2D..

TF-IDF 를 사용하면, 기존의 DTM 보다 더 많은 것을 고려해 문서들을 비교할 수 있다. 많은 경우에서, TF-IDF 가 DTM 보다 좋은 성능을 낸다. 2023.08.09 - [인공지능공부] - DTM 에 대해 알아보자 - Document-Term Matrix DTM 에 대해 알아보자 - Document-Term Matrix 1. DTM 이란? 문서 단어행렬(DTM)은 다수의 문서에서 등장하는 각 단어들의 빈도를 행렬로 표현한 것임 문서1 : 먹고 싶은 사과 문서2 : 먹고 싶은 바나나 문서3 : 길고 노란 바나나 바나나 문서4 : 저 david-kim2028.tistory.com 1. TF-IDF(단어 빈도-역문서 빈도) TF-IDF 는 단어의 빈도와 역문서빈도(문서의 빈도에 특정 식을 취함)을..