David의 개발 이야기!

1. DTM 이란? 문서 단어행렬(DTM)은 다수의 문서에서 등장하는 각 단어들의 빈도를 행렬로 표현한 것임 문서1 : 먹고 싶은 사과 문서2 : 먹고 싶은 바나나 문서3 : 길고 노란 바나나 바나나 문서4 : 저는 과일이 좋아요 띄어쓰기 단위 토큰화를 수행한다고 가정하고, 문서 단어 행렬로 표현하면 다음과 같다. 각 문서에서 등장한 단어의 빈도를 행렬의 값으로 표현하면, 문서들을 서로 비교할 수 있도록 수치화할 수 있다는 장점이 있다. 2. DTM의 한계 1) 희소 표현(Sparse representation)으로 인한 리소스 낭비 원-핫 벡터는 단어 집합의 크기가 벡터 차원이 되고 대부분이 0이 되는 벡터이다. 원-핫 벡터는 공간적 낭비와 계산 리소스를 증가시킬 수 있다. DTM도 결국 마찬가지로, ..

1. Bag of Words 란 단어들의 순서는 전혀 고려하지 않고, 단어들의 출현빈도(frequency)에만 집중하는 텍스트데이터의 수치화 표현 방법이다. BoW를 직역하면, 단어들의 가방이라는 뜻으로, 어떤 텍스트의 단어들을 전부가방에 넣고, 섞었을때, 해당 가방에서, 특정 단어가 N번 등장했다면, 해당 문서에는 그 특정 단어가 N개 있다고 생각하는 것이다. (단어의 순서는 섞어서 진행했기에 중요하지 않다.) BoW를 만드는 과정은 아래와 같다. (1) 각 단어에 고유한 정수 인덱스를 부여합니다. # 단어 집합 생성. (2) 각 인덱스의 위치에 단어 토큰의 등장 횟수를 기록한 벡터를 만들기 2. 기본 구현 코드 from konlpy.tag import Okt okt = Okt() def build_b..

DNN == Deep Neural Network 심층 신경망(Deep Neural Network, DNN)은 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이뤄진 인공신경망(Artificial Neural Network, ANN)이다. 이를 이용하여, 손글씨 숫자이미지를 분류하는 모델을 구현해보고자 한다. 1. 필요한 모듈 불러오기 import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F from torchvision import datasets, transforms device = torch.device("cuda:0" ..

hombrew 는 macOS 또는 Linux 운영체제에서 소프트웨어 패키지를 쉽게 설치하고 관리할 수 있게 해주는 패키지 관리자이다. 필요한 라이브러리나 툴을 구축하고 설치하는데 단순화하고, 표준화하는데 도움을 준다. brew install brew update brew uninstall 같은 명령어가 있다! [ Homebrew 설치하기 ] 1. 터미널에 붙여넣어 homebrew를 설치한다. /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" 2. 환경변수 설정 vi 에디터로, 아래와 같이 입력 $ vi ~/.zshrc i를 눌러, index mode 로 들어가 맨 밑에 추가 expor..

오랜만에 사이드프로젝트를 위해 VSCODE 를 통해 node 서버를 구축하려고 했는데, 왜인지 실행이 되지 않았다. 나름대로 열심히 찾아본결과 삭제후 재설치가 가장 나은 판단인것 같아 삭제를 하고, 다시 설치하고자 한다. ( npm install express 를 했는데, 계속 오류가 나서.. 오류 내용은 아래링크와 동일했다. ) https://github.com/TryGhost/node-sqlite3/issues/900 When 'npm install' > "ENOENT: no such file or directory, rename ..." · Issue #900 · TryGhost/node-sqlite3 Still got this issue #866 sqlite3 version 3.16.0 npm v..

고전중에 고전 타이타닉 생존자 예측 문제를 풀어보고자 한다. https://www.kaggle.com/competitions/titanic Titanic - Machine Learning from Disaster | Kaggle www.kaggle.com [문제 요약] - 1912년 타이타닉호가 빙산에 충돌하여 침몰 - 2224명의 승객과 승무원 중 1502명 사망 - 이 때 특정한 사람이 가지는 특징이 생존 여부를 결정하는 요인으로 작용함 -> ex) 어린이와 노약자가 생존율 높았음 등 1. 타이타닉 데이터 분석하기 데이터는 https://www.kaggle.com/competitions/titanic/data 에서 가져올 수 있다. 데이터의 속성(property)으로는 다음과 같은 것들이 존재한다. ..