David의 개발 이야기!

고전중에 고전 타이타닉 생존자 예측 문제를 풀어보고자 한다. https://www.kaggle.com/competitions/titanic Titanic - Machine Learning from Disaster | Kaggle www.kaggle.com [문제 요약] - 1912년 타이타닉호가 빙산에 충돌하여 침몰 - 2224명의 승객과 승무원 중 1502명 사망 - 이 때 특정한 사람이 가지는 특징이 생존 여부를 결정하는 요인으로 작용함 -> ex) 어린이와 노약자가 생존율 높았음 등 1. 타이타닉 데이터 분석하기 데이터는 https://www.kaggle.com/competitions/titanic/data 에서 가져올 수 있다. 데이터의 속성(property)으로는 다음과 같은 것들이 존재한다. ..

백만개의 데이터를 수집한다고 가정해보자 url 하나 수집하는데, 0.1초가 걸린다고 하면, 대략적으로 10만초, 27시간이 걸린다. 해결책은, 멀티프로세싱 또는 멀티스레드를 사용하면된다. 파이썬 실행창 프로세스를 여러개 띄우는 멀티프로세스를 쓰거나, PC에 내장된 CPU 를 스레드 여러개로 작업을 나눠서 시키면 된다. 해당 예제에서는, mulitprocessing.Pool.map 이라는 함수를 사용해서 구현했다. 1. 기본 내장 라이브러리 불러오기 ( 멀티스레딩 하는 코드임. 멀티프로세스를 원한다면, .dummy를 제거하면 됌) 2. ThreadPool() 에다가 몇개의 프로세스/스레드 로 동시에 작업을 시킬지 숫자로 적음 3. map(적용시킬 함수, 리스트) 4. close(), join() 을 차례로..