David의 개발 이야기!

백만개의 데이터를 수집한다고 가정해보자 url 하나 수집하는데, 0.1초가 걸린다고 하면, 대략적으로 10만초, 27시간이 걸린다. 해결책은, 멀티프로세싱 또는 멀티스레드를 사용하면된다. 파이썬 실행창 프로세스를 여러개 띄우는 멀티프로세스를 쓰거나, PC에 내장된 CPU 를 스레드 여러개로 작업을 나눠서 시키면 된다. 해당 예제에서는, mulitprocessing.Pool.map 이라는 함수를 사용해서 구현했다. 1. 기본 내장 라이브러리 불러오기 ( 멀티스레딩 하는 코드임. 멀티프로세스를 원한다면, .dummy를 제거하면 됌) 2. ThreadPool() 에다가 몇개의 프로세스/스레드 로 동시에 작업을 시킬지 숫자로 적음 3. map(적용시킬 함수, 리스트) 4. close(), join() 을 차례로..