David의 개발 이야기!

인스타그램을 통한 데이터수집을 위한 크롤러를 만들어보려고 한다. 머신러닝과목들을 수강하면서, 캐글이나, 데이터허브 같은 곳의 데이터가 아닌, 직접 데이터를 수집해서, 가공하는 경우가 가끔 있다. 최근에 진행한 중고차 예측 프로젝트 또한, 그렇게 "보배드림"이라는 사이트에서 일일히 사진과 관련 정보를 수집해서 학습을 시키고 예측하는 모델을 만들었는데, 이번에는, 인스타에서 이미지를 수집해서 향후 CNN이나, 이미지 분류 등의 모델학습때 요긴하게 사용해보고자 한다. 우선 로직은 다음과 같다. 1. 웹에서 인스타그램 자동로그인 2. #{태그명} 검색페이지 이동 3. 첫 사진 클릭 4. 이미지 저장 5. 다음 버튼으로 누르기 6. 4,5번 반복 해당 포스트에서는 간단한 베이스라인만을 작성해 공개하며, 본 베이스..