일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- 1d 합성곱
- 선형회귀
- 크롤링
- RNN
- 머신러닝
- 지정헌혈
- 인공지능
- CV
- filtering
- 유데미
- map
- 선형대수학
- 플러터
- 딥러닝
- 피플
- 회귀
- AI
- Flutter
- 크롤러
- 자연어처리
- 파이썬
- Regression
- 코딩애플
- Computer Vision
- pytorch
- 1D convolution
- 데이터분석
- mnist
- 앱개발
- 모델
- Today
- Total
목록자동화 (2)
David의 개발 이야기!
인스타그램을 통한 데이터수집을 위한 크롤러를 만들어보려고 한다. 머신러닝과목들을 수강하면서, 캐글이나, 데이터허브 같은 곳의 데이터가 아닌, 직접 데이터를 수집해서, 가공하는 경우가 가끔 있다. 최근에 진행한 중고차 예측 프로젝트 또한, 그렇게 "보배드림"이라는 사이트에서 일일히 사진과 관련 정보를 수집해서 학습을 시키고 예측하는 모델을 만들었는데, 이번에는, 인스타에서 이미지를 수집해서 향후 CNN이나, 이미지 분류 등의 모델학습때 요긴하게 사용해보고자 한다. 우선 로직은 다음과 같다. 1. 웹에서 인스타그램 자동로그인 2. #{태그명} 검색페이지 이동 3. 첫 사진 클릭 4. 이미지 저장 5. 다음 버튼으로 누르기 6. 4,5번 반복 해당 포스트에서는 간단한 베이스라인만을 작성해 공개하며, 본 베이스..
데이터마이닝 수업을 수강하며, 크롤링의 필요성을 다시 한번 느끼게 되어, 정리겸 공부할겸 포스팅을 하게 되었다. 인공지능수업이나, 데이터분석 수업을 수강하는 대학생이라면, 아마도, 데이터수집의 어려움을 겪을 텐데, 크롤링을 할줄 안다면, 큰 도움이 될 것이다. 단계별로 하나하나씩 진행하며, 포스팅을 해볼 예정이니, 뒷 내용까지 함께 봐보자! 1. 네이버 주식 현재가 크롤링 https://finance.naver.com/item/sise.naver?code=005930 네이버 증권페이지에서, 주가를 뽑아와 txt 파일에 저장하는 예제이다. 1-1 기본 코드 알아야할 모듈과 함수 1. requests : html 코드를 가져온다. 2. bs4 : html 코드를 가져와서 예쁘게(인간눈에) 바꿔준다 3. .c..