| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 | 29 |
| 30 | 31 |
- 42서울
- 코딩애플
- Computer Vision
- 회귀
- filtering
- 앱개발
- 42경산
- 선형대수학
- 지정헌혈
- map
- 모델
- 피플
- CV
- 유데미
- 선형회귀
- 파이썬
- Regression
- mnist
- 자연어처리
- 플러터
- Flutter
- pytorch
- 크롤러
- 머신러닝
- 인공지능
- 딥러닝
- RNN
- 크롤링
- AI
- 데이터분석
- Today
- Total
목록데이터 (2)
David의 개발 이야기!
웹 크롤러 이해하기[2] - 무한 스크롤 해결하기!
크롤링을 하려다가 보면, 페이지가 넘어가야하는 부분들을 처리해야 할 때가 있다. 크게 두가지 종류로 나눌 수 있는데, 1. 페이지 넘버로 구분되어있을때 2. 스크롤을 계속해서 로딩을 계속 해주어야할때 로 나뉜다. 1. 페이지넘버로 구분되어있을때의 크롤링 방식 1번같은 예시는, 쿠팡처럼 쇼핑몰 같은데에서 잘 구현되어있다. 1번 같은 경우는 https://www.coupang.com/np/search?q=%EC%82%AC%EA%B3%BC&channel=user&component=&eventCategory=SRP&trcid=&traid=&sorter=scoreDesc&minPrice=&maxPrice=&priceRange=&filterType=&listSize=36&filter=&isPriceRange=fal..
데이터 전처리 과정을 살펴보면, 1. 라이브러리를 불러온다. Importing the libraries 2. 데이터셋을 불러온다. Importing the dataset 3. 결측치를 어떻게 처리할 것인가? Taking care of missing data 4. 범주형 데이터를 처리해준다! Encoding the categorical data 5. 훈련데이터와 테스트데이터를 나눠준다 Spliting the dataset into the Training set and Test set 6. 표준화, 정규화를 해준다 Feature scaling 이렇게 해주어야한다. 각각에 해당하는 코드를 살펴보자. 1. Importing the libraries import numpy as np import pandas as..