책소개
웹 어디서든 내가 원하는 데이터를 쏙쏙쏙
웹에 존재한다면 그것이 어떤 형태이든 데이터로 추출할 수 있다. 필요한 무기는 이 책과 파이썬뿐. BeautifulSoup, 셀레니움, 테서랙트 등 강력한 파이썬 라이브러리 사용법과 함께 API, 인증, 이미지 및 텍스트 인식, 로그인 처리 등 웹 크롤링의 기초부터 고급 기법까지 종합적으로 다루는 유일한 책. 실제 업무와 생활에 적용할 수 있는 예제를 통해 일상의 데이터 분석가가 될 수 있다.
목차
CHAPTER 1 첫 번째 웹 스크레이퍼
1.1.연결
1.2.BeautifulSoup 소개
CHAPTER 2 고급 HTML 분석
2.1.닭 잡는 데 소 잡는 칼을 쓸 필요는 없습니다
2.2.다시 BeautifulSoup
2.3.정규 표현식
2.4.정규 표현식과 BeautifulSoup
2.5.속성에 접근하기
2.6.람다 표현식
2.7.BeautifulSoup를 넘어
CHAPTER 3 크롤링 시작하기
3.1.단일 도메인 내의 이동
3.2.전체 사이트 크롤링
3.3.인터넷 크롤링
3.4.스크래파이를 사용한 크롤링
CHAPTER 4 API 사용
4.1.API는 어떻게 동작하는가
4.2.공통 표기법
4.3.응답
4.4.에코 네스트
4.5.트위터
4.6.구글 API
4.7.JSON 파싱
4.8.모든 것을 하나로
4.9.마치며
CHAPTER 5 데이터 저장
5.1.미디어 파일
5.2.데이터를 CSV로 저장
5.3.MySQL
5.4.이메일
CHAPTER 6 문서 읽기
6.1.문서 인코딩
6.2.텍스트
6.3.CSV
6.4.PDF
6.5.마이크로소프트 워드와 .docx
CHAPTER 7 지저분한 데이터 정리하기
7.1.코드로 정리하기
7.2.사후 정리
CHAPTER 8 자연어 읽고 쓰기
8.1.데이터 요약
8.2.마르코프 모델
8.3.자연어 툴킷
8.4.추가 자료
CHAPTER 9 폼과 로그인 뚫기
9.1.파이썬 requests 라이브러리
9.2.기본적인 폼 전송
9.3.라디오 버튼, 체크박스, 기타 필드
9.4.파일과 이미지 전송
9.5.로그인과 쿠키 처리
9.6.기타 폼 문제
CHAPTER 10 자바스크립트 스크레이핑
10.1.자바스크립트에 관한 간단한 소개
10.2.Ajax와 동적 HTML
10.3.리다이렉트 처리
CHAPTER 11 이미지 처리와 텍스트 인식
11.1.라이브러리 개관
11.2.형식이 일정한 텍스트 처리
11.3.CAPTCHA 읽기와 테서랙트 훈련
11.4.CAPTCHA 가져오기와 답 보내기
CHAPTER 12 스크레이핑 함정 피하기
12.1.스크레이핑의 윤리에 관해
12.2.사람처럼 보이기
12.3.널리 쓰이는 폼 보안 기능
12.4.사람처럼 보이기 위한 체크리스트
CHAPTER 13 스크레이퍼로 웹사이트 테스트하기
13.1.테스트 입문
13.2.파이썬 unittest
13.3.셀레니움을 사용한 테스트
13.4.unittest vs 셀레니움
CHAPTER 14 원격 스크레이핑
14.1.원격 서버를 쓰는 이유
14.2.토르
14.3.원격 호스팅
14.4.추가 자료
14.5.미래를 향해
APPENDIX A 파이썬 훑어보기
A.1.설치와 ‘Hello, World!’
APPENDIX B 인터넷 훑어보기
APPENDIX C 웹 스크레이핑의 합법성과 윤리
C.1.상표? 저작권? 특허?
C.2.동산 침해
C.3.컴퓨터 사기와 악용에 관한 법률
C.4.robots.txt와 이용 약관
C.5.세 가지 웹 스크레이퍼 사례
