소장자료검색

책소개

빅데이터 수집, 분석, 시각화를 실습할 수 있는 기본서이다. 파트 1과 파트 2에서는 소셜 미디어, 포털, 공공 데이터, 일반 웹 데이터를 수집하는 방법을 실습한다. 파트 3에서는 수집한 데이터에 대한 빈도 분석과 상관관계 분석 방법을 실습하고, 지리정보를 기반으로 한 시각화 방법을 실습한다. 개발자가 아닌 분들을 위하여 최소한의 파이썬 지식만으로도 실습할 수 있도록 구성하였다.

목차

파트 1 데이터 사용을 위한 계정 설정

1장 페이스북 API 사용하기
1.1 페이스북 가입
1.2 페이스북 앱 ID 등록

2장 트위터 API 사용하기
2.1 트위터 가입
2.2 트위터 앱 등록

3장 네이버 API 사용하기

4장 정부3.0 공공 데이터 포털 API 사용하기
4.1 공공 데이터 포털 가입

파트 2 데이터 수집

5장 페이스북 데이터 수집하기
5.1 페이스북 그래프(Graph) API
5.1.1 읽기
5.1.2 페이지 조회
1. 커서(cursor) 기반 페이지 조회
2. 시간(time period) 기준 페이지 조회
3. 오프셋(offset) 기반 페이지 조회
5.2 페이스북 ID 가지고 오기
5.3 페이스북 포스트(/{post-id})) 가져오기
5.4 페이스북 포스트(/{post-id})) 저장



6장 트위터 데이터 수집하기
6.1 OAuth란? [OAuth 1, 2, 3]
6.1.1 OAuth 1.0a 인증 과정
6.1.2 OAuth 2.0의 탄생
6.2 트윗(Tweet) 가지고 오기
6.3 트윗(Tweet) 스트림 가지고 오기[Twitter 2]

7장 네이버 데이터 수집하기
7.1 검색 API의 활용
7.2 지도 API(주소, 좌표 변환)의 활용

8장 공공 데이터 수집하기
8.1 전국 유료 관광지 입장객 정보
8.2 파이썬 그래프 모듈: matplotlib
8.3 출입국 관광 통계 서비스

9장 일반적인 웹 서비스 데이터 수집하기
9.1 이상한 나라의 앨리스의 맛있는 스프: BeautifulSoup
9.2 통닭 공화국의 데이터를 구해보자
9.2.1 비비큐 매장 정보: HTML 태그 내 정보 찾기
9.2.2 페리카나 매장 정보: 중복된 HTML 태그 내 추출
9.2.3 네네치킨 매장 정보: XML 형식
9.2.4 교촌치킨 매장 정보: 태그 내 다양한 태그 추출
9.2.5 처갓집양념치킨 매장 정보: CP949 인코딩
9.2.6 굽네치킨 매장 정보: selenium - 브라우저 시뮬레이션
1. selenium과 WebDriver의 설치
2. Selenium 테스트
9.2.7 통합 데이터 수집 코드

파트 3 데이터 분석과 시각화

10장 빈도 분석: 형태소 분석 기반 그래프 및 워드 클라우드
10.1 코엔엘파이(KoNLPy)의 설치 및 활용[KoNLPy 1]
10.2 그래프를 그리자: matplotlib
10.2.1 기본 그래프 그리기
10.2.2 다수의 그래프 그리기
10.2.3 한글 처리
10.2.4 여러 개의 그래프 그리기
10.2.5 그래프에 문자 삽입
10.3 명사 추출 및 빈도 분석

11장 데이터 기반 추천: 데이터 상관관계 분석
11.1 상관분석과 상관계수
11.2 데이터 테이블 생성: pandas 패키지
11.2.1 Series
1. 일차원(array) 데이터의 활용
2. 딕셔너리(Dictionary)
3. 스칼라(Scalar) 값
11.2.2 DataFrame
1. Series/Dict 데이터의 활용
2. Dict 리스트 데이터의 활용
3. 데이터 추가 및 합치기(merge)
11.3 공공 데이터를 이용한 상관분석
11.4 히트맵(Heatmap) ? seaborn

12장 지리정보기반 시각화: 지리정보와 시각화
12.1 지리정보 가공을 위한 데이터 전처리
12.1.1 비비큐 주소 정보 보정
12.1.2 페리카나 주소 정보 보정
12.1.3 네네치킨 주소 정보 보정
12.1.4 교촌치킨 주소 정보 보정
12.1.5 처갓집양념치킨 주소 정보 보정
12.1.6 굽네치킨 주소 정보 보정
12.2 포리움(Folium)의 설치 및 활용[Visualization 3,4]
12.2.1 포리움 설치 및 객체 생성
1. 초기 객체 생성
2. 다른 유형의 맵 호출
3. 마커(Marker)와 팝업(Popup)의 설정
4. GeoJSON 활용 데이터
12.3 프랜차이즈 주소 매핑: Folium ? 네이버 주소 검색
12.4 전국 지도에 블록맵으로 표시하기

참고 문헌