第1章 大數(shù)據(jù)分析概論 1
課前自學(xué) 2
一、數(shù)據(jù)及其分類 2
二、大數(shù)據(jù)的概念 3
三、大數(shù)據(jù)產(chǎn)生的原因 4
四、大數(shù)據(jù)的作用 5
五、大數(shù)據(jù)對科學(xué)研究的影響 6
課中實訓(xùn)：崗位數(shù)據(jù)采集與分析 7
任務(wù)1：人才供需現(xiàn)狀分析 8
任務(wù)2：數(shù)據(jù)采集與處理 9
任務(wù)3：詞頻統(tǒng)計與分析 11
課后拓展 13
本章小結(jié) 16
第2章 需求分析與指標(biāo)體系構(gòu)建 17
課前自學(xué) 18
一、數(shù)據(jù)分析的基本流程 18
二、數(shù)據(jù)分析指標(biāo)體系 19
三、基礎(chǔ)數(shù)據(jù)分析方法 22
四、描述統(tǒng)計 25
課中實訓(xùn) 26
任務(wù)1：城市跨境電商指標(biāo)體系設(shè)計
(以W市為例) 26
任務(wù)2：設(shè)置數(shù)據(jù)分析工具庫 28
任務(wù)3：跨境電商數(shù)據(jù)描述統(tǒng)計 30
課后拓展 32
一、常見的數(shù)據(jù)分析方法論模型 32
二、數(shù)據(jù)分析指數(shù) 35
本章小結(jié) 37
第3章 大數(shù)據(jù)存儲與管理 38
課前自學(xué) 39
一、數(shù)據(jù)庫基礎(chǔ)知識 39
二、SQL查詢基礎(chǔ)知識 40
課中實訓(xùn) 41
任務(wù)1：MySQL數(shù)據(jù)庫安裝與
配置 41
任務(wù)2：使用Navicat Premium
管理MySQL數(shù)據(jù)庫 45
任務(wù)3：數(shù)據(jù)表結(jié)構(gòu)設(shè)計 45
任務(wù)4：數(shù)據(jù)庫查詢操作 49
課后拓展 51
一、MongoDB的安裝與數(shù)據(jù)模型
介紹 51
二、HBase數(shù)據(jù)庫簡介 52
本章小結(jié) 52
第4章 云計算與大數(shù)據(jù)的集成應(yīng)用 53
課前自學(xué) 54
一、云計算的概念 54
二、云計算概念模型的特點 55
三、云計算的部署模式 56
四、云計算的服務(wù)模式(IaaS、PaaS
和SaaS) 59
五、云計算與大數(shù)據(jù)架構(gòu)：
以Google為例 60
課中實訓(xùn) 62
任務(wù)1：配置單臺虛擬機環(huán)境 63
任務(wù)2：安裝CentOS 7操作系統(tǒng)
并配置網(wǎng)絡(luò) 66
任務(wù)3：克隆并配置多臺虛擬機 69
任務(wù)4：Linux的常見操作 72
任務(wù)5：設(shè)置主機之間的免密登錄 74
任務(wù)6：在Liunx平臺下安裝JAVA
運行環(huán)境 75
任務(wù)7：配置hadoop環(huán)境 77
任務(wù)8：基于HDFS的MapReduce
詞頻數(shù)據(jù)分析 83
課后拓展 86
本章小結(jié) 91
第5章 網(wǎng)頁結(jié)構(gòu)分析與Python編程
基礎(chǔ) 92
課前自學(xué) 93
一、網(wǎng)頁的基本結(jié)構(gòu) 93
二、Python簡介與特點 95
三、Python基礎(chǔ)語法 96
課中實訓(xùn) 97
任務(wù)1：Python開發(fā)環(huán)境配置 97
任務(wù)2：Python基礎(chǔ)案例 100
任務(wù)3：網(wǎng)頁數(shù)據(jù)的請求與響應(yīng) 103
任務(wù)4：使用Python連接MySQL
數(shù)據(jù)庫 106
課后拓展 108
本章小結(jié) 109
第6章 大數(shù)據(jù)采集 110
課前自學(xué) 111
一、大數(shù)據(jù)采集技術(shù) 111
二、Scrapy框架簡介 112
課中實訓(xùn) 113
任務(wù)1：安裝并啟動Scrapy爬蟲
框架 113
任務(wù)2：通過XPath對網(wǎng)頁進行
解析 115
任務(wù)3：獲取電商平臺類目信息 119
課后拓展 120
本章小結(jié) 121
第7章 大數(shù)據(jù)預(yù)處理 122
課前自學(xué) 123
一、數(shù)據(jù)處理過程中的常見問題
及原因 123
二、數(shù)據(jù)預(yù)處理的流程與方法 124
課中實訓(xùn) 128
任務(wù)1：使用Excel進行數(shù)據(jù)
預(yù)處理 128
任務(wù)2：使用OpenRefine進行數(shù)據(jù)
預(yù)處理 130
任務(wù)3：使用Python進行數(shù)據(jù)
預(yù)處理 137
課后拓展 140
一、讀取數(shù)據(jù)文件的常用方法 140
二、Python中常見的數(shù)據(jù)預(yù)處理
函數(shù) 141
本章小結(jié) 141
第8章 大數(shù)據(jù)與機器學(xué)習(xí)基礎(chǔ) 142
課前自學(xué) 143
一、大數(shù)據(jù)分析方法與方法論 143
二、數(shù)據(jù)分析與數(shù)據(jù)挖掘相關(guān)
概念 144
三、機器學(xué)習(xí)：讓系統(tǒng)更聰明 146
課中實訓(xùn) 152
任務(wù)1：Python機器學(xué)習(xí)庫配置 152
任務(wù)2：基于跨境電商數(shù)據(jù)的特征
分析 155
任務(wù)3：基于Apriori算法的金融
產(chǎn)品組合 158
課后拓展 160
本章小結(jié) 162
第9章 大數(shù)據(jù)可視化 163
課前自學(xué) 164
一、數(shù)據(jù)可視化基礎(chǔ) 164
二、典型圖表介紹 165
課中實訓(xùn) 171
任務(wù)1：基于ECHARTS和Excel的
圖表可視化 171
任務(wù)2：使用Matplotlib繪制
折線圖 173
任務(wù)3：使用Matplotlib繪制
散點圖 175
任務(wù)4：讀取數(shù)據(jù)并繪制散點圖 176
任務(wù)5：對短視頻數(shù)據(jù)進行探索性
分析 177
課后拓展 184
本章小結(jié) 185
第10章 金融客戶數(shù)據(jù)案例分析 186
課前自學(xué) 187
一、需求分析 187
二、數(shù)據(jù)挖掘分析相關(guān)技術(shù) 188
課中實訓(xùn) 189
任務(wù)1：探索性分析 189
任務(wù)2：數(shù)據(jù)預(yù)處理：判斷異常值
和降維處理 189
任務(wù)3：K最近鄰算法分析 193
任務(wù)4：邏輯回歸算法分析 194
任務(wù)5：決策樹算法分析 196
課后拓展 199
本章小結(jié) 200
第11章 交通大數(shù)據(jù)綜合案例分析 201
課前自學(xué) 202
一、數(shù)據(jù)集類型 202
二、交通大數(shù)據(jù)處理需求分析 203
課中實訓(xùn) 204
任務(wù)1：數(shù)據(jù)分析流程設(shè)計 204
任務(wù)2：數(shù)據(jù)預(yù)處理 208
任務(wù)3：模型訓(xùn)練與數(shù)據(jù)預(yù)測 212
任務(wù)4：數(shù)據(jù)輸出 214
課后拓展 215
本章小結(jié) 218
參考文獻 219