譯者序
關于作者
前言
第1章　大規模機器學習和Spark入門 1
1.1　數據科學 2
1.2　數據科學家：21世紀最炫酷的職業 2
1.2.1　數據科學家的一天 3
1.2.2　大數據處理 4
1.2.3　分布式環境下的機器學習算法 4
1.2.4　將數據拆分到多臺機器 6
1.2.5　從Hadoop MapReduce到Spark 6
1.2.6　什么是Databricks 7
1.2.7　Spark包含的內容 8
1.3　H2O.ai簡介 8
1.4　H2O和Spark MLlib的區別 10
1.5　數據整理 10
1.6　數據科學：一個迭代過程 11
1.7　小結 11
第2章　探索暗物質：希格斯玻色子 12
2.1　Ⅰ型錯誤與Ⅱ型錯誤 12
2.1.1　尋找希格斯玻色子 13
2.1.2　LHC和數據的創建 13
2.1.3　希格斯玻色子背后的理論 14
2.1.4　測量希格斯玻色子 14
2.1.5　數據集 14
2.2　啟動Spark與加載數據 15
2.2.1　標記點向量 22
2.2.2　創建訓練和測試集合 24
2.2.3　第一個模型：決策樹 26
2.2.4　下一個模型：集合樹 32
2.2.5　最后一個模型：H2O深度學習 37
2.2.6　構建一個3層DNN 39
2.3　小結 45
第3章　多元分類的集成方法 46
3.1　數據 47
3.2　模型目標 48
3.2.1　挑戰 48
3.2.2　機器學習工作流程 48
3.2.3　使用隨機森林建模 61
3.3　小結 78
第4章　使用NLP和Spark Streaming預測電影評論 80
4.1　NLP簡介 81
4.2　數據集 82
4.3　特征提取 85
4.3.1　特征提取方法：詞袋模型 85
4.3.2　文本標記 86
4.4　特征化——特征哈希 89
4.5　我們來做一些模型訓練吧 92
4.5.1　Spark決策樹模型 93
4.5.2　Spark樸素貝葉斯模型 94
4.5.3　Spark隨機森林模型 95
4.5.4　Spark GBM模型 96
4.5.5　超級學習器模型 97
4.6　超級學習器 97
4.6.1　集合所有的轉換 101
4.6.2　使用超級學習器模型 105
4.7　小結 105
第5章　word2vec預測和聚類 107
5.1　詞向量的動機 108
5.2　word2vec解釋 108
5.2.1　什么是單詞向量 108
5.2.2　CBOW模型 110
5.2.3　skip-gram模型 111
5.2.4　玩轉詞匯向量 112
5.2.5　余弦相似性 113
5.3　doc2vec解釋 113
5.3.1　分布式內存模型 113
5.3.2　分布式詞袋模型 114
5.4　應用word2vec并用向量探索數據 116
5.5　創建文檔向量 118
5.6　監督學習任務 119
5.7　小結 123
第6章　從點擊流數據中抽取模式 125
6.1　頻繁模式挖掘 126
6.2　使用Spark MLlib進行模式挖掘 130
6.2.1　使用FP-growth進行頻繁模式挖掘 131
6.2.2　關聯規則挖掘 136
6.2.3　使用prefix span進行序列模式挖掘 138
6.2.4　在MSNBC點擊流數據上進行模式挖掘 141
6.3　部署模式挖掘應用 147
6.4　小結 154
第7章　使用GraphX進行圖分析 155
7.1　基本的圖理論 156
7.1.1　圖 156
7.1.2　有向和無向圖 156
7.1.3　階和度 157
7.1.4　有向無環圖 158
7.1.5　連通分量 159
7.1.6　樹 160
7.1.7　多重圖 160
7.1.8　屬性圖 161
7.2　GraphX分布式圖計算引擎 162
7.2.1　GraphX中圖的表示 163
7.2.2　圖的特性和操作 165
7.2.3　構建和加載圖 170
7.2.4　使用Gephi可視化圖結構 172
7.2.5　圖計算進階 178
7.2.6　GraphFrame 181
7.3　圖算法及其應用 183
7.3.1　聚類 183
7.3.2　頂點重要性 185
7.4　GraphX在上下文中 188
7.5　小結 189
第8章　Lending Club借貸預測 190
8.1　動機 190
8.1.1　目標 191
8.1.2　數據 192
8.1.3　數據字典 192
8.2　環境準備 193
8.3　數據加載 193
8.4　探索——數據分析 194
8.4.1　基本清理 194
8.4.2　預測目標 200
8.4.3　使用模型評分 221
8.4.4　模型部署 224
8.5　小結 229