Python機器學習算法 ( 簡體 字) |
| 作者：趙志勇 | 類別：1. -> 程式設計 -> Python
2. -> 程式設計 -> 機器學習 |
| 譯者： |
| 出版社：電子工業出版社 |  3dWoo書號： 47128
詢問書籍請說出此書號！【缺書】
NT售價： 345 元 |
| 出版日：6/1/2017 |
| 頁數：364 |
| 光碟數：0 |
|
站長推薦：   |
| 印刷：黑白印刷 | 語系： ( 簡體 版 ) |
| |
加入購物車  │加到我的最愛
(請先登入會員) |
| ISBN：9787121313196 |
| 作者序 | 譯者序 | 前言 | 內容簡介 | 目錄 | 序 |
| (簡體書上所述之下載連結耗時費功, 恕不適用在台灣, 若讀者需要請自行嘗試, 恕不保證) |
| 作者序： |
| 譯者序： |
前言：推薦序
志勇是我在新浪微博的同事，剛來的時候坐我的旁邊。記得當時志勇喜歡把看過的論文的重點部分剪下來粘到自己的筆記本上，并用五顏六色的筆標注，后來還知道志勇平時會寫博客來記錄自己在算法學習和實踐中的心得。由此可見，志勇是一個非常認真且善于歸納總結的人。2016年志勇告訴我他在寫這樣一本書的時候，我深以為然，感覺正確的人做了一件正確的事。
志勇的書快完成的時候邀請我寫序，這對我絕對是個挑戰。幸運的是，書中的內容是我所熟悉的，仿佛是發生在自己身邊的事。寫作風格也和志勇平時交流時一致。所以，我可以從故事參與者的角度去介紹一下這本書。
說到機器學習算法，這兩年可謂蓬勃發展。AlphaGo戰勝世界圍棋冠軍李世石已經成了大家茶余飯后的談資，無人駕駛汽車是資本競相追逐的萬億級市場，這些都源于數據收集能力、計算能力的提升，以及智能設備的普及。機器學習也已經在我們身邊一些領域取得了成功，例如，現在已經獲得上億用戶使用的今日頭條。今日頭條通過抓取眾多媒體的資訊，利用機器學習算法推薦給用戶，從而做到了資訊量大、更新快、更加個性化。
作為一個互聯網從業者，更是感覺到機器學習算法已經融入到越來越多的產品和功能中。我曾經在一次交流中得知，某個應用為減少用戶輸入，用了一個團隊的力量做輸入選項的推薦。這在以前是不曾出現過的，以前的網站更多的是增加功能，讓用戶選擇。現在更多的是推薦給用戶，幫助用戶選擇。這里面既有移動應用屏幕小、操作復雜的原因，也有互聯網公司越來越重視用戶體驗的原因。所以，在此要恭喜這本書的讀者，你們選擇了一個前途光明的行業。
機器學習算法比較典型的應用是推薦、廣告和搜索。我們利用協同過濾技術來推薦商品、利用邏輯回歸技術來做點擊率的預測、利用分類技術來識別“垃圾”網頁等。學好、用好每一種算法都很困難，需要掌握背后的理論基礎，以及進行大量的實踐，否則就會浮于表面，模仿他人，不能根據自己的業務做出合理的選擇。
而市場上的書通常要么只是一些概要性質的介紹，要么是偏向實戰，理論基礎介紹得比較少。本書是少有的兩者兼具的書，每一種算法都先介紹數學基礎，再用Python代碼做簡單版本的實現，并且算法之間循序漸進，層層深入，讀來如沐春風。
本書介紹了LR、FM、SVM、協同過濾、矩陣分解等推薦和廣告領域常用算法，有很強的實用性。深度學習更是近期主流互聯網公司研究的熱門領域。無論對機器學習的初學者還是已經具備一些項目經驗的人來說，這都是很好的讀本。希望本書對更多的人有益，也希望中國的“人工智能+”蓬勃發展。
新浪微博算法經理 陶輝
前言
起源
在讀研究生期間，我就對機器學習算法萌生了很濃的興趣，并對機器學習中的常用算法進行了學習，利用MATLAB對每一個算法進行了實踐。在此過程中，每當遇到不懂的概念或者算法時，就會在網上查找相關的資料。也看到很多人在博客中分享算法的學習心得及算法的具體過程，其中有不少內容讓我受益匪淺，但是有的內容僅僅是算法的描述，缺少實踐的具體過程。
注意到這一點之后，我決定開始在博客中分享自己學習每一個機器學習算法的點點滴滴，為了讓更多的初學者能夠理解算法的具體過程并從中受益，我計劃從三個方面出發，第一是算法過程的簡單描述，第二是算法理論的詳細推導，第三是算法的具體實踐。2014年1月10日，我在CSDN上寫下了第一篇博客。當時涉及的方向主要是優化算法和簡單易學的機器學習算法。
隨著學習的深入，博客的內容越來越多，同時，在寫作過程中，博客的質量也在慢慢提高，這期間也是機器學習快速發展的階段，在行業內出現了很多優秀的算法庫，如Java版本的weka、Python版本的sklearn，以及其他的一些開源程序，通過對這些算法庫的學習，我豐富了很多算法的知識，同時，我將學習到的心得記錄在簡單易學的機器學習算法中。工作之后，越發覺得這些基礎知識對于算法的理解很有幫助，積累的這些算法學習材料成了我寶貴的財富。
2016年，電子工業出版社博文視點的符隆美編輯聯系到我，詢問我是否有意向將這些博文匯總寫一本書。能夠寫一本書是很多人的夢想，我也不例外。于是在2016年9月，我開始了對本書的構思，從選擇算法開始，選擇出使用較多的一些機器學習算法。在選擇好算法后，從算法原理和算法實現兩個方面對算法進行描述，希望本書能夠在內容上既能照顧到初學者，又能使具有一定機器學習基礎的讀者從中受益。
在寫作的過程中，我重新查閱了資料，力求保證知識的準確性，同時，在實踐的環節中，我使用了目前比較流行的Python語言實現每一個算法，使得讀者能夠更容易理解算法的過程，在介紹深度學習的部分時，使用到了目前最熱門的TensorFlow框架。為了幫助讀者理解機器學習算法在實際工作中的具體應用，本書專門有一章介紹項目實踐的部分，綜合前面各種機器學習算法，介紹每一類算法在實際工作中的具體應用。
內容組織
本書開篇介紹機器學習的基本概念，包括監督學習、無監督學習和深度學習的基本概念。
第一部分介紹分類算法。分類算法是機器學習中最常用的算法。在分類算法中著重介紹Logistic回歸、Softmax Regression、Factorization Machine、支持向量機、隨機森林和BP神經網絡等算法。
第二部分介紹回歸算法。與分類算法不同的是，在回歸算法中其目標值是連續的值，而在分類算法中，其目標值是離散的值。在回歸算法中著重介紹線性回歸、嶺回歸和CART樹回歸。
第三部分介紹聚類算法。聚類是將具有某種相同屬性的數據聚成一個類別。在聚類算法中著重介紹K-Means算法、Mean Shift算法、DBSCAN算法和Label Propagation算法。
第四部分介紹推薦算法。推薦算法是一類基于具體應用場景的算法的總稱。在推薦算法中著重介紹基于協同過濾的推薦、基于矩陣分解的推薦和基于圖的推薦。
第五部分介紹深度學習。深度學習是近年來研究最為火熱的方向。深度學習的網絡模型和算法有很多種，在本書中，主要介紹最基本的兩種算法：AutoEncoder和卷積神經網絡。
第六部分介紹以上這些算法在具體項目中的實踐。通過具體的例子，可以清晰地看到每一類算法的應用場景。
附錄介紹在實踐中使用到的Python語言、numpy庫及TensorFlow框架的具體使用方法。
小結
本書試圖從算法原理和實踐兩個方面來介紹機器學習中的常用算法，對每一類機器學習算法，精心挑選了具有代表性的算法，從理論出發，并配以詳細的代碼，本書的所有示例代碼使用Python語言作為開發語言，讀者可以從https://github.com/ zhaozhiyong19890102/Python-Machine-Learning-Algorithm中下載本書的全部示例代碼。
由于時間倉促，書中難免存在錯誤，歡迎廣大讀者和專家批評、指正，同時，歡迎大家提供意見和反饋。本書作者的電子郵箱：zhaozhiyong1989@126.com。
致謝
首先，我要感謝陶輝和孫永生這兩位良師益友，在本書的寫作過程中，為我提供了很多意見和建議，包括全書的組織架構。感謝陶輝抽出寶貴的時間幫我寫序，感謝孫永生幫我檢查程序。
其次，我要感謝符隆美編輯和董雪編輯在寫作和審稿的過程中對我的鼓勵和悉心指導。
再次，我要感謝姜貴彬、易慧民、潘文彬，感謝他們能夠抽出寶貴的時間幫本書寫推薦語，感謝他們在讀完本書后給出的寶貴意見和建議。
然后，我要感謝July在本書的寫作過程中對本書提出的寶貴意見，感謝張俊林、王斌在讀完本書初稿后對本書的指點。
最后，感謝我的親人和朋友，是你們的鼓勵才使得本書能夠順利完成。
趙志勇
2017年6月6日于北京 |
內容簡介：本書是一本機器學習入門讀物，注重理論與實踐的結合。全書主要包括6個部分，每個部分均以典型的機器學習算法為例，從算法原理出發，由淺入深，詳細分析算法的理論，并配合目前流行的Python語言，從零開始，實現每一個算法，以加強對機器學習算法理論的理解、增強實際的算法實踐能力，最終達到熟練掌握每一個算法的目的。與其他機器學習類書相比，本書同時包含算法理論的介紹和算法的實踐，以理論支撐實踐，同時，又將復雜、枯燥的理論用簡單易懂的形式表達出來，促進對理論的理解。 |
目錄：0 緒論 1
0.1 機器學習基礎 1
0.1.1 機器學習的概念 1
0.1.2 機器學習算法的分類 2
0.2 監督學習 3
0.2.1 監督學習 3
0.2.2 監督學習的流程 3
0.2.3 監督學習算法 4
0.3 無監督學習 4
0.3.1 無監督學習 4
0.3.2 無監督學習的流程 4
0.3.3 無監督學習算法 5
0.4 推薦系統和深度學習 6
0.4.1 推薦系統 6
0.4.2 深度學習 6
0.5 Python和機器學習算法實踐 6
參考文獻 7
第一部分 分類算法
1 Logistic Regression 10
1.1 Logistic Regression模型 10
1.1.1 線性可分VS線性不可分 10
1.1.2 Logistic Regression模型 11
1.1.3 損失函數 13
1.2 梯度下降法 14
1.2.1 梯度下降法的流程 14
1.2.2 凸優化與非凸優化 15
1.2.3 利用梯度下降法訓練Logistic Regression模型 17
1.3 梯度下降法的若干問題 18
1.3.1 選擇下降的方向 18
1.3.2 步長的選擇 19
1.4 Logistic Regression算法實踐 20
1.4.1 利用訓練樣本訓練Logistic Regression模型 20
1.4.2 最終的訓練效果 22
1.4.3 對新數據進行預測 23
參考文獻 26
2 Softmax Regression 27
2.1 多分類問題 27
2.2 Softmax Regression算法模型 28
2.2.1 Softmax Regression模型 28
2.2.2 Softmax Regression算法的代價函數 28
2.3 Softmax Regression算法的求解 29
2.4 Softmax Regression與Logistic Regression的關系 31
2.4.1 Softmax Regression中的參數特點 31
2.4.2 由Softmax Regression到Logistic Regression 31
2.5 Softmax Regression算法實踐 32
2.5.1 對Softmax Regression算法的模型進行訓練 33
2.5.2 最終的模型 34
2.5.3 對新的數據的預測 35
參考文獻 39
3 Factorization Machine 40
3.1 Logistic Regression算法的不足 40
3.2 因子分解機FM的模型 42
3.2.1 因子分解機FM模型 42
3.2.2 因子分解機FM可以處理的問題 43
3.2.3 二分類因子分解機FM算法的損失函數 43
3.3 FM算法中交叉項的處理 43
3.3.1 交叉項系數 43
3.3.2 模型的求解 44
3.4 FM算法的求解 45
3.4.1 隨機梯度下降（Stochastic Gradient Descent） 45
3.4.2 基于隨機梯度的方式求解 45
3.4.3 FM算法流程 46
3.5 因子分解機FM算法實踐 49
3.5.1 訓練FM模型 50
3.5.2 最終的訓練效果 53
3.5.3 對新的數據進行預測 55
參考文獻 57
4 支持向量機 58
4.1 二分類問題 58
4.1.1 二分類的分隔超平面 58
4.1.2 感知機算法 59
4.1.3 感知機算法存在的問題 61
4.2 函數間隔和幾何間隔 61
4.2.1 函數間隔 62
4.2.2 幾何間隔 62
4.3 支持向量機 63
4.3.1 間隔最大化 63
4.3.2 支持向量和間隔邊界 64
4.3.3 線性支持向量機 65
4.4 支持向量機的訓練 66
4.4.1 學習的對偶算法 66
4.4.2 由線性支持向量機到非線性支持向量機 68
4.4.3 序列最小最優化算法SMO 69
4.5 支持向量機SVM算法實踐 74
4.5.1 訓練SVM模型 74
4.5.2 利用訓練樣本訓練SVM模型 81
4.5.3 利用訓練好的SVM模型對新數據進行預測 85
參考文獻 88
5 隨機森林 89
5.1 決策樹分類器 89
5.1.1 決策樹的基本概念 89
5.1.2 選擇最佳劃分的標準 91
5.1.3 停止劃分的標準 94
5.2 CART分類樹算法 95
5.2.1 CART分類樹算法的基本原理 95
5.2.2 CART分類樹的構建 95
5.2.3 利用構建好的分類樹進行預測 98
5.3 集成學習（Ensemble Learning） 99
5.3.1 集成學習的思想 99
5.3.2 集成學習中的典型方法 99
5.4 隨機森林（Random Forests） 101
5.4.1 隨機森林算法模型 101
5.4.2 隨機森林算法流程 102
5.5 隨機森林RF算法實踐 104
5.5.1 訓練隨機森林模型 105
5.5.2 最終的訓練結果 109
5.5.3 對新數據的預測 110
參考文獻 113
6 BP神經網絡 114
6.1 神經元概述 114
6.1.1 神經元的基本結構 114
6.1.2 激活函數 115
6.2 神經網絡模型 116
6.2.1 神經網絡的結構 116
6.2.2 神經網絡中的參數說明 117
6.2.3 神經網絡的計算 117
6.3 神經網絡中參數的求解 118
6.3.1 神經網絡損失函數 118
6.3.2 損失函數的求解 119
6.3.3 BP神經網絡的學習過程 120
6.4 BP神經網絡中參數的設置 126
6.4.1 非線性變換 126
6.4.2 權重向量的初始化 126
6.4.3 學習率 127
6.4.4 隱含層節點的個數 127
6.5 BP神經網絡算法實踐 127
6.5.1 訓練BP神經網絡模型 128
6.5.2 最終的訓練效果 132
6.5.3 對新數據的預測 133
參考文獻 136
第二部分 回歸算法
7 線性回歸 138
7.1 基本線性回歸 138
7.1.1 線性回歸的模型 138
7.1.2 線性回歸模型的損失函數 139
7.2 線性回歸的最小二乘解法 140
7.2.1 線性回歸的最小二乘解法 140
7.2.2 廣義逆的概念 141
7.3 牛頓法 141
7.3.1 基本牛頓法的原理 141
7.3.2 基本牛頓法的流程 142
7.3.3 全局牛頓法 142
7.3.4 Armijo搜索 144
7.3.5 利用全局牛頓法求解線性回歸模型 145
7.4 利用線性回歸進行預測 146
7.4.1 訓練線性回歸模型 147
7.4.2 最終的訓練結果 149
7.4.3 對新數據的預測 150
7.5 局部加權線性回歸 152
7.5.1 局部加權線性回歸模型 152
7.5.2 局部加權線性回歸的最終結果 153
參考文獻 154
8 嶺回歸和Lasso回歸 155
8.1 線性回歸存在的問題 155
8.2 嶺回歸模型 156
8.2.1 嶺回歸模型 156
8.2.2 嶺回歸模型的求解 156
8.3 Lasso回歸模型 157
8.4 擬牛頓法 158
8.4.1 擬牛頓法 158
8.4.2 BFGS校正公式的推導 158
8.4.3 BFGS校正的算法流程 159
8.5 L-BFGS求解嶺回歸模型 162
8.5.1 BGFS算法存在的問題 162
8.5.2 L-BFGS算法思路 162
8.6 嶺回歸對數據的預測 165
8.6.1 訓練嶺回歸模型 166
8.6.2 最終的訓練結果 168
8.6.3 利用嶺回歸模型預測新的數據 168
參考文獻 171
9 CART樹回歸 172
9.1 復雜的回歸問題 172
9.1.1 線性回歸模型 172
9.1.2 局部加權線性回歸 173
9.1.3 CART算法 174
9.2 CART回歸樹生成 175
9.2.1 CART回歸樹的劃分 175
9.2.2 CART回歸樹的構建 177
9.3 CART回歸樹剪枝 179
9.3.1 前剪枝 179
9.3.2 后剪枝 180
9.4 CART回歸樹對數據預測 180
9.4.1 利用訓練數據訓練CART回歸樹模型 180
9.4.2 最終的訓練結果 182
9.4.3 利用訓練好的CART回歸樹模型對新的數據預測 185
參考文獻 187
第三部分 聚類算法
10 K-Means 190
10.1 相似性的度量 190
10.1.1 閔可夫斯基距離 191
10.1.2 曼哈頓距離 191
10.1.3 歐氏距離 191
10.2 K-Means算法原理 192
10.2.1 K-Means算法的基本原理 192
10.2.2 K-Means算法步驟 193
10.2.3 K-Means算法與矩陣分解 193
10.3 K-Means算法實踐 195
10.3.1 導入數據 196
10.3.2 初始化聚類中心 197
10.3.3 聚類過程 198
10.3.4 最終的聚類結果 199
10.4 K-Means++算法 200
10.4.1 K-Means算法存在的問題 200
10.4.2 K-Means++算法的基本思路 202
10.4.3 K-Means++算法的過程和最終效果 204
參考文獻 205
11 Mean Shift 206
11.1 Mean Shift向量 206
11.2 核函數 207
11.3 Mean Shift算法原理 209
11.3.1 引入核函數的Mean Shift向量 209
11.3.2 Mean Shift算法的基本原理 210
11.4 Mean Shift算法的解釋 212
11.4.1 概率密度梯度 212
11.4.2 Mean Shift向量的修正 213
11.4.3 Mean Shift算法流程 213
11.5 Mean Shift算法實踐 217
11.5.1 Mean Shift的主過程 218
11.5.2 Mean Shift的最終聚類結果 219
參考文獻 221
12 DBSCAN 222
12.1 基于密度的聚類 222
12.1.1 基于距離的聚類算法存在的問題 222
12.1.2 基于密度的聚類算法 225
12.2 DBSCAN算法原理 225
12.2.1 DBSCAN算法的基本概念 225
12.2.2 DBSCAN算法原理 227
12.2.3 DBSCAN算法流程 228
12.3 DBSCAN算法實踐 231
12.3.1 DBSCAN算法的主要過程 232
12.3.2 Mean Shift的最終聚類結果 234
參考文獻 236
13 Label Propagation 237
13.1 社區劃分 237
13.1.1 社區以及社區劃分 237
13.1.2 社區劃分的算法 238
13.1.3 社區劃分的評價標準 239
13.2 Label Propagation算法原理 239
13.2.1 Label Propagation算法的基本原理 239
13.2.2 標簽傳播 240
13.2.3 迭代的終止條件 242
13.3 Label Propagation算法過程 244
13.4 Label Propagation算法實踐 244
13.4.1 導入數據 245
13.4.2 社區的劃分 246
13.4.3 最終的結果 247
參考文獻 248
第四部分 推薦算法
14 協同過濾算法 250
14.1 推薦系統的概述 250
14.1.1 推薦系統 250
14.1.2 推薦問題的描述 251
14.1.3 推薦的常用方法 251
14.2 基于協同過濾的推薦 252
14.2.1 協同過濾算法概述 252
14.2.2 協同過濾算法的分類 252
14.3 相似度的度量方法 253
14.3.1 歐氏距離 254
14.3.2 皮爾遜相關系數（Pearson Correlation） 254
14.3.3 余弦相似度 254
14.4 基于協同過濾的推薦算法 256
14.4.1 基于用戶的協同過濾算法 256
14.4.2 基于項的協同過濾算法 258
14.5 利用協同過濾算法進行推薦 260
14.5.1 導入用戶-商品數據 260
14.5.2 利用基于用戶的協同過濾算法進行推薦 261
14.5.3 利用基于項的協同過濾算法進行推薦 262
參考文獻 264
15 基于矩陣分解的推薦算法 265
15.1 矩陣分解 265
15.2 基于矩陣分解的推薦算法 266
15.2.1 損失函數 266
15.2.2 損失函數的求解 266
15.2.3 加入正則項的損失函數即求解方法 267
15.2.4 預測 269
15.3 利用矩陣分解進行推薦 270
15.3.1 利用梯度下降對用戶商品矩陣分解和預測 270
15.3.2 最終的結果 272
15.4 非負矩陣分解 273
15.4.1 非負矩陣分解的形式化定義 274
15.4.2 損失函數 274
15.4.3 優化問題的求解 274
15.5 利用非負矩陣分解進行推薦 277
15.5.1 利用乘法規則進行分解和預測 277
15.5.2 最終的結果 278
參考文獻 279
16 基于圖的推薦算法 280
16.1 二部圖與推薦算法 280
16.1.1 二部圖 280
16.1.2 由用戶商品矩陣到二部圖 281
16.2 PageRank算法 282
16.2.1 PageRank算法的概念 282
16.2.2 PageRank的兩個假設 283
16.2.3 PageRank的計算方法 283
16.3 PersonalRank算法 285
16.3.1 PersonalRank算法原理 285
16.3.2 PersonalRank算法的流程 286
16.4 利用PersonalRank算法進行推薦 288
16.4.1 利用PersonalRank算法進行推薦 288
16.4.2 最終的結果 291
參考文獻 291
第五部分 深度學習
17 AutoEncoder 294
17.1 多層神經網絡 294
17.1.1 三層神經網絡模型 294
17.1.2 由三層神經網絡到多層神經網絡 295
17.2 AutoEncoder模型 296
17.2.1 AutoEncoder模型結構 296
17.2.2 AutoEncoder的損失函數 297
17.3 降噪自編碼器Denoising AutoEncoder 298
17.3.1 Denoising AutoEncoder原理 298
17.3.2 Denoising AutoEncoder實現 299
17.4 利用Denoising AutoEncoders構建深度網絡 302
17.4.1 無監督的逐層訓練 302
17.4.2 有監督的微調 303
17.5 利用TensorFlow實現Stacked Denoising AutoEncoders 306
17.5.1 訓練Stacked Denoising AutoEncoders模型 306
17.5.2 訓練的過程 307
參考文獻 308
18 卷積神經網絡 309
18.1 傳統神經網絡模型存在的問題 309
18.2 卷積神經網絡 311
18.2.1 卷積神經網絡中的核心概念 311
18.2.2 卷積神經網絡模型 312
18.3 卷積神經網絡的求解 313
18.3.1 卷積層（Convolution Layer） 313
18.3.2 下采樣層（Sub-Sampling Layer） 316
18.3.3 全連接層（Fully-Connected Layer） 316
18.4 利用TensorFlow實現CNN 316
18.4.1 CNN的實現 316
18.4.2 訓練CNN模型 320
18.4.3 訓練的過程 321
參考文獻 321
第六部分 項目實踐
19 微博精準推薦 324
19.1 精準推薦 324
19.1.1 精準推薦的項目背景 324
19.1.2 精準推薦的技術架構 325
19.1.3 離線數據挖掘 326
19.2 基于用戶行為的挖掘 327
19.2.1 基于互動內容的興趣挖掘 327
19.2.2 基于與博主互動的興趣挖掘 328
19.3 基于相似用戶的挖掘 329
19.3.1 基于“@”人的相似用戶挖掘 329
19.3.2 基于社區的相似用戶挖掘 329
19.3.3 基于協同過濾的相似用戶挖掘 331
19.4 點擊率預估 332
19.4.1 點擊率預估的概念 332
19.4.2 點擊率預估的方法 332
19.5 各種數據技術的效果 334
參考文獻 335
附錄A 336
附錄B 341 |
| 序： |
