第 一部分　模型篇
第　1章 機器學習簡介　2
1.1　引言　2
1.2　基本術語　3
1.3　重要概念　5
1.4　圖像分類　12
1.5　MNIST數據集簡介　15
第　2章 線性分類器　17
2.1　線性模型　17
2.1.1　線性分類器　18
2.1.2　理解線性分類器　19
2.1.3　代碼實現　21
2.2　softmax損失函數　22
2.2.1　損失函數的定義　23
2.2.2　概率解釋　24
2.2.3　代碼實現　25
2.3　優化　26
2.4　梯度下降法　26
2.4.1　梯度的解析意義　27
2.4.2　梯度的幾何意義　29
2.4.3　梯度的物理意義　29
2.4.4　梯度下降法代碼實現　29
2.5　牛頓法　30
2.6　機器學習模型統一結構　31
2.7　正則化　33
2.7.1　范數正則化　34
2.7.2　提前終止訓練　37
2.7.3　概率的進一步解釋　38
第3章　神經網絡　39
3.1　數學模型　39
3.2　激活函數　41
3.3　代碼實現　44
3.4　學習容量和正則化　45
3.5　生物神經科學基礎　48
第4章　卷積神經網絡的結構　50
4.1　概述　50
4.1.1　局部連接　51
4.1.2　參數共享　52
4.1.3　3D特征圖　52
4.2　卷積層　53
4.2.1　卷積運算及代碼實現　54
4.2.2　卷積層及代碼初級實現　57
4.2.3　卷積層參數總結　63
4.2.4　用連接的觀點看卷積層　64
4.2.5　使用矩陣乘法實現卷積層運算　67
4.2.6　批量數據的卷積層矩陣乘法的代碼實現　69
4.3　池化層　74
4.3.1　概述　74
4.3.2　池化層代碼實現　76
4.4　全連接層　79
4.4.1　全連接層轉化成卷積層　80
4.4.2　全連接層代碼實現　82
4.5　卷積網絡的結構　83
4.5.1　層的組合模式　83
4.5.2　表示學習　86
4.6　卷積網絡的神經科學基礎　87
第二部分　優化篇
第5章　基于梯度下降法的最優化方法　90
5.1　隨機梯度下降法SGD　91
5.2　基本動量法　93
5.3　Nesterov動量法　95
5.4　AdaGrad　95
5.5　RMSProp　97
5.6　Adam　98
5.7　AmsGrad　99
5.8　學習率退火　99
5.9　參數初始化　100
5.10　超參數調優　101
第6章　梯度反向傳播算法　104
6.1　基本函數的梯度　104
6.2　鏈式法則　105
6.3　深度網絡的誤差反向傳播算法　107
6.4　矩陣化　109
6.5　softmax損失函數梯度計算　111
6.6　全連接層梯度反向傳播　112
6.7　激活層梯度反向傳播　113
6.8　卷積層梯度反向傳播　115
6.9　最大值池化層梯度反向傳播　118
第三部分　實戰篇
第7章　訓練前的準備　124
7.1　中心化和規范化　124
7.1.1　利用線性模型推導中心化　125
7.1.2　利用屬性同等重要性推導規范化　126
7.1.3　中心化和規范化的幾何意義　128
7.2　PCA和白化　128
7.2.1　從去除線性相關性推導PCA　129
7.2.2　PCA代碼　130
7.2.3　PCA降維　131
7.2.4　PCA的幾何意義　133
7.2.5　白化　134
7.3　卷積網絡在進行圖像分類時如何預處理　135
7.4　BN　136
7.4.1　BN前向計算　136
7.4.2　BN層的位置　137
7.4.3　BN層的理論解釋　138
7.4.4　BN層在實踐中的注意事項　139
7.4.5　BN層的梯度反向傳播　140
7.4.6　BN層的地位探討　141
7.4.7　將BN層應用于卷積網絡　141
7.5　數據擴增　142
7.6　梯度檢查　144
7.7　初始損失值檢查　146
7.8　過擬合微小數據子集　146
7.9　監測學習過程　147
7.9.1　損失值　147
7.9.2　訓練集和驗證集的準確率　148
7.9.3　參數更新比例　149
第8章　神經網絡實例　150
8.1　生成數據　150
8.2　數據預處理　152
8.3　網絡模型　153
8.4　梯度檢查　156
8.5　參數優化　158
8.6　訓練網絡　159
8.7　過擬合小數據集　162
8.8　超參數隨機搜索　162
8.9　評估模型　165
8.10　程序組織結構　165
8.11　增加BN層　167
8.12　程序使用建議　171
第9章　卷積神經網絡實例　172
9.1　程序結構設計　173
9.2　激活函數　173
9.3　正則化　174
9.4　優化方法　175
9.5　卷積網絡的基本模塊　176
9.6　訓練方法　181
9.7　VGG網絡結構　186
9.8　MNIST數據集　197
9.9　梯度檢測　199
9.10　MNIST數據集的訓練結果　202
9.11　程序使用建議　205
第　10章 卷積網絡結構的發展　206
10.1　全局平均池化層　206
10.2　去掉池化層　208
10.3　網絡向更深更寬發展面臨的困難　209
10.4　ResNet向更深發展的代表網絡　210
10.5　GoogLeNet向更寬發展的代表網絡　213
10.6　輕量網絡　215
10.6.1　1×1深度維度卷積代碼實現　217
10.6.2　3×3逐特征圖的卷積代碼實現　219
10.6.3　逆殘差模塊的代碼實現　222
10.7　注意機制網絡SENet　223