第 1章　數學準備 001
1.1　偏微分　001
1.1.1　導函數和偏導函數　001
1.1.2　微分系數與偏微分系數　003
1.1.3　偏微分的基本公式　006
1.1.4　復合函數的偏微分　007
1.1.5　拓展全微分　009
1.2　線性代數　011
1.2.1　向量　011
1.2.1.1　向量的基礎知識　011
1.2.1.2　向量的和與標量倍數　011
1.2.1.3　向量的內積　012
1.2.2　矩陣　013
1.2.2.1　矩陣的基礎知識　013
1.2.2.2　矩陣的和與標量倍數　014
1.2.2.3　矩陣的乘積　014
1.2.2.4　正則矩陣與逆矩陣　016
1.2.2.5　轉置矩陣　017
1.3　小結　018
第　2章 Python準備　019
2.1　Python 2和Python 3　020
2.2　Anaconda發行版　021
2.3　Python的基礎知識　025
2.3.1　Python程序的執行　025
2.3.2　數據類型　026
2.3.2.1　類型是什么　026
2.3.2.2　字符串類型　027
2.3.2.3　數值類型　028
2.3.2.4　布爾類型　030
2.3.3　變量　031
2.3.3.1　變量是什么　031
2.3.3.2　變量與類型　032
2.3.4　數據結構　033
2.3.4.1　列表　033
2.3.4.2　字典　034
2.3.5　運算　035
2.3.5.1　運算符與操作數　035
2.3.5.2　算術運算的運算符　036
2.3.5.3　賦值運算符　036
2.3.6　基本結構　038
2.3.6.1　if語句　038
2.3.6.2　while語句　039
2.3.6.3　for語句　041
2.3.7　函數　043
2.3.8　類　045
2.3.9　庫　048
2.4　NumPy　049
2.4.1　NumPy數組　049
2.4.2　使用NumPy進行向量和矩陣的計算　051
2.4.3　數組和多維數組的生成　053
2.4.4　切片　054
2.4.5　廣播　056
2.5　面向深度學習的庫　058
2.5.1　TensorFlow　058
2.5.2　Keras　059
2.5.3　參考Theano　060
2.6　小結　063
第3章　神經網絡　065
3.1　什么是神經網絡　065
3.1.1　腦和神經元　065
3.1.2　深度學習和神經網絡　066
3.2　作為電路的神經網絡　067
3.2.1　簡單的模型化　067
3.2.2　邏輯電路　069
3.2.2.1　邏輯門　069
3.2.2.2　與門　069
3.2.2.3　或門　072
3.2.2.4　非門　074
3.3　簡單感知機　075
3.3.1　模型化　075
3.3.2　實現　077
3.4　邏輯回歸　081
3.4.1　階躍函數與sigmoid函數　081
3.4.2　模型化　082
3.4.2.1　似然函數與交叉熵誤差函數　082
3.4.2.2　梯度下降法　084
3.4.2.3　隨機梯度下降法與小批量梯度下降法　085
3.4.3　實現　086
3.4.3.1　使用TensorFlow的實現　086
3.4.3.2　使用Keras的實現　092
3.4.4　拓展sigmoid函數與概率密度函數、累積分布函數　096
3.4.5　拓展梯度下降法和局部*優解　099
3.5　多分類邏輯回歸　101
3.5.1　softmax函數　101
3.5.2　模型化　102
3.5.3　實現　106
3.5.3.1　使用TensorFlow的實現　106
3.5.3.2　使用Keras的實現　110
3.6　多層感知機　111
3.6.1　非線性分類　111
3.6.1.1　異或門　111
3.6.1.2　邏輯門的組合　113
3.6.2　模型化　115
3.6.3　實現　119
3.6.3.1　使用TensorFlow的實現　119
3.6.3.2　使用Keras的實現　122
3.7　模型的評估　123
3.7.1　從分類到預測　123
3.7.2　預測的評估　124
3.7.3　簡單的實驗　126
3.8　小結　131
第4章　深度神經網絡　133
4.1　進入深度學習之前的準備　133
4.2　訓練過程中的問題　138
4.2.1　梯度消失問題　138
4.2.2　過擬合問題　141
4.3　訓練的高效化　142
4.3.1　激活函數　143
4.3.1.1　雙曲正切函數　143
4.3.1.2　ReLU　145
4.3.1.3　Leaky ReLU　147
4.3.1.4　Parametric ReLU　149
4.3.2　Dropout　152
4.4　代碼的設計　157
4.4.1　基本設計　157
4.4.1.1　使用TensorFlow的實現　157
4.4.1.2　使用Keras的實現　160
4.4.1.3　拓展對TensorFlow模型進行類封裝　161
4.4.2　訓練的可視化　166
4.4.2.1　使用TensorFlow的實現　167
4.4.2.2　使用Keras的實現　172
4.5　**技術　176
4.5.1　數據的正則化與權重的初始化　176
4.5.2　學習率的設置　179
4.5.2.1　動量　179
4.5.2.2　Nesterov動量　180
4.5.2.3　Adagrad　181
4.5.2.4　Adadelta　182
4.5.2.5　RMSprop　184
4.5.2.6　Adam　185
4.5.3　早停法　187
4.5.4　Batch Normalization　190
4.6　小結　195
第5章　循環神經網絡　197
5.1　基本概念　197
5.1.1　時間序列數據　197
5.1.2　過去的隱藏層　199
5.1.3　基于時間的反向傳播算法　202
5.1.4　實現　204
5.1.4.1　準備時間序列數據　205
5.1.4.2　使用TensorFlow的實現　207
5.1.4.3　使用Keras的實現　214
5.2　LSTM　215
5.2.1　LSTM 塊　215
5.2.2　CEC、輸入門和輸出門　217
5.2.2.1　穩態誤差　217
5.2.2.2　輸入權重沖突和輸出權重沖突　219
5.2.3　遺忘門　220
5.2.4　窺視孔連接　222
5.2.5　模型化　223
5.2.6　實現　227
5.2.7　長期依賴信息的訓練評估——Adding Problem　229
5.3　GRU　232
5.3.1　模型化　232
5.3.2　實現　233
5.4　小結　235
第6章　循環神經網絡的應用　237
6.1　雙向循環神經網絡　237
6.1.1　未來的隱藏層　237
6.1.2　前向、后向傳播　239
6.1.3　MNIST的預測　241
6.1.3.1　轉換為時間序列數據　241
6.1.3.2　使用TensorFlow的實現　242
6.1.3.3　使用Keras的實現　245
6.2　循環神經網絡編碼器- 解碼器　246
6.2.1　序列到序列模型　246
6.2.2　簡單的問答系統　247
6.2.2.1　設置問題——加法的訓練　247
6.2.2.2　數據的準備　248
6.2.2.3　使用TensorFlow的實現　251
6.2.2.4　使用Keras的實現　260
6.3　注意力模型　261
6.3.1　時間的權重　261
6.3.2　LSTM中的注意力機制　263
6.4　記憶網絡　265
6.4.1　記憶外部化　265
6.4.2　應用于問答系統　266
6.4.2.1　bAbi任務　266
6.4.2.2　模型化　267
6.4.3　實現　269
6.4.3.1　數據的準備　269
6.4.3.2　使用TensorFlow的實現　272
6.5　小結　276
附錄　279
A.1　模型的保存和讀取　279
A.1.1　使用TensorFlow時的處理　279
A.1.2　使用Keras時的處理　284
A.2　TensorBoard　285
A.3　tf.contrib.learn　292