章概率思想：構建理論基礎1
1.1理論基石：條件概率、獨立性與貝葉斯1
1.1.1從概率到條件概率1
1.1.2條件概率的具體描述2
1.1.3條件概率的運算式分析3
1.1.4兩個事件的獨立性4
1.1.5從條件概率到全概率公式5
1.1.6聚焦貝葉斯公式6
1.1.7本質內涵：由因到果，由果推因7
1.2事件的關係：深入理解獨立性8
1.2.1重新梳理兩個事件的獨立性8
1.2.2不相容與獨立性8
1.2.3條件獨立9
1.2.4獨立與條件獨立11
1.2.5獨立重複實驗11
第2章變數分佈：描述隨機世界13
2.1離散型隨機變數：分佈與數位特徵13
2.1.1從事件到隨機變數13
2.1.2離散型隨機變數及其要素14
2.1.3離散型隨機變數的分佈列15
2.1.4分佈列和概率品質函數16
2.1.5二項分佈及二項隨機變數17
2.1.6幾何分佈及幾何隨機變數21
2.1.7泊松分佈及泊松隨機變數24
2.2連續型隨機變數：分佈與數位特徵27
2.2.1概率密度函數27
2.2.2連續型隨機變數區間概率的計算29
2.2.3連續型隨機變數的期望與方差29
2.2.4正態分佈及正態隨機變數30
2.2.5指數分佈及指數隨機變數33
2.2.6均勻分佈及其隨機變數35
2.3多元隨機變數（上）：聯合、邊緣與條件38
2.3.1實驗中引入多個隨機變數38
2.3.2聯合分佈列38
2.3.3邊緣分佈列39
2.3.4條件分佈列40
2.3.5集中梳理核心的概率理論44
2.4多元隨機變數（下）：獨立與相關46
2.4.1隨機變數與事件的獨立性46
2.4.2隨機變數之間的獨立性47
2.4.3獨立性示例48
2.4.4條件獨立的概念48
2.4.5獨立隨機變數的期望和方差50
2.4.6隨機變數的相關性分析及量化方法52
2.4.7協方差及協方差矩陣52
2.4.8相關係數的概念54
2.5多元隨機變數實踐：聚焦多元正態分佈55
2.5.1再談相關性：基於二元標準正態分佈55
2.5.2二元一般正態分佈57
2.5.3聚焦相關係數60
2.5.4獨立和相關性的關係64
2.6多元高斯分佈：參數特徵和幾何意義66
2.6.1從一元分佈到多元分佈66
2.6.2多元高斯分佈的參數形式67
2.6.3二元高斯分佈的具體示例68
2.6.4多元高斯分佈的幾何特徵71
2.6.5二元高斯分佈幾何特徵實例分析74
第3章參數估計：探尋優選可能77
3.1極限思維：大數定律與中心極限定理77
3.1.1一個背景話題77
3.1.2大數定律78
3.1.3大數定律的模擬80
3.1.4中心極限定理83
3.1.5中心極限定理的工程意義84
3.1.6中心極限定理的模擬85
3.1.7大數定律的應用：蒙特卡羅方法86
3.2推斷未知：統計推斷的基本框架89
3.2.1進入統計學89
3.2.2統計推斷的例子90
3.2.3統計推斷中的一些重要概念91
3.2.4估計量的偏差與無偏估計92
3.2.5總體均值的估計93
3.2.6總體方差的估計95
3.3極大似然估計100
3.3.1極大似然估計法的引例100
3.3.2似然函數的由來102
3.3.3極大似然估計的思想103
3.3.4極大似然估計值的計算105
3.3.5簡單極大似然估計案例106
3.3.6高斯分佈參數的極大似然估計107
3.4含有隱變數的參數估計問題110
3.4.1參數估計問題的回顧110
3.4.2新情況：場景中含有隱變數111
3.4.3反覆運算法：解決含有隱變數情形的拋硬幣問題112
3.4.4代碼實驗115
3.5概率漸增：EM演算法的合理性118
3.5.1EM演算法的背景介紹119
3.5.2先拋出EM演算法的反覆運算公式119
3.5.3EM演算法為什麼是有效的120
3.6探索EM公式的底層邏輯與由來123
3.6.1EM公式中的E步和M步124
3.6.2剖析EM演算法的由來124
3.7探索高斯混合模型：EM反覆運算實踐127
3.7.1高斯混合模型的引入128
3.7.2從混合模型的角度看內部機理129
3.7.3高斯混合模型的參數估計131
3.8高斯混合模型的參數求解132
3.8.1利用EM反覆運算模型參數的思路132
3.8.2參數估計示例136
3.8.3高斯混合模型的應用場景139
第4章隨機過程：聚焦動態特徵145
4.1由靜向動：隨機過程導引145
4.1.1隨機過程場景舉例1：博彩146
4.1.2隨機過程場景舉例2：股價的變化150
4.1.3隨機過程場景舉例3：股價變化過程的展現152
4.1.4兩類重要的隨機過程概述154
4.2狀態轉移：初識瑪律可夫鏈155
4.2.1瑪律可夫鏈三要素155
4.2.2瑪律可夫性：靈魂特徵156
4.2.3轉移概率和狀態轉移矩陣157
4.2.4瑪律可夫鏈性質的總結158
4.2.5一步到達與多步轉移的含義159
4.2.6多步轉移與矩陣乘法160
4.2.7路徑概率問題163
4.3變與不變：瑪律可夫鏈的極限與穩態164
4.3.1極限與初始狀態無關的情況164
4.3.2極限依賴於初始狀態的情況165
4.3.3吸收態與收斂分析167
4.3.4可達與常返168
4.3.5週期性問題171
4.3.6瑪律可夫鏈的穩態分析和判定172
4.3.7穩態的求法174
4.4隱瑪律可夫模型：明暗兩條線176
4.4.1從瑪律可夫鏈到隱瑪律可夫模型176
4.4.2典型實例1：盒子摸球實驗177
4.4.3典型實例2：小寶寶的日常生活180
4.4.4隱瑪律可夫模型的外在表徵181
4.4.5推動模型運行的內核三要素182
4.4.6關鍵性質：齊次瑪律可夫性和觀測獨立性183
4.5概率估計：隱瑪律可夫模型觀測序列描述183
4.5.1隱瑪律可夫模型的研究內容183
4.5.2模型研究問題的描述185
4.5.3一個直觀的思路186
4.5.4更優的方法：前向概率演算法187
4.5.5概率估計實踐190
4.5.6代碼實踐192
4.6狀態解碼：隱瑪律可夫模型隱狀態揭秘194
4.6.1隱狀態解碼問題的描述194
4.6.2優選路徑概率與維特比演算法195
4.6.3應用維特比演算法進行解碼197
4.6.4維特比演算法的案例實踐199
4.6.5代碼實踐202
4.7連續域上的無限維：高斯過程204
4.7.1高斯過程的一個實際例子205
4.7.2高斯過程的核心要素和嚴謹描述206
4.7.3徑向基函數的代碼演示207
4.7.4高斯過程回歸原理詳解208
4.7.5高斯過程回歸代碼演示210
第5章統計推斷：貫穿近似策略215
5.1統計推斷的基本思想和分類215
5.1.1統計推斷的根源和場景215
5.1.2後驗分佈：推斷過程的關注重點216
5.1.3精確推斷和近似推斷216
5.1.4確定性近似：變分推斷概述217
5.2隨機近似方法219
5.2.1蒙特卡羅方法的理論支撐219
5.2.2隨機近似的核心：蒙特卡羅220
5.2.3接受-拒絕採樣的問題背景221
5.2.4接受-拒絕採樣的方法和步驟221
5.2.5接受-拒絕採樣的實踐222
5.2.6接受-拒絕採樣方法背後的內涵挖掘225
5.2.7重要性採樣226
5.2.8兩種採樣方法的問題及思考227
5.3採樣絕佳途徑：借助瑪律可夫鏈的穩態性質228
5.3.1瑪律可夫鏈回顧228
5.3.2核心：瑪律可夫鏈的平穩分佈229
5.3.3瑪律可夫鏈進入穩態的轉移過程231
5.3.4穩態及轉移過程演示231
5.3.5瑪律可夫鏈穩態的價值和意義235
5.3.6基於瑪律可夫鏈進行採樣的原理分析236
5.3.7採樣過程實踐與分析238
5.3.8一個顯而易見的問題和難點242
5.4瑪律可夫鏈-蒙特卡羅方法詳解242
5.4.1穩態判定：細緻平穩條件243
5.4.2Metropolis-Hastings採樣方法的原理244
5.4.3如何理解隨機遊走疊加接受概率245
5.4.4如何實現隨機遊走疊加接受概率247
5.4.5建議轉移概率矩陣Q的設計247
5.4.6Metropolis-Hastings方法的步驟和代碼演示251
5.5Gibbs採樣方法簡介253
5.5.1Gibbs方法核心流程253
5.5.2Gibbs採樣的合理性255
5.5.3Gibbs採樣代碼實驗256