第 1章 大模型概述 1
1.1 大模型介紹 2
1.1.1 生成原理 4
1.1.2 關鍵技術 5
1.1.3 關鍵術語 10
1.2 大模型分類 11
1.2.1 按模型結構劃分 12
1.2.2 按模態劃分 12
1.2.3 按微調方式劃分 13
1.2.4 帶插件系統的大模型 13
1.3 大模型的開發流程 13
1.3.1 確定項目目標 14
1.3.2 數據準備 15
1.3.3 模型設計 16
1.3.4 模型訓練 16
1.3.5 模型部署 17
1.3.6 模型應用 17
1.4 應用場景 18
1.5 未來發展方向 20
1.5.1 AI智能體 20
1.5.2 具身智能 21
1.6 小結 22
1.7 課后習題 22
第 2章 數據預處理 23
2.1 文本數據預處理 23
2.1.1 構造方法 24
2.1.2 構造流程 26
2.1.3 處理手段 28
2.1.4 常用類庫 37
2.2 圖像數據預處理 47
2.2.1 圖像去噪 48
2.2.2 圖像重采樣 52
2.2.3 圖像增強 53
2.3 圖文對數據預處理 56
2.4 Datasets庫 58
2.4.1 安裝與配置 58
2.4.2 使用方法 58
2.5 小結 63
2.6 課后習題 64
第3章 Transformer 65
3.1 注意力機制 65
3.1.1 自注意力機制 66
3.1.2 多頭自注意力機制 68
3.2 Transformer簡介 70
3.2.1 位置編碼 70
3.2.2 整體結構 71
3.2.3 稀疏Transformer 72
3.3 Visual Transformer簡介 73
3.3.1 模型結構 74
3.3.2 與Transformer對比 75
3.4 Q-Former 75
3.5 transformers庫 77
3.5.1 基本組成 77
3.5.2 使用方法 78
3.5.3 微調實踐 83
3.6 小結 85
3.7 課后習題 86
第4章 預訓練 87
4.1 預訓練介紹 87
4.1.1 發展歷程 88
4.1.2 模型類型 88
4.1.3 掩碼預訓練 89
4.2 預訓練任務 89
4.3 應用于下游任務的方法 91
4.3.1 遷移學習 91
4.3.2 微調 91
4.4 預訓練模型的應用 92
4.5 小結 93
4.6 課后習題 93
第5章 訓練優化 94
5.1 模型訓練挑戰 94
5.2 訓練優化技術 95
5.2.1 數據并行 95
5.2.2 模型并行 97
5.2.3 流水線并行 98
5.2.4 混合精度訓練 99
5.3 訓練加速工具 100
5.3.1 DeepSpeed 100
5.3.2 Megatron-LM 103
5.3.3 Colossal-AI 104
5.3.4 BMTrain 104
5.4 小結 107
5.5 課后習題 108
第6章 模型微調 109
6.1 監督微調 110
6.2 PEFT技術 110
6.2.1 Adapter tuning 111
6.2.2 Prefix tuning 111
6.2.3 Prompt tuning 112
6.2.4 P-tuning v1 113
6.2.5 P-tuning v2 114
6.2.6 LoRA 114
6.2.7 QLoRA 115
6.3 PEFT庫 116
6.3.1 關鍵步驟 117
6.3.2 微調方法 118
6.4 小結 124
6.5 課后習題 124
第7章 模型推理 125
7.1 模型壓縮和加速技術 125
7.1.1 模型量化 126
7.1.2 知識蒸餾 127
7.1.3 模型剪枝 130
7.1.4 稀疏激活 132
7.2 推理服務提升技術 133
7.2.1 KV Cache 134
7.2.2 PagedAttention 134
7.3 小結 136
7.4 課后習題 136
第8章 PyTorch框架 137
8.1 安裝與配置 137
8.2 基礎組件 138
8.2.1 張量 138
8.2.2 CUDA張量 142
8.2.3 Autograd 144
8.2.4 DataLoader 146
8.3 構建線性回歸模型 148
8.4 構建Transformer模型 151
8.4.1 數據準備與參數設置 151
8.4.2 位置編碼 153
8.4.3 掩碼操作 154
8.4.4 注意力計算 154
8.4.5 前饋神經網絡 155
8.4.6 編碼器與解碼器 155
8.4.7 構建Transformer 157
8.4.8 模型訓練 157
8.4.9 模型測試 158
8.5 小結 158
8.6 課后習題 159
第9章 向量數據庫 160
9.1 Milvus 160
9.1.1 安裝與配置 161
9.1.2 Milvus 1.0的基本操作 162
9.1.3 Milvus 2.0的基本操作 163
9.2 Pinecone 166
9.2.1 注冊與配置 166
9.2.2 基本操作 166
9.3 Chroma 168
9.3.1 安裝與配置 168
9.3.2 基本操作 168
9.4 小結 170
9.5 課后習題 170
第 10章 前端可視化工具 171
10.1 Gradio 171
10.1.1 Gradio安裝 172
10.1.2 常用操作 172
10.1.3 Interface使用詳解 175
10.1.4 Blocks使用詳解 176
10.2 Streamlit 178
10.2.1 安裝與配置 178
10.2.2 數據展示API 180
10.2.3 控件API 182
10.2.4 頁面布局API 184
10.2.5 狀態存儲 185
10.3 小結 185
10.4 課后習題 186
第 11章 LangChain 187
11.1 LangChain組件 187
11.1.1 Models 188
11.1.2 Prompts 188
11.1.3 Indexes 190
11.1.4 Memory 190
11.1.5 Chains 194
11.1.6 Agents 196
11.2 基礎操作 199
11.2.1 Prompts的用法 200
11.2.2 Chains的用法 201
11.2.3 Agents的用法 202
11.2.4 Memory的用法 204
11.3 進階實戰 205
11.3.1 對話式檢索問答 205
11.3.2 長短文本總結 207
11.3.3 結合向量數據庫實現問答 209
11.4 基于私域數據的問答系統 211
11.4.1 環境準備 212
11.4.2 模型測試 213
11.4.3 構建提示詞模板 213
11.4.4 生成詞向量 214
11.4.5 創建向量數據庫 216
11.4.6 構建問答系統 217
11.5 小結 219
11.6 課后習題 219
第 12章 常用開源模型的部署與微調 220
12.1 ChatGLM3模型部署與微調 220
12.1.1 環境準備 220
12.1.2 載入模型 222
12.1.3 數據準備 224
12.1.4 定義模型 228
12.1.5 模型訓練 230
12.1.6 保存模型 232
12.1.7 模型評估 232
12.2 Baichuan2模型部署與微調 233
12.2.1 環境準備 233
12.2.2 載入模型 234
12.2.3 數據準備 238
12.2.4 定義模型 241
12.2.5 模型訓練 242
12.2.6 保存模型 244
12.2.7 模型評估 245
12.3 LLaMA2模型部署與微調 247
12.3.1 模型使用申請 248
12.3.2 環境準備 248
12.3.3 載入模型 249
12.3.4 數據準備 250
12.3.5 模型訓練 251
12.3.6 保存模型 254
12.3.7 模型評估 255
12.4 小結 256
12.5 課后習題 256
參考文獻 257