第1章 GPU內核與硬體介紹1
1.1?背景1
1.2?第一個CUDA示例2
1.3?CPU架構9
1.4?CPU的計算能力10
1.5?CPU記憶體管理：利用緩存隱藏延遲11
1.6?CPU：並行指令集13
1.7?GPU架構13
1.7.1?回顧歷史 13
1.7.2 NVIDIA的GPU型號 14
1.8?Pascal架構14
1.9?GPU記憶體類型16
1.10?warp和wave17
1.11?執行緒塊與網格18
1.12 佔用率19
第1章章節附註20
第2章 並行思維與程式設計21
2.1?Flynn分類法21
2.2 內核函式呼叫語法28
2.3 啟動三維內核函數29
2.4 延遲隱藏和佔用率35
2.5 並行模式36
2.6 並行歸約37
2.7 共用記憶體48
2.8 矩陣乘法51
2.9 分塊矩陣乘法58
2.10 BLAS62
第2章章節附註66
第3章 warp和協作組68
3.1 協作組中的CUDA物件71
3.2 分塊分區75
3.3 向量載入81
3.4 warp級內建函式和子warp84
3.5 執行緒分歧和同步85
3.6 避免鎖死87
3.7 協同組91
3.8 HPC特性97
第3章章節附註98
第4章 並行範本100
4.1 二維範本100
4.2 二維範本的級聯計算112
4.3 三維範本116
4.4 數字影像處理119
4.5 Sobel濾波器127
4.6 中值濾波器127
第4章章節附註132
第5章 紋理133
5.1 圖像插值134
5.2 GPU紋理135
5.3 圖像旋轉137
5.4 lerp函數138
5.5 紋理硬體141
5.6 彩色圖像146
5.7 圖像查看148
5.8 立體圖像的仿射變換151
5.9 三維圖像配准156
5.10 圖像配准結果164
第5章章節附註166
第6章 蒙特卡羅應用167
6.1 簡介167
6.2 cuRAND庫173
6.2.1 cuRAND的主機API 173
6.2.2 cuRAND的設備API 178
6.3 生成其他分佈184
6.4 伊辛模型186
第6章章節附註194
第7章 使用CUDA流和事件的
併發196
7.1 併發內核函數執行196
7.2 CUDA管道示例198
7.3 thrust與cudaDeviceReset202
7.4 管道示例的結果203
7.5 CUDA事件205
7.6 磁片的開銷212
7.7 CUDA圖219
第7章章節附註224
第8章 PET掃描器的應用225
8.1 PET簡介225
8.2 資料存儲和掃描器的幾何結構
的定義227
8.3 模擬PET掃描器233
8.4 建立系統矩陣244
8.5 PET重建246
8.6 結果250
8.7 OSEM的實現252
8.8 交互作用的深度254
8.9 使用交互作用的深度的PET
結果257
8.10 塊探測器258
8.11 Richardson-Lucy圖像去模糊268
第8章章節附註273
第9章 擴展276
9.1 GPU的選型278
9.2 CUDA統一虛擬定址281
9.3 CUDA的P2P訪問282
9.4 CUDA零拷貝記憶體284
9.5 統一記憶體285
9.6 MPI的簡要介紹295
第9章章節附註305
第10章 性能分析和調試工具306
10.1 gpulog示例306
10.2 使用nvprof進行分析311
10.3 用NVIDIA Visual Profiler進行
分析314
10.4 Nsight Systems316
10.5 Nsight Compute319
10.6 Nsight Compute部分320
10.6.1 GPU光速 320
10.6.2 計算工作負載分析 321
10.6.3 記憶體工作負載分析 322
10.6.4 調度器統計資訊 323
10.6.5 warp狀態統計 323
10.6.6 指令統計資訊 324
10.6.7 啟動統計資訊 324
10.6.8 佔用率 326
10.6.9 源計數器 327
10.7 使用printf進行調試328
10.8 通過Microsoft Visual Studio
進行調試330
10.9 調試內核函數代碼332
10.10 記憶體檢查334
10.10.1 cuda-memcheck 334
10.10.2 Linux工具 336
10.10.3 CUDA計算篩檢程式 336
第10章章節附註337
第11章 張量核心338
11.1 張量核心與FP16338
11.2 warp矩陣函數340
11.3 支援的資料類型345
11.4 張量核心的歸約演算法346
11.5 結論351
第11章章節附註351
附錄352
附錄A CUDA簡史 352
附錄B 原子操作 361
附錄C NVCC編譯器 366
附錄D AVX與Intel編譯器 372
附錄E 數位格式 380
附錄F CUDA文檔和庫 384
附錄G CX標頭檔 387
附錄H AI和Python 410
附錄I C++的主題 413