第1部分虛擬制片概述
第1章虛擬制片簡介
1.1何為虛擬制片 2
1.1.1基本概念 2
1.1.2商業價值 4
1.2虛擬制片相關技術組成 7
1.2.1三維制作技術 7
1.2.2實時渲染技術 10
1.2.3虛擬攝影技術 11
1.2.4動作和面部捕捉技術 14
1.3虛擬制片特點 16
1.3.1視效實時化，所見即所得 16
1.3.2優化制片流程，增效團隊協作 18
1.3.3最大程度節約成本 20
第2章虛擬制片發展歷程
2.1電子布景概念的提出 22
2.2動態預演的出現 22
2.3IBC展覽會上虛擬演播室技術首次亮相 24
2.4動作捕捉和運動控制的使用：《泰坦尼克號》和《黑客帝國》 25
2.5表演捕捉、虛擬拍攝：《阿凡達》 28
2.6LED虛擬制片時代的到來：《曼達洛人》 30
2.6.1虛擬背景 31
2.6.2實時互動 31
2.6.3虛擬布景的細節 32
2.6.4與實體布景的融合 32
2.6.5特效和后期制作 33
第3章虛擬制片類型
3.1動態預演（可視化） 35
3.2表演捕捉 38
3.3混合綠幕式虛擬制片 39
3.3.1非實時混合 39
3.3.2實時混合 40
3.4全實時LED虛擬制片 41
第2部分虛擬制片技術入門之虛擬制片五大系統
第4章實時圖形渲染引擎系統
4.1實時渲染引擎系統介紹 44
4.1.1實時圖形渲染引擎的發展與特點 44
4.1.2實時圖形渲染引擎在虛擬制片中的運用 46
4.1.3主流實時渲染引擎介紹 47
4.1.4實時圖形渲染的工作原理 50
4.2傳統渲染引擎系統介紹 50
4.2.1傳統渲染引擎的定義和工作方式 50
4.2.2主流傳統渲染引擎介紹 51
4.3實時圖形渲染引擎聯合DCC開發流程與指標 54
4.3.1原始資產開發 54
4.3.2UE5利用外部資產搭建場景 57
4.3.3實時渲染 60
4.4實時圖形渲染引擎中的動畫系統 64
4.4.1Sequencer 64
4.4.2FBX導入并調整模型動畫 64
4.4.3FBX導入并調整攝影機動畫 66
4.5實時圖形渲染引擎中的地形編輯工具 67
4.5.1Landscape 67
4.5.2使用地形模式編輯 67
4.5.3地形編輯輔助工具 68
4.6實時圖形渲染引擎中的地形材質 68
4.6.1分層材質 68
4.6.2繪制材質 69
4.7實時圖形渲染引擎中的流體解決方案 69
4.8數字資產場景搭建案例實操 73
4.8.1新建地圖和地形 73
4.8.2基本天氣系統配置 74
4.8.3引入資產 78
4.8.4添加植被 85
4.8.5配置燈光 87
第5章LED顯示屏顯示系統
5.1LED屏幕方案 93
5.1.1直面屏（三面屏） 93
5.1.2弧形屏（異形屏） 95
5.1.3天幕屏（頂屏） 95
5.2LED顯示系統 96
5.2.1像素間距（點間距） 96
5.2.2可視角度 97
5.2.3色域覆蓋 98
5.2.4灰度等級 99
5.2.5刷新率 99
5.2.6掃描數 100
5.2.7發光陣列 100
5.3視頻信號管理器 101
5.4LED虛擬拍攝過程中面臨的挑戰 102
5.4.1摩爾紋 102
5.4.2掃描線偽影 103
5.4.3色彩管理 103
5.4.4色彩還原精準度 104
5.5工作流程指南 105
5.5.1規劃與初步框架 106
5.5.2實拍與提升技巧 110
第6章攝影機跟蹤系統
6.1攝影機坐標定位方案 112
6.1.1主動式紅外光學跟蹤定位方案 112
6.1.2被動式紅外激光跟蹤定位方案 114
6.1.3其他跟蹤方案 115
6.2使用專業攝影機系統結合LiveLink與metadata互通的解決方案 115
6.3攝影機反求 117
6.3.1Nuke反求攝影機 117
6.3.2將帶有攝影機動畫的FBX等文件導入UE 120
6.4攝影機參數數據與UE聯動 121
6.4.1校準機操作 121
6.4.2UE主控機操作 125
第7章虛實場景的匹配系統
7.1虛擬場景的測量標準（測量單位、測量方法） 129
7.1.1統一模型尺寸標準 129
7.1.2UE中Landscape尺寸管理 130
7.2虛擬場景中的透視匹配（nDisplay） 130
7.2.1攝影機鏡頭校準 132
7.2.2通過UE鏡頭文件完成鏡頭校準 134
7.2.3使用nDisplay創建LED墻 136
7.2.4使用ArUco對LED墻與攝像機進行匹配 137
7.3實景輔助搭建 140
7.4道具資產掃描 140
7.4.1利用LiDAR或攝影測量建模創建掃描虛擬場景 140
7.4.2利用在線數字資產庫創建虛擬場景 141
7.5使用機械裝置作為輔助拍攝 141
7.6實景與虛擬之間的色彩匹配 143
7.6.1使用ACES色彩空間管理色彩 143
7.6.2使用色卡與反射球檢查和匹配色彩 143
第8章燈光系統
8.1虛擬拍攝燈光概念 145
8.2虛擬拍攝常用燈光類型 146
8.2.1LED屏幕 147
8.2.2LED燈具 147
8.2.3傳統影視燈具 148
8.2.4電腦燈 149
8.3數字燈光系統介紹 149
8.3.1DMX調光控制系統 150
8.3.2網絡控制系統 150
8.3.3藍牙控制系統 150
8.4虛擬現實燈光連接流程 150
8.4.1虛擬燈光與DMX控制 150
8.4.2物理燈光與DMX控制 153
8.5虛擬現實燈光案例分析 155
第3部分虛擬制片技術進階
第9章動態場景觸發
9.1燈光預設 160
9.2可控式動態天氣 162
9.3觸發式場景動態 163
9.3.1構建場景動畫 164
9.3.2創建藍圖類 164
9.3.3使用藍圖編輯器 164
9.3.4添加鍵盤輸入事件 165
9.3.5添加場景動畫節點 165
9.3.6連接節點 165
9.3.7配置場景動畫節點 165
9.3.8設置鍵盤輸入事件 166
9.3.9觸發場景動畫 166
9.3.10測試場景動畫 166
9.4自然場景動態轉換 167
9.4.1時間轉換 167
9.4.2天氣轉換 172
9.5場景氛圍感構建 174
9.5.1后處理材質與后處理體積 174
9.5.2體積霧 175
9.5.3體積云 178
第10章虛實場景融合
10.1常用系統簡介 181
10.1.1disguise 181
10.1.2ZeroDensity 182
10.1.3Aximmetry 184
10.1.4UEComposure插件 185
10.2傳統綠幕式場景融合方案 185
10.2.1實時綠幕摳像合成 185
10.2.2非實時綠幕摳像合成 189
10.3LED拍攝方式場景融合方案 194
10.3.1硬件 195
10.3.2攝像機追蹤 197
10.3.3LiveLink 197
10.3.4攝像機校準 200
10.3.5鏡頭內視效的時間碼和同步鎖定 200
10.3.6實時合成 201
10.3.7顏色校正 202
10.3.8OpenColorIO 203
10.3.9光影匹配 204
10.3.10舞臺監視器 205
10.3.11物體場景設計 205
10.4場景擴展補充 206
第11章數字人與虛擬制片的綜合
11.1數字人創建 207
11.1.1傳統創建流程 207
11.1.2高精度點云掃描 211
11.1.3MetaHuman 212
11.1.4MetaHuman及其輔助制作工具 214
11.2數字人綁定 215
11.3動作捕捉技術 218
11.3.1光學捕捉 218
11.3.2慣性捕捉 219
11.3.3機械式動作捕捉 219
11.4視覺動作捕捉技術與數字人運動數據驅動 220
11.4.1動捕設備數據獲取 220
11.4.2虛幻引擎與動捕設備的配置 224
第12章數字資產管理與同步
12.1數字資產版本管理、同步與協同 233
12.1.1數字資產元數據管理 233
12.1.2UE中的元數據 238
12.1.3UE中利用元數據同步多元資產 240
12.2UE中數字資產與LiveLinkmetadata延伸 242
12.3UE中的虛擬資產 243
第13章虛擬制片的未來應用場景
13.1影視與廣告制作 244
13.1.1更加真實的虛擬角色 244
13.1.2更加自然的角色互動 245
13.1.3更加真實的虛擬環境渲染 245
13.2演唱會與直播 246
13.2.1創新舞臺設計，打造震撼的藝術體驗 246
13.2.2拓展舞臺空間，打造超越時空的視覺效果 247
13.2.3創作數字替身，延長藝術家的演出生命 248
13.2.4提升視效體驗，賦予網絡直播更多可能 248
13.3電子游戲 249
13.3.1提供更復雜且逼真的游戲環境 249
13.3.2提升真人影像互動游戲的制作效率 250
13.3.3打造逼真的線下游戲空間體驗 251
13.4文化教育 252
13.4.1實現難以觸及的教學內容可視化與可操作化 252
13.4.2推動個性化教學 253
13.4.3實現跨地域、異步的網絡教學 253
13.5文化旅游 254
13.5.1在虛擬現實環境中重現歷史遺跡和場景 254
13.5.2借助增強現實技術增強游覽體驗 254
13.5.3借助實時渲染技術打造沉浸式文旅空間 255
13.5.4利用LED屏技術拓展古建筑與歷史場景 255
13.6商業展示 256
13.6.1現場呈現互動體驗 256
13.6.2虛擬服務與社交 257
13.7訓練與模擬 257
13.7.1消防演習、飛行訓練和軍事模擬等危險場景的演習與應急處理訓練 258
13.7.2醫療領域中的醫學教學、醫學診斷和手術模擬等應用 258
后記