上篇 基礎與參數詳解
第 1章　多媒體基礎　2
1.1 從現實世界到數字世界　2
1.1.1 顏色和圖像　2
1.1.2 電影、電視和視頻　4
1.1.3 音頻　6
1.1.4 音視頻封裝、傳輸和 未來　10
1.2 視頻圖像像素點的數據格式　10
1.2.1 圖像的位深　10
1.2.2 FourCC　11
1.2.3 灰度模式表示　11
1.2.4 YUV色彩表示　11
1.2.5 RGB色彩表示　15
1.2.6 HSL與HSV色彩表示　18
1.3 視頻逐行和隔行掃描、NTSC與 PAL制式　19
1.3.1 逐行與隔行掃描　19
1.3.2 NTSC制式　20
1.3.3 PAL制式　21
1.4 幀率、PTS和DTS　22
1.5 圖像分辨率與寬高比　22
1.6 圖像的色彩空間　23
1.7 音頻采樣數據格式　24
1.7.1 聲道　25
1.7.2 采樣率　26
1.7.3 采樣位深　27
1.7.4 帶寬計算　28
1.8 小結　28
第 2章　FFmpeg簡介　29
2.1 FFmpeg的發展歷史　29
2.2 FFmpeg的基本組成　31
2.2.1 封裝/解封裝模塊 AVFormat　32
2.2.2 編/解碼模塊AVCodec　32
2.2.3 濾鏡模塊AVFilter　32
2.2.4 設備模塊AVDevice　33
2.2.5 圖像轉換模塊swscale　34
2.2.6 音頻轉換模塊 swresample　34
2.2.7 編解碼工具ffmpeg　34
2.2.8 播放器ffplay　35
2.2.9 多媒體分析器ffprobe　35
2.3 不同平臺下的編譯　35
2.3.1 Windows平臺編譯 FFmpeg　36
2.3.2 Linux平臺編譯 FFmpeg　37
2.3.3 macOS平臺編譯 FFmpeg　38
2.4 FFmpeg特性的選擇與定制　38
2.4.1 編碼器支持　40
2.4.2 解碼器支持　41
2.4.3 封裝支持　41
2.4.4 解封裝支持　42
2.4.5 通信協議支持　42
2.5 小結　43
第3章　FFmpeg工具使用基礎　44
3.1 ffmpeg常用命令　44
3.1.1 封裝轉換　46
3.1.2 解碼和編碼　47
3.1.3 轉碼流程　48
3.2 ffprobe常用命令　49
3.2.1 ffprobe常用參數　49
3.2.2 ffprobe使用示例　51
3.3 ffplay常用命令　58
3.3.1 ffplay常用參數　59
3.3.2 ffplay高級參數　60
3.3.3 ffplay的數據可視化分析 應用　63
3.3.4 ffplay快捷鍵　65
3.4 小結　65
第4章　封裝與解封裝　66
4.1 視頻文件轉MP4　67
4.1.1 MP4格式標準介紹　68
4.1.2 Fragment MP4與CMAF　89
4.1.3 MP4分析工具　91
4.1.4 MP4在FFmpeg中的 Demuxer　94
4.1.5 MP4在FFmpeg中的 Muxer　95
4.2 視頻文件轉FLV　99
4.2.1 FLV文件標準介紹　99
4.2.2 FLV Muxer參數說明　104
4.2.3 文件轉FLV舉例　104
4.2.4 生成帶關鍵索引的 FLV　105
4.2.5 FLV文件格式分析 工具　106
4.3 視頻文件轉MPEG-TS　107
4.3.1 MPEG-TS格式簡介　109
4.3.2 MPEG-TS Muxer參數 說明　113
4.3.3 MPEG-TS格式分析 工具　114
4.4 視頻文件轉HLS　115
4.4.1 HLS標準的M3U8 介紹　116
4.4.2 HLS Muxer參數　119
4.4.3 HLS Muxer舉例說明　119
4.5 視頻文件切片　128
4.5.1 segment切片參數　128
4.5.2 segment切片舉例　129
4.5.3 使用ss與t參數切片　132
4.6 視頻文件的音視頻流抽取　133
4.6.1 提取AAC音頻流　133
4.6.2 提取H.264視頻流　134
4.6.3 提取H.265視頻流　134
4.7 系統資源使用情況　135
4.8 小結　136
第5章　編碼與轉碼　137
5.1 軟編碼H.264　138
5.1.1 x264編碼參數簡介　139
5.1.2 H.264編碼舉例　141
5.2 硬件加速　154
5.2.1 基于OS的硬件加速方案 簡介　155
5.2.2 NVIDIA GPU硬編 解碼　163
5.2.3 Intel QSV硬編解碼　165
5.2.4 Raspberry Pi硬編解碼　170
5.2.5 macOS系統硬編解碼　171
5.2.6 其他加速方案簡介　173
5.3 輸出MP3　173
5.3.1 MP3編碼參數介紹　174
5.3.2 MP3的編碼質量設置　174
5.3.3 平均碼率編碼ABR 參數　176
5.4 輸出AAC　176
5.4.1 AAC編碼器操作　178
5.4.2 FDK-AAC　179
5.4.3 高質量AAC設置　182
5.4.4 AAC音頻質量對比　182
5.5 系統資源使用情況　182
5.6 小結　183
第6章　流媒體技術　184
6.1 錄制與發布RTMP流　185
6.1.1 RTMP參數說明　186
6.1.2 RTMP參數舉例　187
6.2 錄制與發布RTSP流　189
6.2.1 RTSP demuxer參數 介紹　190
6.2.2 RTSP demuxer參數使用 舉例　191
6.2.3 RTSP demuxer/muxer的 一些小說明　193
6.3 錄制HTTP流　194
6.3.1 HTTP參數說明　194
6.3.2 HTTP參數舉例　195
6.4 錄制與發布UDP/TCP流　197
6.4.1 TCP與UDP參數　197
6.4.2 TCP/UDP參數使用 舉例　198
6.4.3 TCP/UDP使用小結　201
6.5 多路流輸出　202
6.5.1 管道方式輸出多路流　202
6.5.2 tee封裝格式輸出　202
6.5.3 tee協議輸出多路流　203
6.6 DASH流輸出　204
6.6.1 參數介紹　205
6.6.2 參數舉例　205
6.7 HDS流輸出　206
6.7.1 參數說明　206
6.7.2 HDS使用舉例　207
6.8 小結　208
第7章　bitstream過濾器　209
7.1 aac_adtstoasc過濾器　210
7.1.1 ADTS格式　210
7.1.2 ASC格式　211
7.2 mp4toannexb過濾器　212
7.2.1 Annex B格式　213
7.2.2 AVCC格式　213
7.2.3 hevc_mp4toannexb/h264_ mp4toannexb的使用　214
7.3 h264_metadata過濾器　215
7.3.1 h264_metadata參數說明 　216
7.3.2 h264_metadata參數舉例 　216
7.3.3 其他Codec的metadata 過濾器　221
7.4 其他常用bitstream過濾器　221
7.4.1 dump_extra　221
7.4.2 trace_headers　222
7.4.3 filter_units　223
7.5 小結　225
第8章　濾鏡使用　226
8.1 濾鏡表達式使用　226
8.2 濾鏡描述格式　229
8.2.1 濾鏡基本排列方式　229
8.2.2 時間內置變量　229
8.3 視頻水印操作　229
8.3.1 文字水印示例　229
8.3.2 圖片水印示例　232
8.4 畫中畫操作　233
8.5 視頻多宮格處理　235
8.6 視頻字幕操作　237
8.6.1 ASS字幕流寫入視頻流 　237
8.6.2 ASS字幕寫入封裝容器 　238
8.7 視頻3D化處理　239
8.7.1 stereo3d處理3D視頻　239
8.7.2 3D圖像轉換示例　241
8.8 視頻截圖操作　242
8.8.1 vframes參數截取一張圖片 　242
8.8.2 fps濾鏡定時獲得圖片　242
8.9 音頻流濾鏡操作　243
8.9.1 雙聲道合并單聲道　243
8.9.2 雙聲道提取　243
8.9.3 雙聲道轉雙音頻流　244
8.9.4 單聲道轉雙聲道　244
8.9.5 兩個音頻源合并雙聲道　245
8.9.6 多個音頻合并為多聲道 　245
8.10 音頻音量探測　246
8.10.1 音頻音量獲得　246
8.10.2 繪制音頻波形　247
8.11 生成測試元數據　248
8.11.1 生成音頻測試流　248
8.11.2 生成視頻測試流　248
8.12 音視頻倍速處理　250
8.12.1 atempo音頻倍速處理　250
8.12.2 setpts視頻倍速處理　251
8.13 云剪輯常用技術　252
8.13.1 定格幀　252
8.13.2 透明視頻兼容處理　252
8.13.3 隔行交錯視頻兼容處理 　253
8.13.4 HDR視頻兼容處理　254
8.13.5 雪碧圖和WebVTT　255
8.13.6 縮略圖　256
8.13.7 復雜項目渲染　256
8.13.8 色度摳圖　257
8.13.9 蒙版摳圖　258
8.13.10 調色　259
8.13.11 透明度調整　259
8.13.12 動態縮放　260
8.13.13 畫質檢測　260
8.13.14 濾鏡動態調整　262
8.13.15 深度學習　262
8.14 小結　264
第9章　采集設備操作　265
9.1 Linux設備操作　265
9.1.1 查看設備列表　265
9.1.2 采集設備fbdev參數說明 和使用　266
9.1.3 采集設備v4l2參數說明 和使用　266
9.1.4 采集設備x11grab參數 說明和使用　268
9.2 macOS設備操作　269
9.2.1 查看設備列表　270
9.2.2 設備采集舉例　270
9.3 Windows設備采集　273
9.3.1 使用dshow采集音視頻 設備　273
9.3.2 使用vfwcap采集視頻 設備　274
9.3.3 使用gdigrab采集窗口　274
9.4 小結　276
下篇 API使用及開發
第 10章　libavformat接口的使用　279
10.1 媒體流封裝　281
10.2 媒體流解封裝　284
10.3 文件轉封裝　288
10.4 視頻截取　290
10.5 AVIO以及示例　292
10.6 AVPacket常用操作　296
10.7 小結　300
第 11章　libavcodec接口的使用　301
11.1 舊接口的使用　302
11.1.1 視頻解碼舊接口　303
11.1.2 視頻編碼舊接口　306
11.1.3 音頻解碼舊接口　308
11.1.4 音頻編碼舊接口　310
11.2 新接口的使用　311
11.2.1 視頻解碼新接口　312
11.2.2 視頻編碼新接口　315
11.2.3 音頻解碼新接口　318
11.2.4 音頻編碼新接口　320
11.3 硬件加速的編解碼　322
11.3.1 硬件加速解碼　323
11.3.2 硬件加速編碼　327
11.4 AVFrame操作　329
11.5 內存操作　335
11.6 小結　337
第 12章　libavfilter接口的使用　338
12.1 Filter和FilterGraph簡述　338
12.2 FFmpeg中內置的濾鏡　340
12.2.1 音頻濾鏡　340
12.2.2 視頻濾鏡　345
12.3 libavfilter的API使用　354
12.4 使用濾鏡給視頻加Logo　356
12.5 小結　360
第 13章　FFmpeg輔助庫的使用　361
13.1 libavutil的dict與opt操作　361
13.2 libswscale的sws_scale圖像 轉換　368
13.2.1 圖像轉換流程　368
13.2.2 代碼實例　370
13.3 libswresample執行聲音轉換　374
13.3.1 聲音轉換流程　374
13.3.2 代碼實例　376
13.4 小結　379
第 14章　音視頻播放器開發實例　380
14.1 播放器開發概述　380
14.2 SDL核心功能API介紹　381
14.2.1 初始化SDL庫　381
14.2.2 圖像渲染　381
14.3 SDL音頻播放　387
14.3.1 SDL事件循環　389
14.3.2 SDL定時器　391
14.4 播放器解碼和展示　392
14.4.1 FFmpegPlayerCtx　393
14.4.2 播放器設計　395
14.4.3 事件循環線程　399
14.4.4 demux線程　400
14.4.5 視頻解碼線程　408
14.4.6 音視頻同步　412
14.4.7 音視頻擴展　417
14.5 小結　417
第 15章　FFmpeg在RTC中的實例解析　418
15.1 RTC的特點　418
15.1.1 什么是RTC　418
15.1.2 RTC媒體傳輸　419
15.2 FFmpeg在Chromium中的應用　421
15.2.1 FFmpeg在Chromium WebRTC中的應用　422
15.2.2 FFmpeg在Chromium中的其他應用　428
15.3 FFmpeg在FreeSWITCH中的應用　433
15.3.1 FreeSWITCH簡介　433
15.3.2 FreeSWITCH的FFmpeg 模塊開發環境準備　434
15.3.3 FFmpeg初始化和加載 　436
15.3.4 avcodec實例　436
15.3.5 avformat實例　447
15.3.6 其他　468
15.4 FFmpeg在BareSIP中的應用 　469
15.4.1 AVCodec　469
15.4.2 AVFormat　480
15.4.3 AVFilter　489
15.5 小結　494
第 16章　定制FFmpeg模塊　495
16.1 添加AVFormat模塊　496
16.1.1 book文件格式　496
16.1.2 添加文件　497
16.1.3 添加文件封裝格式　497
16.1.4 添加文件解封裝格式　502
16.2 添加AVCodec模塊　505
16.2.1 book編解碼算法定義　505
16.2.2 實現book編碼　505
16.2.3 實現book解碼　507
16.2.4 將編解碼器注冊到FFmpeg 并加入編譯工程　508
16.2.5 運行測試　509
16.3 添加AVFilter模塊　509
16.3.1 添加基礎濾鏡　509
16.3.2 支持多線程圖像處理 　512
16.3.3 支持圖像動態化的表達式　513
16.3.4 支持process_command　515
16.4 添加Protocol模塊　516
16.4.1 添加新協議的消息結構　516
16.4.2 回調函數　517
16.4.3 編譯　518
16.4.4 測試　519
16.5 小結　519
第 17章　FFmpeg調試與測試　520
17.1 自身的調試選項　520
17.1.1 debug選項　520
17.1.2 DTS/PTS問題的排查　521
17.2 loglevel與report 　522
17.2.1 使用loglevel　522
17.2.2 使用report　523
17.3 在調用庫時的調試　523
17.3.1 基于日志　524
17.3.2 基于帶調試信息庫　524
17.4 給社區匯報Bug及提交補丁　525
17.4.1 代碼風格　525
17.4.2 給FFmpeg貢獻代碼　528
17.5 小結　530