第一部分圖像生成
第1章攝像機的幾何模型
1.1圖像成像
1.1.1針孔透視
1.1.2弱透視
1.1.3帶鏡頭的照相機
1.1.4人的眼睛
1.2內參數和外參數
1.2.1剛體變換和齊次坐標
1.2.2內參數
1.2.3外參數
1.2.4透視投影矩陣
1.2.5弱透視投影矩陣
1.3照相機的幾何標定
1.3.1使用線性方法對照相機進行標定
1.3.2使用非線性方法對照相機進行標定
1.4注釋
習題
編程練習
第2章光照及陰影
2.1像素的亮度
2.1.1表面反射
2.1.2光源及其產生的效果
2.1.3朗伯+鏡面反射模型
2.1.4面光源
2.2陰影的估算
2.2.1輻射校準和高動態范圍圖像
2.2.2鏡面反射模型
2.2.3對亮度和照度的推理
2.2.4光度立體技術:從多幅陰影圖像恢復形狀
2.3對互反射進行建模
2.3.1源于區域光在一個塊上的照度
2.3.2熱輻射和存在性
2.3.3互反射模型
2.3.4互反射的定性性質
2.4一個陰影圖像的形狀
2.5注釋
習題
編程練習
第3章顏色
3.1人類顏色感知
3.1.1顏色匹配
3.1.2顏色感受體
3.2顏色物理學
3.2.1顏色的來源
3.2.2表面顏色
3.3顏色表示
3.3.1線性顏色空間
3.3.2非線性顏色空間
3.4圖像顏色的模型
3.4.1漫反射項
3.4.2鏡面反射項
3.5基于顏色的推論
3.5.1用顏色發現鏡面反射
3.5.2用顏色去除陰影
3.5.3顏色恒常性:從圖像顏色獲得表面顏色
3.6注釋
習題
編程練習
第二部分早期視覺:使用一幅圖像
第4章線性濾波
4.1線性濾波與卷積
4.1.1卷積
4.2移不變線性系統
4.2.1離散卷積
4.2.2連續卷積
4.2.3離散卷積的邊緣效應
4.3空間頻率和傅里葉變換
4.3.1傅里葉變換
4.4采樣和混疊
4.4.1采樣
4.4.2混疊
4.4.3平滑和重采樣
4.5濾波器與模板
4.5.1卷積與點積
4.5.2基的改變
4.6技術:歸一化相關和檢測模式
4.6.1通過歸一化相關檢測手勢的方法來控制電視機
4.7技術:尺度和圖像金字塔
4.7.1高斯金字塔
4.7.2多尺度表示的應用
4.8注釋
習題
編程練習
第5章局部圖像特征
5.1計算圖像梯度
5.1.1差分高斯濾波
5.2對圖像梯度的表征
5.2.1基于梯度的邊緣檢測子
5.2.2方向
5.3查找角點和建立近鄰
5.3.1查找角點
5.3.2采用尺度和方向構建近鄰
5.4通過SIFT特征和HOG特征描述近鄰
5.4.1SIFT特征
5.4.2HOG特征
5.5實際計算局部特征
5.6注釋
習題
編程練習
第6章紋理
6.1利用濾波器進行局部紋理表征
6.1.1斑點和條紋
6.1.2從濾波器輸出到紋理表征
6.1.3實際局部紋理表征
6.2通過紋理基元的池化紋理表征
6.2.1向量量化和紋理基元
6.2.2k均值聚類的向量量化
6.3紋理合成和對圖像中的空洞進行填充
6.3.1通過局部模型采樣進行合成
6.3.2填充圖像中的空洞
6.4圖像去噪
6.4.1非局部均值
6.4.2三維塊匹配(BM3D)
6.4.3稀疏編碼學習
6.4.4結果
6.5由紋理恢復形狀
6.5.1在平面內由紋理恢復形狀
6.5.2從彎曲表面的紋理恢復形狀
6.6注釋
習題
編程練習
第三部分低層視覺:使用多幅圖像
第7章立體視覺
7.1雙目攝像機的幾何屬性和對極約束
7.1.1對極幾何
7.1.2本征矩陣
7.1.3基礎矩陣
7.2雙目重構
7.2.1圖像矯正
7.3人類立體視覺
7.4雙目融合的局部算法
7.4.1相關
7.4.2多尺度的邊緣匹配
7.5雙目融合的全局算法
7.5.1排序約束和動態規劃
7.5.2平滑約束和基于圖的組合優化
7.6使用多臺攝像機
7.7應用:機器人導航
7.8注釋
習題
編程練習
第8章從運動中恢復三維結構
8.1內部標定的透視攝像機
8.1.1問題的自然歧義性
8.1.2從兩幅圖像估計歐氏結構和運動
8.1.3從多幅圖像估計歐氏結構和運動
8.2非標定的弱透視攝像機
8.2.1問題的自然歧義性
8.2.2從兩幅圖像恢復仿射結構和運動
8.2.3從多幅圖像恢復仿射結構和運動
8.2.4從仿射到歐氏圖像
8.3非標定的透視攝像機
8.3.1問題的自然歧義性
8.3.2從兩幅圖像恢復投影結構和運動
8.3.3從多幅圖像恢復投影結構和運動
8.3.4從投影到歐氏圖像
8.4注釋
習題
編程練習
第四部分中層視覺方法
第9章基于聚類的分割方法
9.1人類視覺:分組和格式塔原理
9.2重要應用
9.2.1背景差分
9.2.2鏡頭的邊界檢測
9.2.3交互分割
9.2.4形成圖像區域
9.3基于像素點聚類的圖像分割
9.3.1基本的聚類方法
9.3.2分水嶺算法
9.3.3使用k均值算法進行分割
9.3.4均值漂移:查找數據中的局部模型
9.3.5采用均值漂移進行聚類和分割
9.4分割、聚類和圖論
9.4.1圖論術語和相關事實
9.4.2根據圖論進行凝聚式聚類
9.4.3根據圖論進行分解式聚類
9.4.4歸一化切割
9.5圖像分割在實際中的應用
9.5.1對分割器的評估
9.6注釋
習題
編程練習
第10章分組與模型擬合
10.1霍夫變換
10.1.1用霍夫變換擬合直線
10.1.2霍夫變換的使用
10.2擬合直線與平面
10.2.1擬合單一直線
10.2.2擬合平面
10.2.3擬合多條直線
10.3擬合曲線
10.4魯棒性
10.4.1M估計法
10.4.2RANSAC:搜尋正常點
10.5用概率模型進行擬合
10.5.1數據缺失問題
10.5.2混合模型和隱含變量
10.5.3混合模型的EM算法
10.5.4EM算法的難點
10.6基于參數估計的運動分割
10.6.1光流和運動
10.6.2光流模型
10.6.3用分層法分割運動
10.7模型選擇:哪個最好
10.7.1利用交叉驗證選擇模型
10.8注釋
習題
編程練習
第11章跟蹤
11.1簡單跟蹤策略
11.1.1基于檢測的跟蹤
11.1.2基于匹配的平移跟蹤
11.1.3使用仿射變換來確定匹配
11.2匹配跟蹤
11.2.1匹配摘要表征
11.2.2流跟蹤
11.3基于卡爾曼濾波器的線性動態模型跟蹤
11.3.1線性測量值和線性動態模型
11.3.2卡爾曼濾波
11.3.3前向后向平滑
11.4數據相關
11.4.1卡爾曼濾波檢測方法
11.4.2數據相關的關鍵方法
11.5粒子濾波
11.5.1概率分布的采樣表示
11.5.2最簡單的粒子濾波器
11.5.3跟蹤算法
11.5.4可行的粒子濾波器
11.5.5創建粒子濾波器中的粒子問題
11.6注釋
習題
編程練習
第五部分高層視覺
第12章配準
12.1剛性物體配準
12.1.1迭代最近點
12.1.2通過關聯搜索轉換關系
12.1.3應用:建立圖像拼接
12.2基于模型的視覺:使用投影配準剛性物體
12.2.1驗證:比較轉換與渲染后的原圖與目標圖
12.3配準可形變目標
12.3.1使用主動外觀模型對紋理進行變形
12.3.2實踐中的主動外觀模型
12.3.3應用:醫療成像系統中的配準
12.4注釋
習題
編程練習
第13章平滑的表面及其輪廓
13.1微分幾何的元素
13.1.1曲線
13.1.2表面
13.2表面輪廓幾何學
13.2.1遮擋輪廓和圖形輪廓
13.2.2圖像輪廓的歧點和拐點
13.2.3Koenderink定理
13.3視覺事件:微分幾何的補充
13.3.1高斯映射的幾何關系
13.3.2漸近曲線
13.3.3漸近球面映射
13.3.4局部視覺事件
13.3.5雙切射線流形
13.3.6多重局部視覺事件
13.3.7外觀圖
13.4注釋
習題
第14章深度數據
14.1主動深度傳感器
14.2深度數據的分割
14.2.1分析微分幾何學的基本元素
14.2.2在深度圖像中尋找階躍和頂邊
14.2.3把深度圖像分割為平面區域
14.3深度圖像的配準和模型獲取
14.3.1四元組
14.3.2使用最近點迭代方法配準深度圖像
14.3.3多幅深度圖像的融合
14.4物體識別
14.4.1使用解釋樹匹配分段平面表示的表面
14.4.2使用自旋圖像匹配自由形態的曲面
14.5Kinect
14.5.1特征
14.5.2技術:決策樹和隨機森林
14.5.3標記像素
14.5.4計算關節位置
14.6注釋
習題
編程練習
第15章用于分類的學習
15.1分類、誤差和損失函數
15.1.1基于損失的決策
15.1.2訓練誤差、測試誤差和過擬合
15.1.3正則化
15.1.4錯誤率和交叉驗證
15.1.5受試者工作特征曲線(ROC)
15.2主要的分類策略
15.2.1示例:采用歸一化類條件密度的馬氏距離
15.2.2示例:類條件直方圖和樸素貝葉斯
15.2.3示例:采用最近鄰的非參分類器
15.2.4示例:線性支持向量機
15.2.5示例:核機器
15.2.6示例:級聯和Adaboost
15.3構建分類器的實用方法
15.3.1手動調整訓練數據并提升性能
15.3.2通過二類分類器構建多類分類器
15.3.3求解SVM和核機器的方案
15.4注釋
習題
第16章圖像分類
16.1構建好的圖像特征
16.1.1示例應用
16.1.2采用GIST特征進行編碼布局
16.1.3采用視覺單詞總結圖像
16.1.4空間金字塔
16.1.5采用主分量進行降維
16.1.6采用典型變量分析進行降維
16.1.7示例應用:檢測不雅圖片
16.1.8示例應用:材料分類
16.1.9示例應用:場景分類
16.2分類單一物體的圖像
16.2.1圖像分類策略
16.2.2圖像分類的評估系統
16.2.3固定類數據集
16.2.4大量類的數據集
16.2.5花、樹葉和鳥:某些特定的數據集
16.3在實踐中進行圖像分類
16.3.1關于圖像特征的代碼
16.3.2圖像分類數據庫
16.3.3數據庫偏差
16.3.4采用眾包平臺進行數據庫收集
16.4注釋
編程練習
第17章檢測圖像中的物體
17.1滑動窗口法
17.1.1人臉檢測
17.1.2行人檢測
17.1.3邊界檢測
17.2檢測形變物體
17.3物體檢測算法的發展現狀
17.3.1數據庫和資源
17.4注釋
編程練習
第18章物體識別
18.1物體識別應該做什么
18.1.1物體識別系統應該做什么
18.1.2目前物體識別的策略
18.1.3什么是類別
18.1.4選擇:應該怎么描述
18.2特征問題
18.2.1提升當前圖像特征
18.2.2其他類型的圖像特征
18.3幾何問題
18.4語義問題
18.4.1屬性和不熟悉
18.4.2部分、姿態部件和一致性
18.4.3塊的意義:部分、姿態部件、物體、短語和場景
第六部分應用與其他主題
第19章基于圖像的建模與渲染
19.1可視外殼
19.1.1可視外殼模型的主要元素
19.1.2跟蹤相交曲線
19.1.3分割相交曲線
19.1.4錐帶三角化
19.1.5結果
19.1.6更進一步:雕刻可視外殼
19.2基于貼片的多視立體視覺
19.2.1PMVS模型的主要元素
19.2.2初始特征匹配
19.2.3擴張
19.2.4過濾
19.2.5結果
19.3光場
19.4注釋
習題
編程練習
第20章對人的觀察
20.1隱馬爾可夫模型、動態規劃和基于樹形結構的模型
20.1.1隱馬爾可夫模型
20.1.2關于HMM的推理
20.1.3通過EM擬合HMM
20.1.4樹形結構的能量模型
20.2對圖像中的人進行解析
20.2.1圖形結構模型的解析
20.2.2估計衣服的表面
20.3人的跟蹤
20.3.1為什么人的跟蹤如此困難
20.3.2通過表面進行運動跟蹤
20.3.3采用模板進行運動人體跟蹤
20.4從二維到三維:提升
20.4.1在正視圖進行重構
20.4.2利用外貌進行精確重構
20.4.3利用運動進行精確重構
20.5行為識別
20.5.1背景:人類運動數據
20.5.2人體結構和行為識別
20.5.3采用外貌特征識別人類行為
20.5.4采用組合的模型識別人類行為
20.6資源
20.7注釋
第21章圖像搜索與檢索
21.1應用背景
21.1.1應用
21.1.2用戶需求
21.1.3圖像查詢的類別
21.1.4什么樣的用戶使用圖像采集
21.2源自信息檢索的基本技術
21.2.1單詞統計
21.2.2單詞統計的平滑
21.2.3最近鄰估計和哈希
21.2.4文本排序
21.3圖像文件
21.3.1沒有量化的匹配
21.3.2根據查詢結果對圖像進行排序
21.3.3瀏覽與布局
21.3.4圖像瀏覽布局
21.4對注釋的圖片預測
21.4.1源于鄰近文字的注釋
21.4.2源于整幅圖的注釋
21.4.3采用分類器預測關聯的單詞
21.4.4人名與人臉
21.4.5通過分割生成標簽
21.5目前最先進的單詞預測器
21.5.1資源
21.5.2方法比較
21.5.3開放問題
21.6注釋
第七部分背景材料
第22章優化技術
22.1線性最小二乘法
22.1.1正則方程和偽逆
22.1.2齊次方程組和特征值問題
22.1.3廣義特征值問題
22.1.4示例:擬合平面上的一條直線
22.1.5奇異值分解
22.2非線性最小二乘法
22.2.1牛頓方法:平方非線性方程組
22.2.2牛頓方法:過約束的非線性方程組
22.2.3高斯牛頓法和Levenberg-Marquardt法
22.3稀疏編碼和字典學習
22.3.1稀疏編碼
22.3.2字典學習
22.3.3監督字典學習
22.4最小切/最大流問題和組合優化
22.4.1最小切問題
22.4.2二次偽布爾函數
22.4.3泛化為整型變量
22.5注釋