本書圍繞計算機視覺在農業、醫學、工業等領域的案例，深入淺出地講解計算機視覺核心的模型與關鍵技術。本書中所有案例的代碼均能在達內時代科技集團自主研發的 AIX-EBoard 人工智能實驗平臺上部署與實施，實現了教學場景化、學習趣味化。本書分為三個部分，循序漸進地介紹計算機視覺相關技術的理論基礎和各案例的實踐步驟。第 1 部分基于 OpenCV 介紹傳統視覺應用的基礎算法，同時實現輪廓提取、全景圖像拼接等案例的實踐；在傳統視覺應用的基礎上，第 2 部分講解基于機器學習和深度學習的視覺應用，結合不同行業的案例對圖像進行分析處理，如水果識別、病蟲害識別、相似圖像搜索、眼底血管圖像分割等。第 3 部分聚焦市場關注度較高的一些新興視覺應用的原理及實現，如從二維圖像到三維空間的重建、計算機視覺在移動設備中的應用、實時圖像和視頻的風格遷移等。本書適合人工智能相關專業的本科生、專科生及計算機初學者閱讀，既可以作為應用型本科院校和高等職業院校人工智能專業的教材，也可以作為相關領域從業者的學習和參考用書。本書可以幫助有一定基礎的讀者查漏補缺，深入理解和掌握相關原理與方法，提高解決實際問題的能力。

序 一
與計算機視覺的結緣，源于我中學時期觀看的由史蒂文·斯皮爾伯格執導的電影《人工智能》。該電影講述了一個被賦予情感的小機器人渴望母愛、找尋自我、探索人性的故事。在那個還無法深刻理解“無論科技如何發達，愛才是宇宙之中的終極答案”的年齡，電影更吸引我的是：小機器人看到的世界是怎樣的？看到了這些事物又是如何思考的？如何能夠區分不同的物體，以及它們的形狀、大小、是否在移動？
中學時期的好奇心驅使我從事了人工智能領域相關的工作，并在計算機視覺中找到了上述問題的答案。作為人工智能的一個分支，計算機視覺使計算機和系統能夠從數字圖像、視頻與其他視覺輸入中獲取有意義的信息，并根據這些信息采取行動或提出建議。如果說人工智能使計算機能夠思考，那么計算機視覺使計算機能夠看到、觀察和理解。得益于近年來深度學習、神經網絡和計算機硬件相關技術的創新，計算機視覺在眾多領域飛躍發展，在商業、農業、娛樂、交通、醫療保健等行業中扮演著重要的角色。例如，自動駕駛汽車通過攝像頭和其他傳感器的視覺輸入，利用計算機視覺技術識別其他汽車、交通標志、道路標記、行人、自行車及在道路上可能遇到的所有其他視覺信息，理解這些信息并做出正確的反應或提示；在醫療行業中，Microsoft 的 InnerEye 可以幫助外科醫生從腫瘤的 3D 圖像中準確地識別腫瘤的位置和輪廓，并在不傷害重要器官的前提下，直接針對腫瘤進行放射性治療。
隨著計算機視覺技術的高速發展，相關應用市場規模迎來了爆發式的增長，2022 年全球計算機視覺和硬件市場規模預計將達到 486 億美元，未來 3～5 年內中國計算機視覺人才缺口每年都在 10 萬人以上，并且有逐年遞增的趨勢。因此，眾多科研工作者和互聯網企業都在該領域進行了布局、深耕，市面上也出現了一系列相關書籍，它們大多從原理出發，追本溯源地講解計算機視覺的相關技術。雖然這些書籍清晰地闡述了計算機視覺的基礎理論和底層邏輯，但大多包含大量的數學公式推導和模型算法解析，忽略了實戰案例、實驗操作的呈現，而強大的實戰技能恰恰是眾多互聯網公司和數字化轉型中的實體企業對計算機視覺工程師的基本要求。
在這樣的大背景下，《計算機視覺應用與實戰》應運而生！本書基于計算機視覺和機器學習軟件庫 OpenCV，以及達內時代科技集團自主研發的 AIX-EBoard 人工智能實驗平臺，結合農業、醫學、工業等領域的 20 多個案例，深入淺出地講解不同計算機視覺相關模型和算法的基本原理，并針對案例詳細地描述了實現方法。書中的每個案例均可作為獨立的章節呈現，讀者可以根據實際需求，依照提供的實驗方法和代碼，針對感興趣的章節反復學習、實踐和拓展。作為“人工智能應用與實戰系列”教材的第一本書，本書由達內時代科技集團人工智能研究院諸多專家學者和工程師共同編寫，基于公司在 IT 職業培訓領域近 20 年的深厚積累，以及服務累計超 20萬家企業、1200 所高校及 100 萬名學生的豐富經驗，旨在幫助讀者快速成為符合企業實際需求的計算機視覺工程師和實戰型人才，為中國人工智能產業的騰飛貢獻一分力量！

鄭 政
達內時代科技集團技術研發副總裁、人工智能研究院院長
2022 年 1 月于北京


序 二
隨著數據的增加、算法的突破及算力的提升，人工智能迎來了蓬勃的發展，并且正逐漸深刻地影響經濟和社會生活的方方面面。在此背景下，教育部學校規劃建設發展中心與達內時代科技集團合作，啟動了“人工智能+智慧學習”共建人工智能學院項目，在人工智能人才培養、高校專業共建、師資培訓等各方面進行積極布局和投入，為進入未來智能時代、助力普惠人工智能做好準備，做出貢獻。
計算機視覺作為人工智能最熱門的研究領域之一，受到了廣泛的關注。近年來，在產業政策助推、應用需求驅動、行業熱度提升等因素的影響下，計算機視覺邁入了發展的“黃金期”，并且廣泛應用于自動駕駛、醫學診斷、保險索賠、手機攝像等領域。另外，在國內外市場上，實戰型計算機視覺工程師也呈現出供不應求的趨勢。
如果說計算機視覺的理論基礎是武功的心法口訣和招式，那么案例就是與高手的實戰過招，這是提升和檢驗解決實際問題能力的最佳方式。與傳統的計算機視覺類書籍相比，本書更注重實踐能力的培養，遵循計算機視覺工程項目的處理邏輯，將復雜的理論知識案例化，并提供了詳細的代碼解析，使讀者從工程角度出發解決問題，通過場景化的實踐來輔助理解理論知識，從而真正做到了理實結合、案例驅動。令人驚喜的是，本書中所有案例的代碼都可以在達內時代科技集團自主研發的 AIX-EBoard 人工智能實驗平臺上部署與實施，讀者可以從算法設計、模型訓練到工程部署與實施的全流程中學習知識和技術。與此同時，讀者在實戰過程中，可以更關注自己所在行業的應用場景。這對于不同行業（農業、交通、醫學等）的計算機視覺愛好者，具有非常大的吸引力，可以幫助他們快速進行計算機視覺應用的開發。
很高興看到達內時代科技集團人工智能研究院與電子工業出版社合作出版這樣一本書，幫助人工智能專業的專科生、本科生，以及從事計算機視覺開發的工程師開發出理想的計算機視覺應用。很期待這本書能夠幫助各位讀者探索計算機視覺在不同行業的應用。衷心祝愿各位讀者在計算機視覺領域取得成功！
黃 浩
武漢大學計算機學院研究員、博士生導師
樂筑 App 聯合創始人、CTO
2022 年 2 月于武漢


前 言
人類通過一對生物相機——眼睛，觀察、感知、情境化和理解我們周圍的環境。雖然眼睛無法記錄、存儲和分析視覺數據，但它們可以幫助我們看到物體，在不同的環境中定位自己，并真正享受周圍美麗的環境。生物視覺的魅力令人著迷，試想一下，如果汽車、無人機、機器人、衛星也擁有這樣一雙眼睛，在相機、算法和數據的幫助下實現各種功能，那么我們的生活和工作將變得更加輕松與便利。然而，視覺世界固有的復雜性使機器擁有“眼睛”極具挑戰性，一個真正的視覺系統必須能夠在任何方向、任何光照條件下、任何類型的其他對象遮擋等復雜環境下“看到”給定對象，并提取有意義的信息。自 20 世紀 60 年代以來，這個問題受到了無數優秀的學者和科研人員的關注，最終發展為計算機科學人工智能領域的一個重要分支——計算機視覺。
計算機視覺是一個跨學科領域，使機器能夠從視頻、數字圖像和其他形式的視覺輸入中獲取豐富的信息。人工智能幫助計算機思考，而計算機視覺幫助計算機感知和理解環境。近年來，隨著算力（以 GPU、云計算為代表）的快速提升，以及以深度神經網絡為代表的深度學習技術的突破性發展，計算機視覺已在各行業得到了廣泛應用。
? 交通：自動駕駛、障礙物感知、路口監控、事故定責等。
? 零售和制造：物品質量或數量監控、條碼分析、庫存管理、客戶行為跟蹤等。
? 國防和安全：地雷探測、面部探測、武器缺陷探測、無人駕駛軍用車輛等。
? 農業：受損作物檢測、自動農藥噴灑、牲畜數量檢測、作物分級和分揀等。
? 醫療：疾病發現、精準診斷、CAT/MRI 重建、失血量測量、精準醫學影像等。
? 保險：資產分析、損壞分析、損失金額估算、自動化索賠等。
? 時尚：基于圖像的服裝分析、時尚趨勢預測、品牌識別等。
? 媒體：假新聞識別、品牌曝光監控、影視虛擬回放、廣告投放分析等。
? 智能手機：全景構建、面部檢測、表情檢測、圖像搜索等。
隨著計算機視覺在眾多行業的快速發展與應用，國內外對于計算機視覺應用型人才的缺口也逐年增大。究其原因，一方面，源于近幾年各行業對計算機視覺領域人才的需求快速增加；另一方面，通過對國內諸多計算機專業學生、互聯網工程師的走訪調研發現，雖然大家對計算機視覺具有濃厚的興趣，但普遍認為它的入門門檻較高，需要掌握人工智能相關的多種模型算法才能初窺門徑，最后在復雜的數學公式推導面前望而卻步。市面上大多數計算機視覺方面的書籍也都更注重理論基礎的講解，案例方面的書籍相對較少。無可厚非，理論基礎決定上層建筑，但案例實戰是應用型人才應該具備的素質，也是幫助讀者更好地理解理論知識的最佳方式。為此，達內時代科技集團將以往的與計算機視覺相關的項目經驗、產品應用和技術知識整理成冊，通過本書來總結和分享計算機視覺領域的實踐成果。我們衷心希望本書能在讀者心中種下一顆實踐的種子，用計算機視覺重塑未來！
本書內容
本書圍繞計算機視覺在農業、醫學、工業等領域的案例（植物病蟲害檢測、眼底血管圖像分割、口罩佩戴檢測等）進行講解，理論結合實際，采用大量插圖，輔以實例，力求深入淺出，幫助讀者快速理解計算機視覺若干模型和算法的基本原理與關鍵技術。本書既適合高職院校和本科院校的學生學習使用，也適合不同行業的計算機視覺愛好者閱讀。在內容編排上，本書的每章都具備獨立性，能夠獨立地解決一類實際問題，讀者可以根據自身情況進行選擇性閱讀；同時各章之間循序漸進地形成有機整體，使全書內容不失系統性與完整性。本書包含以下章節。
? 第 1 部分（第 1～7 章）：基于 OpenCV 的傳統視覺應用。該部分介紹傳統視覺應用的基礎算法，如二值化算法、Canny 邊緣檢測算法、BRIEF 算法、ORB 算法等，以及輪廓查找、全景圖像拼接、雙目測距等案例的應用。
? 第 2 部分（第 8～21 章）：基于機器學習和深度學習的視覺應用。首先通過手寫數字識別、基于 HOG+SVM 的行人檢測等案例介紹傳統視覺與機器學習結合的算法，包含SVM 模型的原理、圖像處理的原理、HOG 算法、滑動窗口實現流程等；然后重點講述基于深度學習算法的計算機視覺技術，包括卷積神經網絡、目標檢測、語義分割、GAN模型、視頻內容分析等，圍繞水果識別、病蟲害檢測、相似圖像搜索、人臉口罩佩戴檢測、圖像自動著色、眼底血管圖像分割等視覺領域中的常見案例，強化上述模型的應用實踐。
? 第 3 部分（第 22～25 章）：基于深度學習的新興視覺應用。該部分介紹市場關注度較高的幾個新興視覺應用的相關原理及實現方法：第一，使用 3D-R2N2 算法進行三維空間重建；第二，通過 MobileNet-SSD 模型集成 L1 視頻穩定算法實現視頻穩定；第三，使用YOLOv3-Tiny 模型結合 DeepSORT 模型實現車輛檢測、跟蹤和計數；第四，基于深度神經網絡的實時圖像和視頻的風格遷移。
書中理論知識與實踐的重點和難點部分均采用微視頻的方式進行講解，讀者可以通過掃描每章中的二維碼觀看視頻、查看作業與練習的答案。為了幫助讀者提高實戰技能，本書提供的所有案例代碼均能在達內時代科技集團自主研發的 AIX-EBoard 人工智能實驗平臺上部署與實施。該實驗平臺具有操作方便、適于教學的特點，建議各院校和培訓機構在組織學生進行人工智能編程學習時采用。如果是個人讀者閱讀本書，也可以在普通計算機上部署與實施案例的代碼，不受影響。
另外，更多的視頻等數字化教學資源，以及企業級綜合教學項目（如智慧停車場管理系統、智慧景區管理系統和智能考勤打卡系統）的最新動態，讀者可以通過關注微信公眾號獲取。

致謝
本書是達內時代科技集團人工智能研究院團隊通力合作的結果。全書由鄭政、馮華、刁景濤策劃、組織并負責統稿，參與本書編寫工作的有楊瑞紅、徐理想、裴廣戰、吳飛，以及院校老師穆俊、覃鳳清、譚鶴毅、向昌成、楊成福、莊凱等，他們對相關章節材料的組織與選編做了大量細致的工作，在此對各位編者的辛勤付出表示由衷的感謝！此外，感謝達內時代科技集團技術研發中心的技術總監趙梓安、大數據總監金鋒為本書案例和技術細節的完善做出的貢獻。
特別感謝曾經指導和支持過達內時代科技集團企業級綜合教學項目，或者為本書的編寫提出寶貴建議的眾多專家和前輩，包括加拿大西安大略大學謝海鵬博士團隊，中國科學院計算機網絡信息中心吳開超博士團隊，武漢大學計算機學院黃浩教授、甘庭博士團隊，以及湖州師范大學王超博士團隊等。
感謝達內時代科技集團 CEO、未來教育研究院院長孫瀅對本書從立項討論到編寫出版全過程的傾心關注和大力支持，她不忘教育初心、堅守育人使命的情懷為本書的創作提供了強大的驅動力。
感謝電子工業出版社的老師們對本書的重視，他們一絲不茍的工作態度保證了本書的質量。
為讀者呈現準確、翔實的內容是編者的初衷，但由于編者水平有限，書中難免存在不足之處，敬請專家和讀者給予批評指正。
作 者
2022 年 2 月