本書是《昇騰 AI處理器架構與編程》的續篇,專注于昇騰 AI處理器的革命性邊緣計算SoC芯片,
基于 Atlas開發者套件或 Atlas推理卡建設應用生態。全書共20章,重點剖析若干重要領域的典型案
例,內容涵蓋圖像分割、圖像生成、圖像處理、模式分類、目標檢測、智能機器人和序列模式分析等。每
章自成體系,較為完整地給出了案例系統的應用動機、系統架構和執行流程的設計方案,并結合代碼剖
析案例系統的實現過程和實際測試結果,能夠幫助讀者快速把昇騰 AI處理器用于解決實際問題。
本書是市場上第一本介紹昇騰 AI處理器的案例教材。本書體例完整,案例具有典型性,配套案例代
碼完全開源,實戰資源豐富,可以作為高校人工智能、智能科學與技術、計算機科學與技術、軟件工程、電子
信息工程、自動化等專業的教材,也適合從事人工智能系統開發的科研和工程技術人員作為參考用書。

2018年度的ACM（美國計算機協會）圖靈獎授予深度學習領域三
巨頭（Yoshua Bengio、Yann LeCun、Geoffrey Hinton），這是學術界與工業界對深度學習最大的認可。深度學習具有強大的學習能力，為人工智能技術插上了翅膀。各國相繼把發展人工智能確立為國家戰略。我國國務院于2017年7月8日重磅發布《新一代人工智能發展規劃》，人工智能課程已經相繼走入中小學課堂。人工智能將是未來全面支撐科技、經濟、社會發展和信息安全的重要支柱！
深度學習已經在許多領域影響深遠，但它對算力的要求極高。華為公司應時而動，打造出基于達芬奇架構的昇騰AI
系列處理器，并進一步為全場景應用提供統一、協同的硬件和軟件架構。其中有面向云端提供強大訓練算力的硬件產品（如昇騰910處理器），也有面向邊緣端和移動端提供推理加速算力的硬件產品（如昇騰310處理器）。與硬件同樣重要的是昇騰AI處理器的軟件生態建設。友好、豐富的軟件生態會真正釋放昇騰AI處理器的能量，走入千家萬戶，助力我國的新一代人工智能發展。


全書共分七篇計20章，重點剖析若干重要領域的典型案例，內容涵蓋目標檢測、圖像分割、圖像生成、圖像增強、模式分類、智能機器人以及序列模式分析等領域，涉及各種典型的深度學習網絡模型。

第一篇目標檢測，包含三個案例，分別涉及手寫漢字拍照檢測與識別、
人類蛋白質圖譜分類和遙感圖像目標檢測，提供了基于聯通成分分析搭配ResNet、選擇性搜索算法搭配 ResNet和YOLOv3等方法的應用。
第二篇圖像分割，分別涉及人像的語義分割、人像分割與背景替換（摳圖）、眼底視網膜血管圖像的分割和邊緣檢測四個不同領域的任務，展示了如何利用DeepLab V3+、U形語義分割網絡、全卷積網絡以及更豐富卷積特征（RCF）網絡模型進行特定分割任務。

第三篇圖像生成，包含兩個案例，分別涉及AR（增強現實）陰影以及卡通圖像生成，集中展示了如何使用對抗生成網絡（GAN）生成逼真圖像。

第四篇圖像增強，包含四個案例，涵蓋圖像去霧、去雨、HDR
（高動態范圍渲染）
和圖像的超分辨率四個基本問題，分別從對抗生成網絡、漸進式引導圖像去雨網絡（PGDN）、多尺度網絡、
超分辨率網絡（SRCNN、FSRCNN和ESPC）設計算法，擴寬了原有處理思路。

第五篇模式分類，包含三個案例，介紹來自人體動作識別、人臉識別和手勢識別的實踐。這些與人類本身具有的能力
相關，常常是我們特別期望賦予計算機的。本篇提供了基于圖卷積網絡（GCN）、樸素卷積網絡和三維卷積網絡等經典模型的分類應用。

第六篇機器人，給出機器人領域的一個案例，讓智能小車自動感知環境并自動規劃路線，基于ROS框架，綜合利用了雷達傳感信號感知、基于DenseNet的深度圖預測、SLAM和PID控制等技術。

第七篇序列分析，集中介紹了序列分析領域的三個典型案例，包含中文語音識別、手寫文本行識別以及意見挖掘與情感分析，給出了如何綜合利用VGGNet網絡、LSTM網絡、注意力網絡、BERT網絡、CTC算法來解決序列分析問題。

本書的案例素材征集自國內20位知名
教授，
包括清華大學胡事民、劉永進、張松海，南開大學程明明、李濤，浙江大學許威威、朱秋國，上海交通大學楊旸、陳立，武漢大學肖春霞，華中科技大學顏露新，吉林大學徐昊，華東師范大學張新宇，西安電子科技大學苗啟廣、侯彪，哈爾濱工業大學張盛平、蘇統華，深圳大學邱國平，蘇州大學張民、付國宏。
蘇統華和杜鵬對全書進行統稿。
在本書的編寫過程中得到清華大學出版社盛東亮主任及鐘志芳編輯的專業指導，他們的編輯和審校工作明顯提高了本書的質量，特別向他們致以敬意。
在本書統稿過程中，劉姝辰、張明月和文薈儼等人做了大量輔助工作，特此感謝！
在本書的編寫過程中同時受到多個基金（新一代人工智能重大項目2020AAA0108003、重點研發計劃課題2017YFB1400604、國家自然科學基金項目61673140和81671771）的資助。


蘇統華杜鵬
2021年6月
第3章


遙感圖像目標檢測


3.1案例簡介



隨著遙感衛星成像技術的發展，遙感衛星的成像分辨率得到了大幅度的提高，大量遙感衛星的成功發射，產生了海量的遙感數據，這些數據很難依靠人工去判讀。遙感圖像目標檢測，是為了在難以判讀的海量遙感圖像中找到目標的位置。

遙感圖像目標檢測的主要過程包括： 對輸入的
目標（這里是飛機）圖像進行數據預處理
以及特征提取，然后通過目標檢測模型對目標對象的特征進行推理，最后對推理結果進行解析并標記輸出，其流程如圖31所示。


圖31遙感圖像目標檢測過程


本章主要介紹基于華為Atlas開發者套件構建的遙感圖像系統。借助Atlas開發者套件提供的
AscendCL API接口完成案例的設計與實現。本案例涉及Darknet模型向Caffe模型的轉換，開發板OpenCV、ffmpeg等科學計算依賴庫
的安裝，根據YOLOv3構建目標檢測模型等過程。本案例主要為讀者提供一個遙感圖像目標檢測相關應用在華為Atlas開發者套件上部署的參考。



3.2系統總體設計



系統首先構建Caffe框架的目標檢測模型并訓練，之后利用模型轉換工具將Caffe模型轉換為om模型，接下來通過om模型對輸入張量進行推理，對推理結果進行處理，最終輸出目標檢測結果以及目標檢測的最終圖像。
3.2.1功能結構
遙感圖像目標檢測系統可分為遙感圖片預處理、模型推理和目標檢測結果輸出這幾部分。系統的整體結構如圖32所示。



圖32系統整體結構


3.2.2系統設計流程
該系統設計流程可分為模型訓練階段和模型推理階段，如圖33所示。前者主要在服務器端完成構建，后者主要在華為Atlas開發者套件上完成構建。

模型訓練階段首先構建目標檢測模型，本案例中的目標檢測模型采用深度學習框架Darknet中的神經網絡Darknet53進行模型訓練，然后
將Darknet53訓練所得的模型轉換為Caffe模型，以此來滿足MindStudio平臺模型轉換要求，最后對轉換后的Caffe格式模型進行驗證和評估。
模型推理階段首先對輸入圖片進行圖片預處理以及特征提取，并將結果作為目標檢測模型的輸入張量，利用華為MindStudio平臺將Caffe格式的目標檢測模型轉換為華為Atlas開發者套件支持的om格式模型，接下來通過目標檢測模型對輸入張量進行推理，對推理結果進行處理，最終輸出目標檢測結果以及目標檢測的最終圖像。


圖33系統流程



3.3系統設計與實現



本節將詳細介紹系統各部分功能的設計與實現過程，該系統利用華為Atlas開發者套件提供的AscendCL API接口［2］實現系統搭建。
3.3.1目標檢測模型定義
該系統的檢測模型基于Caffe框架構建YOLOv3神經網絡模型。在基本的圖像特征提取方面，YOLOv3采用
Darknet53網絡(含有53個卷積層)作為骨干網絡。Darknet本身是專門為YOLOv3開發的網絡結構，借鑒了殘差網絡(
Residual Network)的做法，在一些層之間設置了捷徑連接(Shortcut Connections)，且不采用最大池化(maxpool)，而是通過步長(Stride)為2的卷積層實現特征圖的尺寸變換。YOLOv3神經網絡模型會在Darknet53骨干網絡的基礎上添加檢測相關的網絡模塊。
3.3.2目標檢測模型訓練
此目標檢測訓練模型參考YOLOv3的模型訓練方法進行訓練，最后獲得YOLOv3的模型文件。本次采用的模型訓練數據從RSODDataset、NWPU VHR10數據集中分別選取446張大小為1044×915的遙感圖像和80張大小約為958×808的遙感圖像；
通過旋轉，mixup（一種線性插值的數據增強方法）等方式對數據集擴增，提升模型泛化能力。
將所有數據的80%作為訓練樣本，剩余的20%作為測試樣本。
模型訓練代碼請參見程序清單31的具體參數定義。

程序清單31yolov3.cfg文件的部分參數定義

batch=64#僅表示網絡積累多少個樣本后進行一次反向傳播（BP）

subdivisions=16#表示將一批（batch）圖片分16次完成網絡的前向傳播

width=416#網絡輸入的寬

height=416#網絡輸入的高

channels=3#網絡輸入的通道數

momentum=0.9#動量DeepLearning1中最優化方法中的動量參數，這個值影響梯度

#下降到最優值的速度

decay=0.0005#權重衰減正則項，防止過擬合

angle=5#數據增強參數，通過旋轉角度來生成更多訓練樣本

saturation = 1.5 #數據增強參數，通過調整飽和度來生成更多訓練樣本

exposure = 1.5 #數據增強參數，通過調整曝光量來生成更多訓練樣本

hue=.1 #數據增強參數，通過調整色調來生成更多訓練樣本



learning_rate=0.001 #學習率

burn_in=1000 #迭代次數大于1000時，才采用policy變量定義的更新方式

max_batches = 2000 #訓練次數達到最大批（max_batches）后停止學習，一次為跑完一個批

policy=steps #學習率調整的策略

steps=1600,1800

scales=.1,.1#變量steps和scale是設置學習率的變化，比如迭代到1600次時，

#學習率衰減為1/10，迭代到1800次時，學習率又會在前一個學習
#率的基礎上衰減1/10

利用YOLO官網的原始YOLOv3網絡模型，配合自己的數據集，根據實際情況通過修改部分參數進行訓練，經過多次迭代實現模型的訓練。
3.3.3模型轉換
該系統中原始的目標檢測模型為使用Darknet53網絡訓練的模型，其網絡模型文件
為cfg文件及權重(weights)文件，這需要進行模型轉換。華為MindStudio平臺模型轉換工具目前只支持Caffe和TensorFlow的pb格式模型的轉換，所以首先需要將Darknet格式的模型轉換為Caffe格式的模型。此處使用了由ChenYingpeng (https://github.com/ChenYingpeng/caffeyolov3)提供的darknet2caffe轉換工具，具體的轉化操作可參考網址： https://blog.csdn.net/avideointerfaces/article/details/89111955。

模型轉換成功后獲得Caffe格式的模型文件。om格式文件的轉換方式有兩種： 一是通過MindStudio平臺進行轉換，二是通過命令行命令進行轉換。此處采用的方法是使用命令行命令進行轉換。具體的轉換操作如下所述。

首先將yolov3.caffemodel、yolov3.prototxt、aipp_nv12.cfg三個文件放入同一文件夾下，例如yolov3
文件夾，此處aipp_nv12.cfg已在代碼文檔中提供，C7x對.prototxt文件有修改要求，可根據個人需要按照https://support.huaweicloud.com/tiatcA200dk_3000/altasatc_16_024.html網址中的文檔介紹對其進行修改。接著進入yolov3文件夾，進行環境變量設置，具體代碼如下：


cd $HOME/yolov3

export install_path=$HOME/Ascend/ascend-toolkit/20.0.RC1/x86_64-linux_gcc7.3.0

export PATH=/usr/local/python3.7.5/bin:${install_path}/atc/ccec_compiler/bin:${install_path}/atc/bin:$PATH

export PYTHONPATH=${install_path}/atc/python/site-packages/te:${install_path}/atc/python/site-packages/topi:$PYTHONPATH

export LD_LIBRARY_PATH=${install_path}/atc/lib64:$LD_LIBRARY_PATH

export ASCEND_OPP_PATH=${install_path}/opp

執行以下命令轉換模型：

atc --model=yolov3.prototxt --weight=yolov3.caffemodel --framework=0 --output=yolov3 --soc_version=Ascend310 --insert_op_conf=aipp_nv12.cfg

完成此項操作后即可得到對應的om模型。
3.3.4模型推理

系統模型推理階段在華為Atlas開發者套件上實現。需要安裝ffmpeg和OpenCV的原因是適配多樣性的數據預處理和后處理
。本案例也是基于ffmpeg和OpenCV做的處理，此處依賴庫的安裝十分重要，將會影響后面絕大部分代碼的運行。
系統推理部分利用華為Atlas開發者套件提供的pyACL API和
數字視覺預處理（Digital Vision PreProcessing，DVPP）
模塊中的相關功能。模型推理部分主要包括以下子模塊。
(1) 圖像讀取函數（acl_image類中相關函數）： 負責讀取文件夾下的所有遙感圖片，并對圖片信息進行獲取。
(2) 預處理函數（ObjectDetect類中的Preprocess函數）： 該函數完成的功能是對讀取的遙感圖片進行預處理，首先將圖片從
JPEG格式轉換為YUV格式，然后對該轉換后的YUV格式的圖片進行縮放。
(3) 推理處理函數（ObjectDetect類中的Inference相關函數）： 該函數完成的功能是將圖片信息送入模型進行模型推理，其中主要使用pyACL API中的模型推理API。
(4) 后處理函數（ObjectDetect類中的Postprocess函數）： 處理推理結果，對輸入圖片的推理結果進行獲取，解析推理結果，對其進行處理，然后輸出檢測結果，并將目標檢測結果在原始圖片中進行標記，作為檢測結果進行輸出，同時將檢測結果信息存儲為json文件。
特別地，針對寬和高均大于1000像素的圖像，先裁剪（crop）后再對分塊圖像單獨推理，最后將推理結果拼接起來。
3.3.5系統運行界面設計
系統運行界面在用戶主機上運行。該系統運行界面依托圖PyQt5進行簡易的窗口設計，在主機上運行后，即可通過相關接口，完成對遙感圖片中目標檢測（飛機）以及檢測結果的查看。通過該界面，用戶無須其他操作，即可上傳待檢測圖片至開發板端，并對該圖像的檢測結果進行查看。


3.4系統部署與運行結果



該案例系統運行在華為Atlas開發者套件上。系統基于pyACL API接口實現遙感圖像飛機目標檢測功能，Python程序負責完成圖片的預處理和模型推理、圖片裁剪與拼接、圖片檢測結果輸出。
在運行前，將工程文件上傳至開發者套件，將待檢測圖片放入data文件夾。之后在主機端的AtlasUI文件夾下運行uiHuawei.py，打開系統運行界面，如圖34所示。



圖34遙感圖像飛機檢測系統運行界面

該界面上有4個按鈕，

實現不同功能。單擊“選擇圖片”按鈕，即可加載用戶所要檢測的遙感圖像，此處
為選擇圖片的示意圖，如圖35所示。單擊“顯示原圖”即可查看該圖片原圖。單擊“飛機檢測”按鈕后，開始對選中的圖片進行目標檢測，同時檢測結果的示意圖也會展示在上方，如圖36所示。在實際的檢測中，較大圖片檢測結果可能在圖片顯示區進行展示時不是很清晰，因此可單擊“顯示檢測結果”按鈕可查看最后的檢測結果原圖。



圖35選中圖片



圖36完成該圖片的目標檢測




3.5本章小結



本章提供了一個基于華為Atlas開發者套件的遙感圖像目標（飛機）的檢測案例，本案例基于華為Atlas開發者套件提供的
pyACL API接口，通過對目標圖片進行預處理、特征提取及模型推理，最終實現了遙感圖像目標檢測的功能。
本章提供了從目標檢測模型的構建，原始Darknet模型向Caffe模型的轉換，以及相關環境配置到最終實現遙感圖像目標檢測全過程講解，希望為讀者提供一個基于華為Atlas開發者套件的遙感圖像目標檢測應用的參考，以及一些基礎技術的支持。