解析深度學習:卷積神經網絡原理與視覺實踐( 簡體 字) | |
作者:魏秀參 | 類別:1. -> 程式設計 -> 深度學習 |
出版社:電子工業出版社 | 3dWoo書號: 50265 詢問書籍請說出此書號! 有庫存 NT售價: 395 元 |
出版日:11/1/2018 | |
頁數:200 | |
光碟數:0 | |
站長推薦: | |
印刷:黑白印刷 | 語系: ( 簡體 字 ) |
ISBN:9787121345289 | 加入購物車 │加到我的最愛 (請先登入會員) |
(簡體書上所述之下載連結耗時費功, 恕不適用在台灣, 若讀者需要請自行嘗試, 恕不保證, 繁體書的下載亦請直接連絡出版社) | |
第一部分緒論 / 1
第二部分基礎理論篇 / 9 1 卷積神經網絡基礎知識 / 10 1.1 發展歷程 / 11 1.2 基本結構 / 13 1.3 前饋運算 / 16 1.4 反饋運算 / 16 1.5 小結 / 19 2 卷積神經網絡基本部件/ 21 2.1 “端到端”思想/21 2.2 網絡符號定義/ 23 2.3 卷積層/24 2.3.1 什么是卷積/ 24 2.3.2 卷積操作的作用/27 2.4 匯合層/28 2.4.1 什么是匯合/ 29 2.4.2 匯合操作的作用/30 2.5 激活函數/ 31 2.6 全連接層/ 33 2.7 目標函數/ 34 2.8 小結/ 34 3 卷積神經網絡經典結構/ 35 3.1 CNN 網絡結構中的重要概念/35 3.1.1 感受野/ 35 3.1.2 分布式表示/ 37 3.1.3 深度特征的層次性 /39 3.2 經典網絡案例分析/42 3.2.1 Alex-Net 網絡模型/ 42 3.2.2 VGG-Nets 網絡模型/46 3.2.3 Network-In-Network /48 3.2.4 殘差網絡模型/49 3.3 小結/ 54 4 卷積神經網絡的壓縮/ 56 4.1 低秩近似/ 58 4.2 剪枝與稀疏約束/60 4.3 參數量化/ 64 4.4 二值網絡/ 68 4.5 知識蒸餾/ 71 4.6 緊湊的網絡結構//74 4.7 小結/ 76 第三部分實踐應用篇/ 77 5 數據擴充/ 78 5.1 簡單的數據擴充方式/78 5.2 特殊的數據擴充方式/80 5.2.1 Fancy PCA /80 5.2.2 監督式數據擴充/80 5.3 小結/ 82 6 數據預處理/ 83 7 網絡參數初始化/ 85 7.1 全零初始化/86 7.2 隨機初始化/86 7.3 其他初始化方法/89 7.4 小結/ 90 8 激活函數/ 91 8.1 Sigmoid 型函數/ 92 8.2 tanh(x) 型函數/ 93 8.3 修正線性單元(ReLU) /93 8.4 Leaky ReLU /94 8.5 參數化ReLU /95 8.6 隨機化ReLU /97 8.7 指數化線性單元(ELU)/ 98 8.8 小結/ 99 9 目標函數100 9.1 分類任務的目標函數/100 9.1.1 交叉熵損失函數/101 9.1.2 合頁損失函數/101 9.1.3 坡道損失函數/101 9.1.4 大間隔交叉熵損失函數/ 103 9.1.5 中心損失函數/105 9.2 回歸任務的目標函數//107 9.2.1 ?1 損失函數/ 108 9.2.2 ?2 損失函數/ 108 9.2.3 Tukey’s biweight 損失函數/109 9.3 其他任務的目標函數//109 9.4 小結/ 111 10 網絡正則化/ 113 10.1 ?2 正則化/ 114 10.2 ?1 正則化/ 115 10.3 最大范數約束/ 115 10.4 隨機失活/ 116 10.5 驗證集的使用/ 118 10.6 小結/ 119 11 超參數設定和網絡訓練/ 120 11.1 網絡超參數設定/120 11.1.1 輸入數據像素大小/120 11.1.2 卷積層參數的設定/121 11.1.3 匯合層參數的設定/122 11.2 訓練技巧/ 123 11.2.1 訓練數據隨機打亂/123 11.2.2 學習率的設定/123 11.2.3 批規范化操作/125 11.2.4 網絡模型優化算法選擇/ 127 11.2.5 微調神經網絡/132 11.3 小結/ 133 12 不平衡樣本的處理/ 135 12.1 數據層面處理方法/136 12.1.1 數據重采樣/ 136 12.1.2 類別平衡采樣/137 12.2 算法層面處理方法/138 12.2.1 代價敏感方法/139 12.2.2 代價敏感法中權重的指定方式/140 12.3 小結 / 142 13 模型集成方法/ 143 13.1 數據層面的集成方法/143 13.1.1 測試階段數據擴充/143 13.1.2 “簡易集成”法/144 13.2 模型層面的集成方法/144 13.2.1 單模型集成/ 144 13.2.2 多模型集成/ 146 13.3 小結/ 149 14 深度學習開源工具簡介/ 151 14.1 常用框架對比/ 151 14.2 常用框架的各自特點/153 14.2.1 Caffe /153 14.2.2 Deeplearning4j /153 14.2.3 Keras /154 14.2.4 MXNet / 155 14.2.5 MatConvNet / 155 14.2.6 TensorFlow /155 14.2.7 Theano / 156 14.2.8 Torch /157 A 向量、矩陣及其基本運算/ 158 B 隨機梯度下降/ 162 C 鏈式法則/ 165 參考文獻/ 167 索引/ 181 深度學習,特別是深度卷積神經網絡是人工智能的重要分支領域,卷積神經網絡技術也被廣泛應用于各種現實場景,在許多問題上都取得了超越人類智能的結果。本書作為該領域的入門書籍,在內容上涵蓋深度卷積神經網絡的基礎知識和實踐應用兩大方面。全書共14 章,分為三個部分:第一部分為緒論;第二部分(第1~4 章)介紹卷積神經網絡的基礎知識、基本部件、經典結構和模型壓縮等基礎理論內容;第三部分(第5~14 章)介紹深度卷積神經網絡自數據準備開始,到模型參數初始化、不同網絡部件的選擇、網絡配置、網絡模型訓練、不平衡數據處理,最終到模型集成等實踐應用技巧和經驗。本書并不是一本編程類書籍,而是希望通過“基礎知識”和“實踐技巧”兩方面使讀者從更高維度了解、掌握并成功構建針對自身應用問題的深度卷積神經網絡。本書可作為深度學習和卷積神經網絡愛好者的入門書籍,也可供沒有機器學習背景但希望能快速掌握該方面知識并將其應用于實際問題的各行從業者閱讀參考。
推薦序
卷積神經網絡乃機器學習領域中深度學習技術最著名內容之一。魏秀參博士在LAMDA求學數年,對卷積神經網絡及其視覺應用頗有所長,博士未畢業即被曠視科技聘為南京研究院負責人,畢業之際將心得材料轉撰成書請愚致序。師生之誼,盛情難卻。 在國內計算機領域,寫書乃吃力不討好之事。且不論寫一本耐讀、令讀者每閱皆有所獲之書何等不易,更不消說眾口難調、令各型讀者皆贊之書何等無望,僅認真寫書所耗時間精力之巨、提職時不若期刊論文之效、收入不比同等精力兼差打工之得,已令人生畏,何況稍不慎就有誤人子弟之嫌,令一線學者若不狠心苛己,實難著手。 然有志求學本領域之士漸增,母語優良讀物之不足實礙科學技術乃至產業發展。畢竟未必眾人皆慣閱外文書籍,亦未必盡能體會外文微妙表達變化之蘊義,更不消說母語閱讀對新入行之輕快適意。愚曾自認四十不惑前學力不足立著,但國內科研水準日新月異,青年才俊茁然成長,以旺盛之精力分享所學,誠堪嘉勉。 市面上深度學習書籍已不少,但專門針對卷積神經網絡展開,側重實踐又不失論釋者尚不多見。書中基本覆蓋了卷積神經網絡實踐所涉之環節,作者交代的若干心得技巧亦可一觀,實踐中或有見益。望本書之出版能有助于讀者更好地了解和掌握卷積神經網絡,進一步促進深度學習技術之推廣。 ——周志華,2018年10月于南京 人工智能,一個聽起來熟悉但卻始終讓人備感陌生的詞匯。讓人熟悉的是科幻作家艾薩克·阿西莫夫筆下的《機械公敵》和《機器管家》,令人陌生的卻是到底如何讓現有的機器人咿呀學語、邯鄲學步;讓人熟悉的是計算機科學與人工智能之父圖靈設想的“圖靈測試”,令人陌生的卻是如何使如此的高級智能在現實生活中不再子虛烏有;讓人熟悉的是2016 年初阿爾法狗與李世乭在圍棋上的五番對決,令人陌生的卻是阿爾法狗究竟是如何打通了“任督二脈”的……不可否認,人工智能就是人類為了滿足自身強大好奇心而腦洞大開的產物。現在提及人工智能,就不得不提阿爾法狗,提起阿爾法狗就不得不提到深度學習。那么,深度學習究竟為何物? 本書從實用角度著重解析了深度學習中的一類神經網絡模型——卷積神經網絡,向讀者剖析了卷積神經網絡的基本部件與工作機理,更重要的是系統性地介紹了深度卷積神經網絡在實踐應用方面的細節配置與工程經驗。 筆者希望本書“小而精”,避免像某些國外相關教材一樣淺嘗輒止的“大而空”。寫作本書的主因源自筆者曾于2015 年10 月在個人主頁(http://lamda.nju.edu.cn/weixs)上開放的一個深度學習的英文學習資料“深度神經網絡之必會技”(Must Know Tips/Tricks in Deep Neural Networks)。該資料隨后被轉帖至新浪微博,受到不少學術界和工業界朋友的好評,至今已有逾36 萬的閱讀量,后又被國際知名論壇KDnuggets 和Data Science Central 特邀轉載。在此期間,筆者頻繁接收到國內外讀過此學習資料的朋友微博私信或郵件來信表示感謝,其中多人提到希望開放一個中文版本以方便國人閱讀學習。另一方面,隨著深度學習領域發展的日新月異,當時總結整理的學習資料現在看來已略顯滯后,不少最新研究成果并未涵蓋其中,同時加上國內至今尚沒有一本側重實踐的深度學習方面的中文書籍。因此,筆者筆耕不輟,希望將自己些許的所學所知所得所感及所悟匯總于本書中,分享給大家學習和查閱。 這是一本面向中文讀者的輕量級、偏實用的深度學習工具書,本書內容側重深度卷積神經網絡的基礎知識和實踐應用。為了使盡可能多的讀者通過本書對卷積神經網絡和深度學習有所了解,筆者試圖盡可能少地使用晦澀的數學公式,而盡可能多地使用具體的圖表形象表達。本書的讀者對象為對卷積神經網絡和深度學習感興趣的入門者,以及沒有機器學習背景但希望能快速掌握該方面知識并將其應用于實際問題的各行從業者。 為方便讀者閱讀,本書附錄給出了一些相關數學基礎知識簡介。 全書共有14 章,除“緒論”外可分為兩個部分:第一部分“基礎理論篇”包括第1~4 章,介紹卷積神經網絡的基礎知識、基本部件、經典結構和模型壓縮等基礎理論內容;第二部分“實踐應用篇”包括第5~14 章,介紹深度卷積神經網絡自數據準備開始,到模型參數初始化、不同網絡部件的選擇、網絡配置、網絡模型訓練、不平衡數據處理,最終到模型集成等實踐應用技巧和經驗。另外,本書基本在每章結束均有對應小結,讀者在閱讀完每章內容后不妨掩卷回憶,看是否完全掌握了此章重點。對卷積神經網絡和深度學習感興趣的讀者可通讀全書,做到“理論結合實踐”;對希望迅速應用深度卷積神經網絡來解決實際問題的讀者,也可直接參考第二部分的有關內容,做到“有的放矢”。筆者在本書寫作過程中得到很多同學和學術界、工業界朋友的支持與幫助,在此謹列出他們的姓名以致謝意(按姓氏拼音序):高斌斌、高如如、羅建豪、屈偉洋、謝晨偉、楊世才、張晨麟等。感謝高斌斌和羅建豪幫助起草本書第3.2.4節和第4章的有關內容。此外,特別感謝南京大學周志華教授、吳建鑫教授和澳大利亞阿德萊德大學沈春華教授等眾多師長在筆者求 學科研過程中不厭其煩細致入微的指導、教育和關懷。同時,感謝電子工業出版社的劉皎老師為本書出版所做的努力。最后非常感謝筆者的父母,感謝他們的養育和一直以來的理解、體貼與照顧。寫就本書,筆者自認才疏學 淺,僅略知皮毛,更兼時間和精力有限,書中錯謬之處在所難免,若蒙讀者不棄,還望不吝賜教,筆者將不勝感激! ——魏秀參 |