 |
-- 會員 / 註冊 --
|
 |
|
|
|
深度學習模型及應用詳解 ( 簡體 字) |
| 作者：張若非 等 | 類別：1. -> 程式設計 -> 深度學習 |
| 譯者： |
| 出版社：電子工業出版社 |  3dWoo書號： 51842
詢問書籍請說出此書號！【有庫存】
NT售價： 445 元 |
| 出版日：9/1/2019 |
| 頁數：276 |
| 光碟數：0 |
|
站長推薦：   |
| 印刷：黑白印刷 | 語系： ( 簡體 版 ) |
| |
加入購物車  │加到我的最愛
(請先登入會員) |
| ISBN：9787121371264 |
| 作者序 | 譯者序 | 前言 | 內容簡介 | 目錄 | 序 |
| (簡體書上所述之下載連結耗時費功, 恕不適用在台灣, 若讀者需要請自行嘗試, 恕不保證) |
| 作者序： |
| 譯者序： |
前言：序言
機器學習從誕生那天起，其模型的設計和演變就和相關應用是密切結合的。近十年來，伴隨著大數據和高性能計算硬件的迅猛發展，機器學習里面的深度學習異軍突起，為人工智能領域中的諸多應用提供了核心算法模型。在計算機、電子工程、數學等相關學科，越來越多的學生加入到深度學習的領域進行深造；在信息技術、互聯網等相關領域，越來越多的工程師運用深度學習技術來提升產品性能；在金融、醫療、汽車等傳統領域，越來越多的從業者正積極地設法引入深度學習技術，從而掀起新一輪的技術革命。
在如此宏大的技術普及和發展的背景下，亟需一本介紹深度學習技術實踐的圖書。目前在市面上可以看到的與深度學習相關的書籍有數十本，各具特色。有的側重于模型的推導和解釋，有的側重于算法的實現，而本書的特點是側重于深度學習技術的落地。我在微軟訪問時與本書的幾位作者有過多次接觸，后來在一些學術會議上也分別有過幾次討論。他們都是畢業于國內外著名學府的博士和碩士，在機器學習領域有著多年的研究、開發經驗，在國際頂級期刊和會議上發表了數十篇論文，并在微軟的產品部門從事一線產品的工程實踐。如今，看到他們在工作之余，將深度學習中的一些重要模型在實踐中的應用加以整理并總結成書，甚感欣慰。這將給深度學習技術在工程實踐中的普及帶來非常重要的促進作用。
讀完本書，我的感受是，內容全面翔實、條理清晰：從最初的感知機模型到最近的對抗生成網絡和深度強化學習，作者都進行了詳盡的介紹；從模型的原理、應用的細節到計算框架的選擇，作者都進行了全面闡述。相信認真讀完本書的讀者，一方面會對深度學習的概貌有全局性的了解，既見樹木，更見森林；另一方面，可以對一些深度學習的實際應用問題厘清思路，甚至在本書中直接找到解決方案。不論是深度學習領域的初學者，還是具有經驗的工程實踐者，都可以從本書中獲得啟示，做到開卷有益！
最后，祝賀這本書的出版，并希望它成為深度學習實踐者的案頭手冊。
楊強
香港科技大學計算機科學與工程學系講座教授
國際人工智能聯合會（IJCAI）理事會主席 （2017—2019）
深圳前海微眾銀行首席AI 官
前言
人工智能熱潮
人工智能已成為炙手可熱的名詞和話題，其范圍和影響力已經超越了學術研究和產業科技研究，成為一個社會性熱點。人工智能被廣泛認為是具有顛覆性的戰略技術領域，對未來的世界發展和社會進步有重大影響，是建設創新型國家和世界科技強國的重要支撐，各國也相繼發布關于人工智能的國家發展戰略和規劃。2017 年7 月，國務院發布了《新一代人工智能發展規劃》的精神和部署，對我國在人工智能基礎理論研究、核心技術、模型和算法、軟硬件支撐平臺、生態系統建設等方面規劃了藍圖。這進一步激起了學術界、工業界、政府等社會各方面人士對人工智能的關注、學習、研究和開發。
人工智能的引爆在很大程度上源自深度學習技術的突破，包括語音、視覺和決策規劃等領域。比如， 2012 年基于深度學習模型的AlexNet 首次奪得ImageNet 大規模視覺識別競賽（ILSVRC）的冠軍，之后所有這個競賽的優勝模型全部是基于深度學習的。2016 年3 月，DeepMind 基于深度強化學習模型的圍棋程序AlphaGo 戰勝圍棋世界冠軍李世石引起轟動，獲得廣泛關注，也敲響了人工智能在社會上熱潮開啟的晨鐘。隨即各個領域學習深度學習的興趣日漸高漲，深度學習模型、算法、框架、工具、軟硬件加速器等的研究和開發也如火如荼，在研究、科技和商業領域都獲得了迅猛發展。
機器學習發展路徑
大部分深度學習是基于深層神經元網絡的模型，屬于機器學習的一種。要學習深度學習，有必要了解機器學習的發展歷程。機器學習領域有很多流派，例如，強調“推理、知識、學習”的人工智能派和強調應用統計學的統計學派。
機器學習從提出、研究到發展，至今有六十多年了。這中間的研究人員有過很多方法論的嘗試，讓機器能夠像人一樣思考、判斷、預測。在這個過程中，不同的時期有不同的方法流行，而在另外一個時期又失去了吸引力，但后來可能又獲得新生。機器學習的發展過程可以用波浪式前進、螺旋式上升來概括。這也和每個時期的技術條件、研究水平、人們的認知水平，尤其是對人類大腦的了解，以及社會整體文明進步水平有關。
20 世紀80 年代初，機器學習研究主要集中在對知識的描述和表達、存儲，以及用知識庫進行推理方面。其中，用符號表示人工智能（symbolic AI）比較流行，它集中在高層次的、人類可理解的，對問題、邏輯和搜索的符號表達上，以及基于其上的規則系統的構建，最具代表性的是專家系統。但是專家系統的功能和性能遠遠達不到人們的期望，而且專家系統也沒有數學理論的支持，很難證明這種方法論的穩定性和正確性。
20 世紀90 年代后期，隨著Vapnik 統計學習理論的研究成熟，迎來了統計機器學習的黃金時期。此時出現眾多的統計學習模型，比如貝葉斯網絡、樸素貝葉斯、最大熵、支持向量機（Support Vector Machine，SVM）、決策樹（decisiontree），普遍使用的梯度提升決策樹（GBDT）、隨機森林（random forest）、矩陣分解模型等，可以說是百花齊放，在各種分類、回歸、聚簇問題上的準確性明顯提高。因此，在搜索、廣告、推薦等大量的互聯網場景下獲得了廣泛的應用。統計機器學習模型獲得成功的一個重要原因是它有穩固的統計學和最優化等數學理論的支撐，為機器學習研究和學習能力的提高提供了理論上的保證和方向上的指導。機器學習模型不是一個黑盒子，而是基于嚴格的數學計算，這非常重要。在整個21 世紀的第一個十年，都是統計機器學習的天下，但是這些統計機器學習模型往往需要領域專業人士和數據科學家做大量的特征工程（ feature engineering）工作，設計有效的特征，才能輸入模型，得到滿意的效果。
在眾多統計學習模型中，人工神經網絡是一大類算法。人工神經網絡的發展同樣經歷了高潮低谷的交替起伏。在深度學習興起之前的約20 年時間里，由于計算能力和數據量的限制，人工神經網絡的有效訓練和學習往往只能停留在淺層次的小規模神經網絡上，限制了其學習性能。此外，人工神經網絡學習得到的模型也缺乏直觀的可解釋性。這些因素使得人工神經網絡逐漸失去了吸引力。
近年來，由于大數據的發展，大量可用數據產生，以及計算能力的不斷提升，神經網絡卷土重來。同時，改善的模型結構及訓練算法的提高，使深度學習得到了爆發，尤其是直接應用在一些做特征工程非常困難的原始數據的場景下，性能有突破性的進展，包括語音識別、圖像理解、自然語言處理 （NLP）、機器翻譯等，都取得了顯著的改進。
本書的初衷
人工智能熱激發了大家對深度學習的學習興趣，但是目前的一些深度學習書籍要么是面向學校和機器學習的研究人員，重理論、少實踐且不夠實用；要么只是對一些深度學習框架和工具的介紹和翻譯，而沒有比較全面的深度學習模型的講解、具體應用的實例及實際使用中經驗和注意事項的分享。本書的作者都是在微軟人工智能及研究院的研究人員和應用科學家，具有深厚的機器學習背景，在一線針對產品需求和支持的場景進行了大量的深度學習模型及算法的研究和開發，在模型設計、訓練、評估、部署、推理優化等模型開發全生命周期積累了豐富的經驗。
本書面向的讀者是希望學習和運用深度學習模型到具體應用場景的企業工程師、科研院所的學生和科研人員。他們的目的不是找一本教科書從學術角度學習深度學習，像深度學習研究人員一樣設計新的模型和算法，而是對深度學習模型和算法做一個基礎了解后，快速部署到他們的工作領域，并取得落地成果。這正是我們寫作本書的初衷和希望有所貢獻的地方：讓讀者“打基礎、讀得懂、用得快、重實踐、重應用”，重點是建立起分析問題、對問題形式化和應用深度學習建模、使用工具實現模型訓練和推理、在實際中需要考慮的約束限制、進行取舍和工程調優等一系列的方法論，從而獲得能舉一反三解決新的問題的能力。
本書內容定位
基于這個寫作目的，在講解基礎的前提下，側重在實際應用中讓讀者快速掌握基于深度學習模型的系統開發，本書的內容覆蓋以下幾個部分。
第1 部分（第1、2 章）講解深度學習的現狀、概念和實現工具。
第2 部分（第3~5 章）介紹深度學習在自然語言處理、計算機視覺、預測等應用中常見模型的舉例及實現，包括自然語言處理中的詞嵌入向量模型；圖像理解中普遍使用的卷積神經網絡（CNN）及其在物體檢測（object detection）方面的應用；應用于機器翻譯的遞歸神經網絡模型（RNN）和長短期記憶模型（LSTM）。
第3 部分（第6~12 章）介紹學術界和工業界最新的一些高階深度學習模型和實現，以及它們在互聯網搜索、廣告、對話機器人、電商等領域的應用，包括：用于對話機器人的DeepProbe 模型；用于單張照片產品識別和屬性生成的VPR模型；用于信息檢索和語義向量生成的DeepIntent 模型；用于文本語義嵌入和匹配的fastText 模型；生成對抗網絡（GAN），以及在圖像生成和自然語言處理中的應用；強化學習模型的模型結構、訓練算法和應用。這些模型和實現都已經應用在微軟的眾多產品中，并獲得了很好的效果。
第4 部分（第13 章）是討論及展望，包括模型在線推理的優化及硬件加速的實現等。最后對目前深度學習技術的局限性做出分析，對其發展方向和下一個浪潮進行展望。
本書學習建議
我們建議讀者按順序閱讀本書第1 部分和第2 部分，它們是本書的基礎，難度由淺入深。學習了第1 部分深度學習理論和常用工具后，再學習第2 部分常見的深度學習模型。在學習過程中要配合實踐，使用介紹的工具在一些實驗數據集和示例問題上完成深度學習模型的訓練及性能評估，掌握模型開發流程中的數據準備、訓練、調試超參、評估、部署等全部步驟。第3 部分是進階內容，講解一些應用于計算機視覺、自然語言處理及理解和決策任務的高級深度學習模型，各章節之間相互獨立，內容沒有前后依托關系，讀者可以根據自己的興趣和背景選擇閱讀。深度學習是一門實驗科學，要在理論基礎上結合應用大量進行實踐，才能真正掌握并解決實際問題。
深度學習技術發展迅猛，新的模型、算法、工具、流程不斷涌現，在傳統互聯網領域及各個行業的應用層出不窮，新的問題、新的解決方案也持續被提出。本書難以對深度學習各個層面做出全面深入的描述，一些最新的模型和應用也許沒有包括進來。本書如能對讀者學習深度學習模型、算法、實踐和應用有所幫助，并在實踐中產生加速和推動作用，那就達到了我們的目的。
由于本書作者水平、理解能力、經驗和表達能力所限，一些錯誤、不足之處在所難免，懇請各位讀者指正。
張若非
2019 年7 月于美國硅谷山景城 |
內容簡介：本書作者都是微軟人工智能及研究院的研究人員和應用科學家，具有深厚的機器學習背景，在一線針對產品需求和支持的場景進行了大量的深度學習模型及算法的研究和開發，在模型設計、訓練、評估、部署、推理優化等模型開發全生命周期積累了豐富的經驗。本書面向的讀者是希望學習和運用深度學習模型到具體應用場景的企業工程師、科研院所的學生和科研人員。讀者學習本書的目的是了解深度學習模型和算法基礎后，重點應用和實踐并快速部署在自己的工作領域，同時取得落地成果。本書分為4 個部分，共13 章。其中第1 部分（第1∼2 章）簡要介紹了深度學習的現狀、概念和實現工具。第2 部分（第3∼5 章）以具體的實際應用展示基于深度學習技術進行工程實踐和開發的流程和技巧。第3 部分（第6∼12 章）介紹了學術界和工業界最新的高階深度學習模型的實現和應用。第4 部分（第13章）介紹了深度學習領域的一些前沿研究方向并對深度學習的未來發展進行展望。 |
目錄：第1 章
神經網絡發展史 / 1
1.1 神經網絡的早期雛形 / 3
1.1.1 聯結主義和Hebb 學習規則 / 4
1.1.2 Oja 學習規則及主分量分析 / 5
1.1.3 早期的神經元模型 / 5
1.2 現代神經網絡 / 6
1.2.1 反向傳播算法 / 6
1.2.2 神經網絡的通用函數近似性 / 8
1.2.3 深度的必要性 / 9
1.3 深度學習發展歷史中的重要神經網絡 / 10
1.3.1 深度神經網絡的興起 / 10
1.3.2 自組織特征映射 / 10
1.3.3 霍普菲爾德神經網絡 / 11
1.3.4 玻爾茲曼機及受限玻爾茲曼機 / 12
1.3.5 深度信念網 / 14
1.3.6 其他深度神經網絡 / 15
1.4 本章小結 / 15
參考文獻 / 16
第2 章
深度學習開源框架 / 17
2.1 主流的深度學習開源框架 / 18
2.2 簡單神經網絡模型在不同框架上的實現對比 / 29
2.3 本章小結 / 44
參考文獻 / 45
第3 章
多層感知機在自然語言處理方面的應用 / 46
3.1 詞和文本模型的發展歷程 / 47
3.2 Word2Vec 模型：基于上下文的分布式表達 / 49
3.2.1 Skip-Gram 算法的訓練流程 / 50
3.2.2 Skip-Gram 算法的網絡結構 / 53
3.2.3 代價函數 / 54
3.3 應用TensorFlow 實現Word2Vec 模型 / 58
3.3.1 定義計算圖：訓練語料庫預處理 / 60
3.3.2 模型計算圖的實現 / 63
3.4 Word2Vec 模型的局限及改進 / 66
3.5 本章小結 / 67
參考文獻 / 68
第4 章
卷積神經網絡在圖像分類中的應用 / 69
4.1 圖像識別和圖像分類的發展 / 72
4.2 AlexNet / 73
4.2.1 網絡模型結構 / 74
4.2.2 AlexNet 的具體改進 / 79
4.2.3 代價函數 / 83
4.3 應用TensorFlow 實現AlexNet / 83
4.3.1 讀取訓練圖像集 / 83
4.3.2 模型計算圖的實現 / 84
4.4 本章小結 / 85
參考文獻 / 86
第5 章
遞歸神經網絡 / 87
5.1 遞歸神經網絡應用背景介紹 / 88
5.2 遞歸神經網絡模型介紹 / 89
5.2.1 遞歸神經網絡模型結構 / 89
5.2.2 雙向遞歸神經網絡 / 90
5.2.3 長短期記憶模型 / 91
5.3 遞歸神經網絡展望 / 94
5.4 本章小結 / 95
參考文獻 / 95
第6 章
DeepIntent 模型在信息檢索領域的應用 / 96
6.1 信息檢索在搜索廣告中的應用發展 / 97
6.2 含有注意力機制的RNN 模型 / 99
6.2.1 網絡模型結構 / 100
6.2.2 代價函數 / 104
6.3 應用TensorFlow 實現DeepIntent 模型 / 107
6.3.1 定義計算圖 / 107
6.3.2 定義代價函數及優化算法 / 114
6.3.3 執行計算圖進行訓練 / 118
6.4 本章小結 / 119
參考文獻 / 120
第7 章
圖像識別及在廣告搜索方面的應用 / 121
7.1 視覺搜索 / 122
7.2 方法和系統 / 124
7.2.1 圖像DNN 編碼器 / 124
7.2.2 利用Rich-CDSSM 降低維度 / 125
7.2.3 快速最近鄰搜索系統 / 127
7.2.4 精密層 / 127
7.2.5 端到端服務系統 / 128
7.3 評測 / 129
7.4 用于演示的Visual Shopping Assistant 應用程序 / 131
7.5 相關工作 / 132
7.6 本章小結 / 133
第8 章
Seq2Seq 模型在聊天機器人中的應用 / 134
8.1 Seq2Seq 模型應用背景 / 135
8.2 Seq2Seq 模型的應用方法 / 136
8.3 含有注意力機制的多層Seq2Seq 模型 / 137
8.3.1 詞嵌入層 / 137
8.3.2 可變深度LSTM 遞歸層 / 138
8.3.3 注意力機制層 / 139
8.3.4 投影層 / 139
8.3.5 損失函數（loss function）和端到端訓練 / 140
8.4 信息導向的自適應序列采樣 / 142
8.5 多輪項目推薦 / 143
8.6 熵作為信心的度量 / 143
8.6.1 直觀的定義和討論 / 143
8.6.2 序列后驗估計的不確定性 / 145
8.6.3 信息導向的抽樣：最大化預期信息增益的原則 / 145
8.6.4 Seq2Seq 模型的3 個應用程序 / 146
8.6.5 應用程序1：查詢理解和重寫 / 147
8.6.6 應用程序2：相關性評分 / 152
8.6.7 應用程序3：聊天機器人 / 156
8.7 本章小結 / 160
參考文獻 / 160
第9 章
word2vec 的改進：fastText 模型 / 162
9.1 fastText 模型的原理 / 163
9.1.1 回顧Skip-Gram 算法 / 163
9.1.2 subword 模型 / 164
9.1.3 subword 形態 / 167
9.1.4 分層softmax / 168
9.1.5 fastText 的模型架構 / 170
9.1.6 fastText 算法實現 / 171
9.2 應用場景：搜索廣告中的查詢詞關鍵詞匹配問題 / 172
9.3 本章小結 / 173
參考文獻 / 174
第10 章
生成對抗網絡 / 175
10.1 生成對抗網絡的原理 / 176
10.1.1 GAN 的基本模型 / 176
10.1.2 GAN 優化目標的原理 / 178
10.1.3 GAN 的訓練 / 179
10.1.4 GAN 的擴展模型 / 180
10.2 應用場景：搜索廣告中由查詢詞直接生成關鍵詞 / 182
10.2.1 生成模型的構建 / 182
10.2.2 判別模型的構建 / 184
10.2.3 條件生成對抗網絡的構建 / 185
10.3 本章小結 / 186
參考文獻 / 187
第11 章
深度強化學習 / 188
11.1 深度強化學習的原理 / 189
11.1.1 強化學習的基本概念 / 189
11.1.2 馬爾可夫決策過程 / 191
11.1.3 價值函數和貝爾曼方程 / 192
11.1.4 策略迭代和值迭代 / 194
11.1.5 Q-Learning / 196
11.1.6 深度Q 網絡 / 198
11.1.7 策略梯度 / 201
11.1.8 動作評價網絡 / 202
11.2 應用場景：基于深度強化學習的推薦系統 / 203
11.3 本章小結 / 206
參考文獻 / 206
第12 章
工程實踐和線上優化 / 208
12.1 Seq2Seq 模型介紹 / 209
12.2 LSTM 優化分析 / 211
12.2.1 優化一：指數運算的近似展開 / 214
12.2.2 優化二：矩陣運算的執行速度優化 / 218
12.2.3 優化三：多線程并行處理 / 224
12.3 優化應用實例：RapidScorer 算法對GBDT 的加速 / 227
12.3.1 背景介紹 / 228
12.3.2 RapidScorer 數據結構設計 / 231
12.3.3 RapidScorer 矢量化 / 233
12.3.4 RapidScorer 實驗結果 / 237
12.4 本章小結 / 238
參考文獻 / 239
第13 章
深度學習的下一個浪潮 / 240
13.1 深度學習的探索方向展望 / 241
13.1.1 設計更好的生成模型 / 241
13.1.2 深度強化學習的發展 / 241
13.1.3 半監督學習與深度學習 / 242
13.1.4 深度學習自身的學習 / 242
13.1.5 遷移學習與深度學習的結合 / 242
13.1.6 用于推理的深度學習 / 243
13.1.7 深度學習工具的標準化 / 243
13.2 深度學習的應用場景展望 / 243
13.2.1 醫療健康領域 / 243
13.2.2 安全隱私領域 / 248
13.2.3 城市治理領域 / 249
13.2.4 藝術創作領域 / 250
13.2.5 金融保險領域 / 252
13.2.6 無人服務領域 / 254
13.3 本章小結 / 257
參考文獻 / 258 |
| 序： |
|
