TensorFlow與自然語言處理應用 ( 簡體 字) |
| 作者：李孟全 | 類別：1. -> 程式設計 -> 機器學習
2. -> 程式設計 -> 自然語言 |
| 譯者： |
| 出版社：清華大學出版社 |  3dWoo書號： 51468
詢問書籍請說出此書號！【缺書】
NT售價： 445 元 |
| 出版日：8/1/2019 |
| 頁數：397 |
| 光碟數：0 |
|
站長推薦：   |
| 印刷： | 語系： ( 簡體 版 ) |
| |
加入購物車  │加到我的最愛
(請先登入會員) |
| ISBN：9787302531012 |
| 作者序 | 譯者序 | 前言 | 內容簡介 | 目錄 | 序 |
| (簡體書上所述之下載連結耗時費功, 恕不適用在台灣, 若讀者需要請自行嘗試, 恕不保證) |
| 作者序： |
| 譯者序： |
前言：2018年，其實是自然語言處理領域收獲頗豐的一年，尤其是以Google公司在2018年11月份發布的BERT模型最為世人所矚目，可以說是最近AI研究領域最為火爆的歷史性突破。最近幾年，無論從媒體報道還是切身感受，我們都看到人工智能目前的發展勢頭非常迅猛。如果我們簡單回顧一下人工智能發展歷程，不難發現其軌跡有三個發展階段：第一個階段是計算智能階段，其典型表現在于計算機和人類相比是能存會算，其超大存儲量、超高計算速度方面均可完勝我們人類；第二個階段是感知智能階段，具體表現在以語音識別和圖像識別技術為代表的迅猛發展，如綜藝電視節目中的“機智過人”“最強大腦”就是其很好的呈現形式；第三個階段是認知智能階段，這個階段需要機器能夠思考并具有情感。正因為人工智能與我們日常生活的聯系越來越緊密，且自然語言處理技術是推動機器實現認知的關鍵性研究領域，所以我們有必要對自然語言處理應用進行深入探索。本書將利用目前流行的Google技術框架（TensorFlow）來實現自然語言處理方面的應用。
由于我們生活的方方面面被賦予了越來越多的數字化內容，因此相應的數據量也在呈指數級增長，并且大多數數據是與語言相關的數據，如電子郵件、社交媒體帖子、電話和網絡文章，自然語言處理（NaturalLanguageProcessing，NLP）能夠有效地利用這些數據幫助人們完成日常業務工作。NLP已經徹底改變了我們使用數據改善業務和生活的方式，并將在我們未來的日常生活中發揮更大的作用。
NLP最普遍的使用案例之一是虛擬助手（Virtual Assistants，VA），如百度小度助手、Apple的Siri、谷歌助手（Google Assistant）和亞馬遜 Alexa。當我向VA詢問“附近最便宜的火鍋”時（筆者利用手機上百度地圖小度時，它會把附近最便宜的火鍋店排在第一位），就會觸發一系列復雜的NLP任務。首先VA需要了解（解析）我的請求（了解它需要檢索火鍋的價格，而不是停車位計時的價格），VA做出的決定是“什么是便宜的？”；然后VA需要對附近火鍋的價格進行排名（也有可能基于我過去吃過的火鍋店）；最后VA抓取相關數據獲取附近火鍋的價格，并通過分析每家火鍋店的價格和評論對它們進行排名。其實，我們在幾秒鐘內看到的結果是執行一系列非常復雜NLP任務的結果。
正是NLP在我們日常生活中呈現出越來越多的便利性，筆者才更想對NLP背后的模型原理和具體應用進行深入的探討，以便我們對NLP有更多的認知。另外，筆者查看了近些年來的相關文獻，發現單獨講解NLP方面的理論文獻國內外都有，單獨撰寫NLP任務實現的技術工具（如TensorFlow）的圖書也很多，而將二者結合起來的圖書，目前在國內還沒有發現（也許有，只是筆者沒有發現而已）。于是，2018年4月，筆者就想對關于利用TensorFlow技術框架來實現NLP任務應用方面進行成體系地探索，以便對今后的工作有所積累。本書在創作過程中參考了《Natural Language Processing with TensorFlow》（Thushan Ganegedara著）中的一些內容，在此向Thushan Ganegedara表達個人的敬意！
通過閱讀本書，你將學會如何利用深度學習來實現許多有意義的NLP任務。對于本書中涉及的NLP任務，我們都有具體的代碼實現（含實現過程），使用的技術框架為TensorFlow（1.8版本），編程語言為Python（3.6版本）。
本書主要內容
第1章 自然語言處理基礎。首先介紹自然語言處理的含義及NLP中的一些常見子任務；然后講述NLP的發展歷程：偏理論的理性主義、偏實踐應用的經驗主義和深度學習階段；接著對NLP任務中深度學習的局限性進行了大致分析；最后，我們對于NLP的應用場景和發展前景做了簡要闡述。
第2章 深度學習基礎。首先介紹深度學習的概念和演變過程，同時介紹了深度學習的基礎模型——神經元模型，并對單層神經網絡和多層神經網絡模型（深度學習）的結構和原理進行了深度解讀；然后介紹Encoder-Decoder網絡和深度學習中最常見的優化算法——隨機梯度下降；最后介紹反向傳播算法（BP算法）。
第3章 TensorFlow。首先介紹TensorFlow的產生、主要特征和相關安裝等基礎準備內容，同時介紹了在執行TensorFlow程序時需要構建計算圖及其構成元素，并詳細解讀了TensorFlow的架構和工作原理，還給出了一個示例來加深理解；然后從TensorFlow客戶端的角度通過代碼逐層剖析TensorFlow的內部運行情況，以便讓我們對TensorFlow的內部運行機制、各個基礎組件之間的關聯等有深入的了解；最后介紹變量作用域機制并實現一個完整的神經網絡示例。
第4章 詞嵌入。首先介紹分布式表示，對其含義、類型及簡要特征有一個直觀的認識；其次，我們重點對CBOW模型、Skip-gram模型及GloVe模型的工作原理和內部架構進行深度解析；最后利用前面的模型，通過TensorFlow實現一個文檔分類任務。
第5章 卷積神經網絡（CNN）與句子分類。首先介紹CNN的歷史演變過程，并對其5個層級結構（輸入層、卷積運算層、激勵層、池化層、全連接層）和4個基本運算單元（卷積運算、池化運算、全連接運算和識別運算）進行了介紹；然后介紹幾種常見的經典卷積神經網絡：AlexNet、VGGNet、Google Inception Net和ResNet，并逐一從模型思想、結構、特性亮點等方面進行詳細解讀；最后為了將上述解析的模型思想真正落實到代碼層面上，我們給出兩個應用案例：利用CNN對MNIST數據集進行圖片分類和利用CNN對句子進行分類。
第6章 循環神經網絡（RNN）。首先通過計算圖及其展開解讀了循環的任何函數本質上可以認為是一種循環神經網絡的說法；然后介紹時間的反向傳播算法（BPTT），我們將學習反向傳播的工作原理、為什么不能對RNN使用標準反向傳播、如何使用BPTT對數據進行RNN訓練、截斷BPTT和BPPTT的局限性等，并解讀其局限性中的常見問題及對應的解決方法；最后我們將看到一個RNN的應用——文本生成，并研究了一種能夠捕獲更長記憶的RNN變體（被稱為RNN-CF），還給出了其在實例中的應用。
第7章 長短期記憶網絡（LSTM）。首先介紹LSTM及其高級架構，并深入研究LSTM中發生的詳細計算，結合一個例子討論了該計算的過程；然后介紹了幾個可以提高LSTM性能的擴展，即貪心采樣（一種非常簡單的技術）、集束搜索（一種更復雜的搜索技術）及BiLSTM模型等；最后介紹了標準LSTM的兩種變體：窺視孔連接和GRU。
第8章 利用LSTM自動生成文本。首先廣泛地評估了LSTM在文本生成任務中的表現；然后定性和定量地測量LSTMS生成的文本有多好，并對LSTM、帶窺視孔連接的LSTM和GRU進行比較；最后如何將詞嵌入引入模型中，以改進LSTM生成的文本。
第9章 利用LSTM實現圖像字幕自動生成。首先回顧了圖像字幕的主要發展及其對研究和行業部署的影響；其次詳細介紹了基于深度學習的圖像字幕自動生成的兩大框架；最后對圖像字幕的自動生成任務進行了詳解。
第10章 情感分析。首先介紹情感分析的應用、情感問題的界定及情感文檔的分類，同時對句子觀點的主觀性、基于Aspect的情感分析、情感詞典的生成、比較觀點分析及觀點的檢索做了介紹；然后重點闡述了垃圾評論的各種情況；最后利用TensorFlow對于酒店評論樣本數據進行了情感分析建模比較，并得出相關結論。
第11章 機器翻譯。首先對基于規則的機器翻譯、統計機器翻譯等傳統的機器翻譯情況進行了詳細解釋，并對基于神經網絡的神經網絡機器翻譯模型的架構和工作機制進行了深度剖析，同時對2018年11月份發布的具有重大突破性的BERT模型進行了分析；然后介紹如何實現一個NMT系統；最后講解如何改進標準NMT系統。
第12章 智能問答系統。本章簡要介紹了基于深度學習的問答方法，特別是對知識庫和機器理解的問答。深度學習的優點是可以將所有文本跨度（包括文檔、問題和潛在答案）轉換為向量嵌入，然而基于深度學習的QA模型存在許多挑戰。例如，現有的神經網絡（RNN和CNN）仍然不能精確地捕獲給定問題的語義含義，特別是對于文檔，主題或邏輯結構不能通過神經網絡容易地建模，并且在知識庫中嵌入項目仍然沒有有效的方法，以及QA中的推理過程很難通過向量之間的簡單數值運算來建模。這些問題是質量保證任務面臨的主要挑戰，未來應引起更多的關注。
代碼下載與技術支持
本書示例代碼下載地址請掃描下面的二維碼獲得。如果發現書中存在問題或對本書有什么建議，請聯系電子郵箱280751474@qq.com。
致謝
筆者在撰寫這樣一本技術性很強的書時確實有不少感慨，但正如一位技術界的前輩說的“沒有等出來的美麗，只有走出來的輝煌”，所以在人生的路上，能夠讓自己用行動對沖遺憾，足矣。
在此，我要感謝本書的每一位讀者，希望本書能夠為大家帶來一些啟發。感謝清華大學出版社夏毓彥及其他老師的支持。感謝周一鐵先生、張述睿先生的支持。感謝我的朋友和同學們，得益于你們一直以來的理解和支持，我才能有信心完成這本書的創作。
筆者自認才疏學淺，對深度學習和自然語言處理也僅是略知皮毛，且因時間有限，書中難免有錯謬之處，還請各位讀者予以告知，將不勝感激！
李孟全
2019年5月 |
內容簡介：自然語言處理（NLP）是計算機科學、人工智能、語言學關注計算機和人類（自然）語言之間的相互作用的領域。自然語言處理是機器學習的應用之一，用于分析、理解和生成自然語言，它與人機交互有關，最終實現人與計算機之間更好的交流。
本書分為12章，內容包括自然語言處理基礎、深度學習基礎、TensorFlow、詞嵌入（Word Embedding）、卷積神經網絡（CNN）與句子分類、循環神經網絡（RNN）、長短期記憶（LSTM）、利用LSTM實現圖像字幕自動生成、情感分析、機器翻譯及智能問答系統。
本書適合TensorFlow自然語言處理技術的初學者、NLP應用開發人員、NLP研究人員，也適合高等院校和培訓學校相關專業的師生教學參考。 |
目錄：第1章自然語言處理基礎 1
1.1認識自然語言處理 2
1.2自然語言處理方面的任務 2
1.3第一階段：偏理論的理性主義 4
1.4第二階段：偏實踐應用的經驗主義 5
1.5第三階段：深度學習階段 7
1.6NLP中深度學習的局限性 9
1.7NLP的應用場景 10
1.8NLP的發展前景 13
1.9總結 14
第2章深度學習基礎 15
2.1深度學習介紹 15
2.2深度學習演變簡述 16
2.2.1深度學習早期 16
2.2.2深度學習的發展 17
2.2.3深度學習的爆發 17
2.3神經網絡介紹 18
2.4神經網絡的基本結構 19
2.5兩層神經網絡（多層感知器） 22
2.5.1簡述 22
2.5.2兩層神經網絡結構 22
2.6多層神經網絡（深度學習） 23
2.6.1簡述 23
2.6.2多層神經網絡結構 24
2.7編碼器-解碼器網絡 24
2.8隨機梯度下降 25
2.9反向傳播 27
2.10總結 31
第3章TensorFlow 32
3.1TensorFlow概念解讀 32
3.2TensorFlow主要特征 33
3.2.1自動求微分 33
3.2.2多語言支持 33
3.2.3高度的靈活性 34
3.2.4真正的可移植性 34
3.2.5將科研和產品聯系在一起 34
3.2.6性能最優化 34
3.3TensorFlow安裝 34
3.4TensorFlow計算圖 40
3.5TensorFlow張量和模型會話 42
3.5.1張量 42
3.5.2會話 43
3.6TensorFlow工作原理 43
3.7通過一個示例來認識TensorFlow 45
3.8TensorFlow客戶端 47
3.9TensorFlow中常見元素解讀 49
3.9.1在TensorFlow中定義輸入 50
3.9.2在TensorFlow中定義變量 56
3.9.3定義TensorFlow輸出 57
3.9.4定義TensorFlow運算或操作 58
3.10變量作用域機制 68
3.10.1基本原理 68
3.10.2通過示例解讀 69
3.11實現一個神經網絡 71
3.11.1數據準備 71
3.11.2定義TensorFlow計算圖 71
3.11.3運行神經網絡 73
3.12總結 75
第4章詞嵌入 77
4.1分布式表示 78
4.1.1分布式表示的直觀認識 78
4.1.2分布式表示解讀 78
4.2Word2vec模型（以Skip-Gram為例） 84
4.2.1直觀認識Word2vec 85
4.2.2定義任務 85
4.2.3從原始文本創建結構化數據 85
4.2.4定義詞嵌入層和神經網絡 86
4.2.5整合 87
4.2.6定義損失函數 89
4.2.7利用TensorFlow實現Skip-Gram模型 93
4.3原始Skip-Gram模型和改進Skip-Gram模型對比分析 96
4.3.1原始的Skip-Gram算法的實現 97
4.3.2將原始Skip-Gram與改進后的Skip-Gram進行比較 98
4.4CBOW模型 98
4.4.1CBOW模型簡述 98
4.4.2利用TensorFlow實現CBOW算法 100
4.5Skip-Gram和CBOW對比 101
4.5.1Skip-Gram和CBOW模型結構分析 101
4.5.2代碼層面對比兩模型性能 102
4.5.3Skip-Gram和CBOW模型孰優 104
4.6詞嵌入算法的擴展 105
4.6.1使用Unigram分布進行負采樣 105
4.6.2降采樣 107
4.6.3CBOW和其擴展類型比較 107
4.7結構化Skip-Gram和連續窗口模型 108
4.7.1結構化Skip-Gram算法 108
4.7.2連續窗口模型 110
4.8GloVe模型 111
4.8.1共現矩陣 112
4.8.2使用GloVe模型訓練詞向量 112
4.8.3GloVe模型實現 113
4.9使用Word2Vec進行文檔分類 114
4.9.1數據集 115
4.9.2使用詞向量對文檔進行分類 115
4.9.3小結 119
4.10總結 120
第5章卷積神經網絡與句子分類 121
5.1認識卷積神經網絡 121
5.1.1卷積神經網絡的歷史演變 121
5.1.2卷積神經網絡結構簡述 122
5.2輸入層 125
5.3卷積運算層 126
5.3.1標準卷積 126
5.3.2帶步幅的卷積 127
5.3.3帶填充的卷積 127
5.3.4轉置卷積 128
5.3.5參數共享機制 129
5.4激活函數 131
5.4.1常見激活函數及選擇 131
5.4.2各個非線性激活函數對比分析 132
5.5池化層 134
5.5.1理解池化 134
5.5.2池化作用 135
5.5.3最大池化 135
5.5.4平均池化 136
5.6全連接層 136
5.7整合各層并使用反向傳播進行訓練 137
5.8常見經典卷積神經網絡 138
5.8.1AlexNet 138
5.8.2VGGNet 143
5.8.3GoogleInceptionNet 146
5.8.4ResNet網絡 149
5.9利用CNN對MNIST數據集進行圖片分類 150
5.9.1數據樣本 151
5.9.2實現CNN 151
5.9.3分析CNN產生的預測結果 153
5.10利用CNN進行句子分類 154
5.10.1CNN結構部分 154
5.10.2池化運算 157
5.10.3利用CNN實現句子分類 158
5.11總結 160
第6章循環神經網絡 161
6.1計算圖及其展開 162
6.2RNN解讀 163
6.2.1序列數據模型 163
6.2.2數學層面簡要解讀RNN 165
6.3通過時間的反向傳播算法 166
6.3.1反向傳播工作原理 166
6.3.2直接使用反向傳播的局限性 167
6.3.3通過反向傳播訓練RNN 168
6.3.4截斷BPTT 168
6.3.5BPTT的局限性——梯度消失和梯度爆炸 168
6.4RNN的應用類型 170
6.4.1一對一的RNN 170
6.4.2一對多的RNN 170
6.4.3多對一的RNN 171
6.4.4多對多的RNN 171
6.5利用RNN生成文本 172
6.5.1定義超參數 172
6.5.2隨著時間的推移展開截斷BPTT的輸入 173
6.5.3定義驗證數據集 173
6.5.4定義權重值和偏差 174
6.5.5定義狀態永久變量 174
6.5.6使用展開的輸入計算隱藏狀態和輸出 174
6.5.7計算損失 175
6.5.8在新文本片段的開頭重置狀態 175
6.5.9計算驗證輸出 176
6.5.10計算梯度和優化 176
6.6輸出新生成的文本片段 176
6.7評估RNN的文本結果輸出 177
6.8困惑度——文本生成結果質量的度量 178
6.9具有上下文特征的循環神經網絡——RNN-CF 179
6.9.1RNN-CF的技術說明 180
6.9.2RNN-CF的實現 181
6.9.3定義RNN-CF超參數 181
6.9.4定義輸入和輸出占位符 181
6.9.5定義RNN-CF的權重值 182
6.9.6用于維護隱藏層和上下文狀態的變量和操作 183
6.9.7計算輸出 184
6.9.8計算損失 185
6.9.9計算驗證輸出 185
6.9.10計算測試輸出 186
6.9.11計算梯度和優化 186
6.10使用RNN-CF生成的文本 186
6.11總結 188
第7章長短期記憶 190
7.1LSTM簡述 191
7.2LSTM工作原理詳解 192
7.2.1梯度信息如何無損失傳遞 194
7.2.2將信息裝載入長時記憶細胞 194
7.2.3更新細胞狀態可能產生的問題及解決方案 196
7.2.4LSTM模型輸出 199
7.3LSTM與標準RNN的區別 200
7.4LSTM如何避免梯度消失和梯度爆炸問題 201
7.5優化LSTM 203
7.5.1貪婪采樣 203
7.5.2集束搜索 204
7.5.3使用詞向量 205
7.5.4雙向LSTM 206
7.6LSTM的其他變體 207
7.6.1窺視孔連接 207
7.6.2門控循環單元 208
7.7總結 210
第8章利用LSTM自動生成文本 211
8.1文本到文本的生成 212
8.1.1文本摘要 212
8.1.2句子壓縮與融合 213
8.1.3文本復述生成 213
8.2意義到文本的生成 214
8.2.1基于深層語法的文本生成 214
8.2.2基于同步文法的文本生成 215
8.3數據到文本的生成 216
8.4文本自動生成前的數據準備 218
8.4.1數據集 218
8.4.2預處理數據 220
8.5實現LSTM 220
8.5.1定義超參數 221
8.5.2定義參數 221
8.5.3定義LSTM細胞及其操作 223
8.5.4定義輸入和標簽 223
8.5.5定義處理序列數據所需的序列計算 224
8.5.6定義優化器 225
8.5.7隨著時間的推移衰減學習率 225
8.5.8進行預測 226
8.5.9計算困惑度（損失） 227
8.5.10重置狀態 227
8.5.11貪婪采樣打破重復性 227
8.5.12生成新文本 227
8.5.13示例生成的文本 228
8.6標準LSTM與帶有窺視孔連接和GRU的LSTM的比較 229
8.6.1標準LSTM 229
8.6.2門控循環單元 231
8.6.3帶窺視孔連接的LSTM 233
8.6.4隨著時間的推移訓練和驗證困惑度 235
8.7優化LSTM——集束搜索 236
8.7.1實現集束搜索 236
8.7.2使用集束搜索生成文本的示例 238
8.8改進LSTM——使用詞而不是n-gram生成文本 239
8.8.1維度問題 239
8.8.2完善Word2vec 239
8.8.3使用Word2vec生成文本 240
8.8.4使用LSTM-Word2vec和集束搜索生成文本的示例 241
8.8.5困惑度隨著時間推移的變化情況 242
8.9使用TensorFlowRNNAPI 242
8.10總結 246
第9章利用LSTM實現圖像字幕自動生成 247
9.1簡要介紹 248
9.2發展背景 248
9.3利用深度學習框架從圖像中生成字幕 249
9.3.1End-to-End框架 249
9.3.2組合框架 251
9.3.3其他框架 252
9.4評估指標和基準 253
9.5近期研究 254
9.6圖像字幕的產業布局 255
9.7詳解圖像字幕自動生成任務 255
9.7.1認識數據集 255
9.7.2用于圖像字幕自動生成的深度學習管道 257
9.7.3使用CNN提取圖像特征 259
9.7.4使用VGG-16加載權重值并進行推理 260
9.7.5學習詞向量 264
9.7.6為LSTM模型準備字幕數據 265
9.7.7生成LSTM的數據 266
9.7.8定義LSTM 267
9.7.9定量評估結果 270
9.7.10為測試圖像集生成字幕 273
9.7.11使用TensorFlowRNNAPI和預訓練的GloVe詞向量 276
9.8總結 284
第10章情感分析 286
10.1認識情感分析 286
10.2情感分析的問題 288
10.3情感文檔分類 291
10.4句子主觀性與情感分類 292
10.5基于方面（Aspect）的情感分析 293
10.6情感詞典生成 293
10.7意見摘要 294
10.8比較觀點分析 294
10.9意見搜索 295
10.10垃圾評論檢測 295
10.10.1垃圾評論概述 295
10.10.2垃圾評論的類型 296
10.10.3可觀察到的信息 297
10.10.4數據樣本 298
10.10.5垃圾評論檢測方法 299
10.11評論的質量 302
10.12利用TensorFlow進行中文情感分析實現 304
10.12.1訓練語料 304
10.12.2分詞和切分詞 304
10.12.3索引長度標準化 305
10.12.4反向切分詞 305
10.12.5準備詞向量矩陣 306
10.12.6填充和截短 306
10.12.7構建模型 306
10.12.8結論 307
10.13總結 308
第11章機器翻譯 310
11.1機器翻譯簡介 311
11.2基于規則的翻譯 312
11.2.1基于轉換的機器翻譯 312
11.2.2語際機器翻譯 314
11.2.3基于字典的機器翻譯 317
11.3統計機器翻譯 318
11.3.1統計機器翻譯的基礎 318
11.3.2基于詞的翻譯 319
11.3.3基于短語的翻譯 319
11.3.4基于句法的翻譯 320
11.3.5基于分層短語的翻譯 321
11.3.6統計機器翻譯的優勢與不足 321
11.4神經網絡機器翻譯 321
11.4.1發展背景 321
11.4.2神經網絡機器翻譯的特性 323
11.4.3通過例子來認識神經網絡機器翻譯（NMT）模型的結構 323
11.4.4神經網絡機器翻譯（NMT）模型結構詳解 323
11.5神經網絡機器翻譯（NMT）系統的前期準備工作 326
11.5.1訓練階段 326
11.5.2反轉源語句 327
11.5.3測試階段 328
11.6BLEU評分——評估機器翻譯系統 329
11.6.1BLEU簡述 329
11.6.2BLEU度量 330
11.6.3BLEU的調整和懲罰因子 332
11.6.4BLEU得分總結 333
11.7完整實現神經網絡機器翻譯——德語到英語翻譯 333
11.7.1關于樣本數據 334
11.7.2預處理數據 334
11.7.3學習詞向量 335
11.7.4定義編碼器和解碼器 336
11.7.5定義端到端輸出計算 338
11.7.6神經網絡機器翻譯系統運行結果（部分）的展示 339
11.8結合詞向量訓練神經網絡機器翻譯系統 342
11.8.1最大化數據集詞匯和預訓練詞向量之間的匹配 342
11.8.2為詞嵌入層定義TensorFlow變量 344
11.9優化神經網絡機器翻譯系統 346
11.9.1TeacherForcing算法 346
11.9.2深度LSTM 348
11.9.3注意力模型 349
11.10實現注意力機制 356
11.10.1定義權重值 356
11.10.2計算注意力 357
11.10.3含有注意力機制的神經網絡機器翻譯的部分翻譯結果 358
11.11可視化源語句和目標語句的注意力 361
11.12歷史性突破——BERT模型 362
11.12.1BERT模型簡述 362
11.12.2BERT模型結構 363
11.13總結 364
第12章智能問答系統 366
12.1概要 366
12.2基于知識庫的問答 367
12.2.1信息抽取 367
12.2.2語義分析模式 371
12.2.3信息抽取與語義分析小結 374
12.2.4挑戰 374
12.3機器理解中的深度學習 375
12.3.1任務描述 375
12.3.2基于特征工程的機器理解方法 378
12.3.3機器理解中的深度學習方法 381
12.4利用TensorFlow實現問答任務 386
12.4.1bAbI數據集 386
12.4.2分析GloVe并處理未知令牌 387
12.4.3已知或未知的數據部分 388
12.4.4定義超參數 390
12.4.5神經網絡結構部分 391
12.4.6輸入部分 392
12.4.7問題部分 392
12.4.8情景記憶部分 392
12.4.9注意力部分 393
12.4.10答案模塊 394
12.4.11模型優化 395
12.4.12訓練模型并分析預測 395
12.5總結 397
|
| 序： |
