推薦序二
譯者序
前言
第一部分 預備知識和構建模塊
第1章 混合自然語言處理簡介 2
1.1 知識圖譜、嵌入和語言模型簡史 2
1.2 自然語言處理中知識圖譜和神經網絡方法的結合 4
第2章 單詞、意義和知識圖譜嵌入 6
2.1 引言 6
2.2 分布式單詞表示 6
2.3 詞嵌入 7
2.4 意義和概念嵌入 8
2.5 知識圖譜嵌入 9
2.6 本章小結 13
第3章 理解詞嵌入和語言模型 14
3.1 引言 14
3.2 語言模型 15
3.2.1 統計語言模型 15
3.2.2 神經語言模型 16
3.3 NLP遷移學習的預訓練模型微調 16
3.3.1 ELMo 16
3.3.2 GPT 17
3.3.3 BERT 17
3.4 機器人檢測中預訓練語言模型的微調 18
3.4.1 實驗結果與討論 21
3.4.2 使用Transformer庫對BERT進行微調 21
3.5 本章小結 27
第4章 從文本中捕獲意義作為詞嵌入 28
4.1 引言 28
4.2 下載一個小文本語料庫 29
4.3 一種學習詞嵌入的算法 29
4.4 使用Swivel prep生成共現矩陣 30
4.5 從共現矩陣中學習嵌入 31
4.6 讀取并檢查存儲的二進制嵌入 32
4.7 練習：從古騰堡工程中創建詞嵌入 33
4.7.1 下載語料庫并進行預處理 33
4.7.2 學習嵌入 34
4.7.3 檢查嵌入 34
4.8 本章小結 34
第5章 捕獲知識圖譜嵌入 35
5.1 引言 35
5.2 知識圖譜嵌入 35
5.3 為WordNet創建嵌入 37
5.3.1 選擇嵌入算法：HolE 37
5.3.2 將WordNet知識圖譜轉換為所需輸入 39
5.3.3 學習嵌入 44
5.3.4 檢查嵌入結果 44
5.4 練習 47
5.4.1 練習：在自己的知識圖譜上訓練嵌入 47
5.4.2 練習：檢查WordNet 3.0的預計算嵌入 47
5.5 本章小結 48
第二部分 神經網絡與知識圖譜的結合
第6章 從文本語料庫、知識圖譜和語言模型中構建混合表達 50
6.1 引言 50
6.2 準備工作和說明 51
6.3 Vecsigrafo的概念及構建方式 51
6.4 實現 53
6.5 訓練Vecsigrafo 54
6.5.1 標記化和詞義消歧 56
6.5.2 詞匯表和共現矩陣 58
6.5.3 從共現矩陣學習嵌入 62
6.5.4 檢查嵌入 64
6.6 練習：探索一個預先計算好的Vecsigrafo 66
6.7 從Vecsigrafo到Transigrafo 68
6.7.1 安裝設置 70
6.7.2 訓練Transigrafo 71
6.7.3 擴展知識圖譜的覆蓋范圍 73
6.7.4 評估 Transigrafo 73
6.7.5 檢查Transigrafo中的義項嵌入 75
6.7.6 探索Transigrafo嵌入的穩定性 77
6.7.7 額外的反思 81
6.8 本章小結 81
第7章 質量評估 82
7.1 引言 82
7.2 評估方法的概述 83
7.3 練習1：評估單詞和概念嵌入 84
7.3.1 可視化探索 84
7.3.2 內在評估 85
7.3.3 詞匯預測圖 87
7.3.4 外在評估 90
7.4 練習2：評價通過嵌入獲取的關系知識 90
7.4.1 下載embrela項目 91
7.4.2 下載生成的數據集 91
7.4.3 加載待評估的嵌入 92
7.4.4 學習模型 94
7.4.5 分析模型的結果 94
7.4.6 數據預處理：合并且增加字段 96
7.4.7 計算范圍閾值和偏差數據集檢測 97
7.4.8 發現統計上有意義的模型 99
7.4.9 關系型知識的評估結論 101
7.5 案例研究：評估和對比Vecsigrafo嵌入 101
7.5.1 比較研究 101
7.5.2 討論 111
7.6 本章小結 114
第8章 利用Vecsigrafo捕獲詞法、語法和語義信息 116
8.1 引言 116
8.2 方法 118
8.2.1 Vecsigrafo：基于語料的單詞–概念嵌入 118
8.2.2 聯合嵌入空間 119
8.2.3 嵌入的評估 119
8.3 評估 120
8.3.1 數據集 121
8.3.2 單詞相似度 121
8.3.3 類比推理 124
8.3.4 單詞預測 125
8.3.5 科學文檔的分類 127
8.4 討論 129
8.5 練習：使用surface form對科學文獻進行分類 130
8.5.1 導入所需的庫 130
8.5.2 下載surface form的詞嵌入和SciGraph論文 131
8.5.3 讀取并準備分類數據集 131
8.5.4 surface form的詞嵌入 133
8.5.5 創建嵌入層 134
8.5.6 訓練一個卷積神經網絡 134
8.6 本章小結 136
第9章 知識圖譜的詞嵌入空間對齊與應用 137
9.1 引言 137
9.2 概述及可能的應用 138
9.2.1 知識圖譜的補全 139
9.2.2 超越多語言性：跨模態的詞嵌入 139
9.3 詞嵌入空間的對齊技術 140
9.3.1 線性對齊 140
9.3.2 非線性對齊 146
9.4 練習：尋找古代英語和現代英語的對應 146
9.4.1 下載小型文本語料庫 146
9.4.2 學習基于老莎士比亞語料庫的Swivel詞嵌入 147
9.4.3 在WordNet之上加載UMBC的Vecsigrafo 149
9.4.4 練習的結論 149
9.5 本章小結 150
第三部分 應用
第10章 一種虛假信息分析的混合方法 152
10.1 引言 152
10.2 虛假信息檢測 153
10.2.1 定義和背景 153
10.2.2 技術方法 155
10.3 應用：構建斷言數據庫 156
10.3.1 訓練一個語義斷言編碼器 156
10.3.2 創建嵌入的一個語義索引并進行探索 165
10.3.3 以STS-B開發數據集填充索引 165
10.3.4 為一個斷言數據集創建另一個索引 166
10.3.5 加載數據集到一個Pandas的DataFrame 167
10.3.6 構建一個斷言數據庫的總結 171
10.4 應用：假新聞和欺騙性語言檢測 171
10.4.1 使用深度學習的基本文檔分類 172
10.4.2 使用HolE的嵌入 176
10.4.3 使用Vecsigrafo UMBC WNet的嵌入 178
10.4.4 HoLE和UMBC嵌入的結合 179
10.4.5 討論與結果 180
10.5 通過一個知識圖譜得到傳播虛假信息的評分 182
10.5.1 Data Commons Claim-Review的知識圖譜 182
10.5.2 不可信度評分的傳播 187
10.6 本章小結 190
第11章 科學領域中文本與視覺信息的聯合學習 191
11.1 引言 191
11.2 圖例–標題對應分析的模型與架構 193
11.3 數據集 195
11.4 評估圖例–標題的對應分析任務 195
11.5 圖例–標題的對應分析與圖像–句子匹配的對比 197
11.6 標題與圖例的分類 199
11.7 教科書問答的多模態機器理解 200
11.8 圖例–標題對應分析的練習 201
11.8.1 預備步驟 201
11.8.2 圖例–標題的對應分析 203
11.8.3 圖像–句子匹配 216
11.8.4 標題/圖例分類 219
11.8.5 教科書問答 223
11.9 本章小結 228
第12章 展望自然語言處理的未來 229
12.1 最終的評論、想法和愿景 229
12.2 趨勢是什么？社會各界的意見 231
參考文獻 238