Neural Network Methods for Natural Language Processing
譯者序
前言
致謝
第1章引言
1.1自然語言處理的挑戰
1.2神經網絡和深度學習
1.3自然語言處理中的深度學習
1.4本書的覆蓋面和組織結構
1.5本書未覆蓋的內容
1.6術語
1.7數學符號
注釋
第一部分有監督分類與前饋神經網絡
第2章學習基礎與線性模型
2.1有監督學習和參數化函數
2.2訓練集、測試集和驗證集
2.3線性模型
2.3.1二分類
2.3.2對數線性二分類
2.3.3多分類
2.4表示
2.5獨熱和稠密向量表示
2.6對數線性多分類
2.7訓練和最優化
2.7.1損失函數
2.7.2正則化
2.8基于梯度的最優化
2.8.1隨機梯度下降
2.8.2實例
2.8.3其他訓練方法
第3章從線性模型到多層感知器
3.1線性模型的局限性：異或問題
3.2非線性輸入轉換
3.3核方法
3.4可訓練的映射函數
第4章前饋神經網絡
4.1一個關于大腦的比喻
4.2數學表示
4.3表達能力
4.4常見的非線性函數
4.5損失函數
4.6正則化與丟棄法
4.7相似和距離層
4.8嵌入層
第5章神經網絡訓練
5.1計算圖的抽象概念
5.1.1前向計算
5.1.2反向計算（導數、反向傳播）
5.1.3軟件
5.1.4實現流程
5.1.5網絡構成
5.2實踐經驗
5.2.1優化算法的選擇
5.2.2初始化
5.2.3重啟與集成
5.2.4梯度消失與梯度爆炸
5.2.5飽和神經元與死神經元
5.2.6隨機打亂
5.2.7學習率
5.2.8minibatch
第二部分處理自然語言數據
第6章文本特征構造
6.1NLP分類問題中的拓撲結構
6.2NLP問題中的特征
6.2.1直接可觀測特征
6.2.2可推斷的語言學特征
6.2.3核心特征與組合特征
6.2.4n元組特征
6.2.5分布特征
第7章NLP特征的案例分析
7.1文本分類：語言識別
7.2文本分類：主題分類
7.3文本分類：作者歸屬
7.4上下文中的單詞：詞性標注
7.5上下文中的單詞：命名實體識別
7.6上下文中單詞的語言特征：介詞詞義消歧
7.7上下文中單詞的關系：弧分解分析
第8章從文本特征到輸入
8.1編碼分類特征
8.1.1獨熱編碼
8.1.2稠密編碼（特征嵌入）
8.1.3稠密向量與獨熱表示
8.2組合稠密向量
8.2.1基于窗口的特征
8.2.2可變特征數目：連續詞袋
8.3獨熱和稠密向量間的關系
8.4雜項
8.4.1距離與位置特征
8.4.2補齊、未登錄詞和詞丟棄
8.4.3特征組合
8.4.4向量共享
8.4.5維度
8.4.6嵌入的詞表
8.4.7網絡的輸出
8.5例子：詞性標注
8.6例子：弧分解分析
第9章語言模型
9.1語言模型任務
9.2語言模型評估：困惑度
9.3語言模型的傳統方法
9.3.1延伸閱讀
9.3.2傳統語言模型的限制
9.4神經語言模型
9.5使用語言模型進行生成
9.6副產品：詞的表示
第10章預訓練的詞表示
10.1隨機初始化
10.2有監督的特定任務的預訓練
10.3無監督的預訓練
10.4詞嵌入算法
10.4.1分布式假設和詞表示
10.4.2從神經語言模型到分布式表示
10.4.3詞語聯系
10.4.4其他算法
10.5上下文的選擇
10.5.1窗口方法
10.5.2句子、段落或文檔
10.5.3句法窗口
10.5.4多語種
10.5.5基于字符級別和子詞的表示
10.6處理多字單元和字變形
10.7分布式方法的限制
第11章使用詞嵌入
11.1詞向量的獲取
11.2詞的相似度
11.3詞聚類
11.4尋找相似詞
11.5同中選異
11.6短文檔相似度
11.7詞的類比
11.8改裝和映射
11.9實用性和陷阱
第12章案例分析:一種用于句子意義推理的前饋結構
12.1自然語言推理與 SNLI數據集
12.2文本相似網絡
第三部分特殊的結構
第13章n元語法探測器：卷積神經網絡
13.1基礎卷積池化
13.1.1文本上的一維卷積
13.1.2向量池化
13.1.3變體
13.2其他選擇：特征哈希
13.3層次化卷積
第14章循環神經網絡：序列和棧建模
14.1RNN抽象描述
14.2RNN的訓練
14.3RNN常見使用模式
14.3.1接收器
14.3.2編碼器
14.3.3傳感器
14.4雙向RNN
14.5堆疊RNN
14.6用于表示棧的RNN
14.7文獻閱讀的注意事項
第15章實際的循環神經網絡結構
15.1作為RNN的CBOW
15.2簡單RNN
15.3門結構
15.3.1長短期記憶網絡
15.3.2門限循環單元
15.4其他變體
15.5應用到RNN的丟棄機制
第16章通過循環網絡建模
16.1接收器
16.1.1情感分類器
16.1.2主謂一致語法檢查
16.2作為特征提取器的RNN
16.2.1詞性標注
16.2.2RNNCNN文本分類
16.2.3弧分解依存句法分析
第17章條件生成
17.1RNN生成器
17.2條件生成（編碼器解碼器）
17.2.1序列到序列模型
17.2.2應用
17.2.3其他條件上下文
17.3無監督的句子相似性
17.4結合注意力機制的條件生成
17.4.1計算復雜性
17.4.2可解釋性
17.5自然語言處理中基于注意力機制的模型
17.5.1機器翻譯
17.5.2形態屈折
17.5.3句法分析
第四部分其他主題
第18章用遞歸神經網絡對樹建模
18.1形式化定義
18.2擴展和變體
18.3遞歸神經網絡的訓練
18.4一種簡單的替代——線性化樹
18.5前景
第19章結構化輸出預測
19.1基于搜索的結構化預測
19.1.1基于線性模型的結構化預測
19.1.2非線性結構化預測
19.1.3概率目標函數（CRF）
19.1.4近似搜索
19.1.5重排序
19.1.6參考閱讀
19.2貪心結構化預測
19.3條件生成與結構化輸出預測
19.4實例
19.4.1基于搜索的結構化預測：一階依存句法分析
19.4.2基于NeuralCRF的命名實體識別
19.4.3基于柱搜索的NERCRF近似
第20章級聯、多任務與半監督學習
20.1模型級聯
20.2多任務學習
20.2.1多任務設置下的訓練
20.2.2選擇性共享
20.2.3作為多任務學習的詞嵌入預訓練
20.2.4條件生成中的多任務學習
20.2.5作為正則的多任務學習
20.2.6注意事項
20.3半監督學習
20.4實例
20.4.1眼動預測與句子壓縮
20.4.2弧標注與句法分析
20.4.3介詞詞義消歧與介詞翻譯預測
20.4.4條件生成：多語言機器翻譯、句法分析以及圖像描述生成
20.5前景
第21章結論
21.1我們學到了什么
21.2未來的挑戰
參考文獻