【有庫存】NT售價: 495 元
這是一本系統、全面、理論與實踐相結合的Embedding技術指南,由資深的AI技術專家和高級數據科學家撰寫,得到了黃鐵軍、韋青、張崢、周明等中國人工智能領域的領軍人物的一致好評和推薦。在內容方面,本書理論與實操兼顧,一方面系統講解了Embedding的基礎、技術、原理、方法和性能優化,一方面詳細列舉和分析了Embedding在機器學習性能提升、中英文翻譯、推薦系統等6個重要場景的應用實踐;在寫作方式上,秉承復雜問題簡單化的原則,盡量避免復雜的數學公式,盡量采用可視化的表達方式,旨在降低本書的學習門檻,讓讀者能看得完、學得會。全書一共16章,分為兩個部分:第1部分(第1~9章)Embedding理論知識主要講解Embedding的基礎知識、原理以及如何讓Embedding落地的相關技術,如TensorFlow和PyTorch中的Embedding層、CNN算法、RNN算法、遷移學習方法等,重點介紹了Transformer和基于它的GPT、BERT預訓練模型及BERT的多種改進版本等。第二部分(第10 ~16章)Embedding應用實例通過6個實例介紹了Embedding及相關技術的實際應用,包括如何使用Embedding提升傳統機器學習性,如何把Embedding技術應用到推薦系統中,如何使用Embedding技術提升NLP模型的性能等。
第一部分 Embedding基礎知識第1章 萬物皆可嵌入21.1 處理序列問題的一般步驟31.2 Word Embedding41.2.1 word2vec之前41.2.2 CBOW模型51.2.3 Skip-Gram模型61.2.4 可視化Skip-Gram模型實現過程81.2.5 Hierarchical Softmax優化141.2.6 Negative Sampling優化151.3 Item Embedding161.3.1 微軟推薦系統使用Item Embedding161.3.2 Airbnb推薦系統使用Item Embedding171.4 用Embedding處理分類特征171.5 Graph Embedding201.5.1 DeepWalk方法211.5.2 LINE方法211.5.3 node2vec方法231.5.4 Graph Embedding在阿里的應用231.5.5 知識圖譜助力推薦系統實例261.6 Contextual Word Embedding261.6.1 多種預訓練模型概述271.6.2 多種預訓練模型的發展脈絡291.6.3 各種預訓練模型的優缺點291.6.4 常用預訓練模型301.6.5 Transformer的應用321.7 使用Word Embedding實現中文自動摘要351.7.1 背景說明351.7.2 預處理中文語料庫351.7.3 生成詞向量361.7.4 把文檔的詞轉換為詞向量361.7.5 生成各主題的關鍵詞381.7.6 查看運行結果391.8 小結40第2章 獲取Embedding的方法412.1 使用PyTorch的Embedding Layer412.1.1 語法格式412.1.2 簡單實例432.1.3 初始化442.2 使用TensorFlow 2.0的Embedding Layer452.2.1 語法格式452.2.2 簡單實例452.3 從預訓練模型獲取Embedding472.3.1 背景說明472.3.2 下載IMDB數據集472.3.3 進行分詞472.3.4 下載并預處理GloVe詞嵌入482.3.5 構建模型492.3.6 訓練模型502.3.7 可視化訓練結果502.3.8 不使用預訓練詞嵌入的情況512.4 小結53第3章 計算機視覺處理543.1 卷積神經網絡543.1.1 卷積網絡的一般架構553.1.2 增加通道的魅力563.1.3 加深網絡的動機573.1.4 殘差連接583.2 使用預訓練模型593.2.1 遷移學習簡介593.2.2 使用預訓練模型的方法603.3 獲取預訓練模型633.4 使用PyTorch實現數據遷移實例643.4.1 特征提取實例643.4.2 微調實例673.5 小結69第4章 文本及序列處理704.1 循環網絡的基本結構704.1.1 標準循環神經網絡714.1.2 深度循環神經網絡724.1.3 LSTM網絡結構724.1.4 GRU網絡結構734.1.5 雙向循環神經網絡744.2 構建一些特殊模型754.2.1 Encoder-Decoder模型754.2.2 Seq2Seq模型774.3 小結77第5章 注意力機制785.1 注意力機制概述785.1.1 兩種常見的注意力機制795.1.2 注意力機制的本質795.2 帶注意力機制的Encoder-Decoder模型815.2.1 引入注意力機制815.2.2 計算注意力分配值835.2.3 使用PyTorch實現帶注意力機制的Encoder-Decoder模型855.3 可視化Transformer885.3.1 Transformer的頂層設計895.3.2 Encoder與Decoder的輸入915.3.3 高并發長記憶的實現915.3.4 為加深Transformer網絡層保駕護航的幾種方法985.3.5 如何自監督學習985.4 使用PyTorch實現Transformer1015.4.1 Transformer背景介紹1015.4.2 構建Encoder-Decoder模型1015.4.3 構建Encoder1025.4.4 構建Decoder1055.4.5 構建MultiHeadedAttention1075.4.6 構建前饋網絡層1095.4.7 預處理輸入數據1095.4.8 構建完整網絡1125.4.9 訓練模型1135.4.10 實現一個簡單實例1175.5 Transformer-XL1195.5.1 引入循環機制1195.5.2 使用相對位置編碼1215.5.3 Transformer-XL計算過程1225.6 使用PyTorch構建Transformer-XL1235.6.1 構建單個Head Attention1235.6.2 構建MultiHeadAttention1265.6.3 構建Decoder1295.7 Reformer1305.7.1 使用局部敏感哈希1305.7.2 使用可逆殘差網絡1315.8 小結132第6章 從Word Embedding到ELMo1336.1 從word2vec到ELMo1336.2 可視化ELMo原理1346.2.1 字符編碼層1356.2.2 雙向語言模型1376.2.3 生成ELMo詞嵌入1386.3 小結139第7章 從ELMo到BERT和GPT1407.1 ELMo的優缺點1407.2 可視化BERT原理1417.2.1 BERT的整體架構1417.2.2 BERT的輸入1437.2.3 掩碼語言模型1447.2.4 預測下一個句子1457.2.5 微調1467.2.6 使用特征提取方法1477.3 使用PyTorch實現BERT1487.3.1 BERTEmbedding類的代碼1497.3.2 TransformerBlock類的代碼1497.3.3 構建BERT的代碼1507.4 可視化GPT原理1517.4.1 GPT簡介1517.4.2 GPT的整體架構1517.4.3 GPT的模型結構1527.4.4 GPT-2的Multi-Head與BERT的Multi-Head之間的區別1537.4.5 GPT-2的輸入1537.4.6 GPT-2計算遮掩自注意力的詳細過程1547.4.7 輸出1567.4.8 GPT與GPT-2的異同1567.5 GPT-3簡介1577.6 小結160第8章 BERT的優化方法1618.1 可視化XLNet原理1628.1.1 排列語言模型簡介1628.1.2 使用雙流自注意力機制1638.1.3 融入Transformer-XL的理念1648.1.4 改進后的效果1648.2 ALBERT方法1648.2.1 分解Vocabulary Embedding矩陣1658.2.2 跨層共享參數1678.2.3 用SOP代替NSP方法1688.2.4 其他優化方法1698.3 ELECTRA方法1708.3.1 ELECTRA概述1708.3.2 RTD結構1718.3.3 損失函數1718.3.4 ELECTRA與GAN的異同1728.3.5 評估1728.4 小結173第9章 推薦系統1749.1 推薦系統概述1749.1.1 推薦系統的一般流程1749.1.2 常用推薦算法1759.2 協同過濾1769.2.1 基于用戶的協同過濾1769.2.2 基于物品的協同過濾1779.3 深度學習在推薦系統中的應用1789.3.1 協同過濾中與神經網絡結合1789.3.2 融入多層感知機的推薦系統1799.3.3 融入卷積網絡的推薦系統1809.3.4 融入Transformer的推薦系統1819.4 小結183第二部分 Embedding應用實例第10章 用Embedding表現分類特征18610.1 項目背景18610.1.1 項目概述18610.1.2 數據集說明18710.2 TensorFlow 2詳細實現18810.2.1 導入TensorFlow和其他庫18810.2.2 導入數據集并創建dataframe18810.2.3 將dataframe拆分為訓練、驗證和測試集18910.2.4 用tf.data創建輸入流水線18910.2.5 TensorFlow提供的幾種處理特征列的方法19010.2.6 選擇特征19310.2.7 創建網絡的輸入層19410.2.8 創建、編譯和訓練模型19410.2.9 可視化訓練過程19510.2.10 測試模型19610.3 小結197第11章 用Embedding提升機器學習性能19811.1 項目概述19811.1.1 數據集簡介19911.1.2 導入數據20011.1.3 預處理數據20111.1.4 定義公共函數20311.2 使用Embedding提升神經網絡性能20511.2.1 基于獨熱編碼的模型20511.2.2 基于Embedding的模型20711.3 構建XGBoost模型21111.4 使用Embedding數據的XGBoost模型21211.5 可視化Embedding數據21311.6 小結215第12章 用Transformer實現英譯中21612.1 TensorFlow 2+實例概述21612.2 預處理數據21712.2.1 下載數據21712.2.2 分割數據21912.2.3 創建英文語料字典22012.2.4 創建中文語料字典22212.2.5 定義編碼函數22212.2.6 過濾數據22312.2.7 創建訓練集和驗證集22312.3 構建Transformer模型22512.3.1 Transformer模型架構圖22512.3.2 架構說明22612.3.3 構建scaled_dot_product_attention模塊22612.3.4 構建MultiHeadAttention模塊22712.3.5 構建point_wise_feed_forward_network模塊22812.3.6 構建EncoderLayer模塊22812.3.7 構建Encoder模塊22912.3.8 構建DecoderLayer模塊23012.3.9 構建Decoder模塊23112.3.10 構建Transformer模型23212.3.11 定義掩碼函數23312.4 定義損失函數23612.5 定義優化器23712.6 訓練模型23912.6.1 實例化Transformer23912.6.2 設置checkpoint23912.6.3 生成多種掩碼24012.6.4 定義訓練模型函數24012.6.5 訓練模型24112.7 評估預測模型24212.7.1 定義評估函數24212.7.2 測試翻譯幾個簡單語句24312.8 可視化注意力權重24312.9 小結245第13章 Embedding技術在推薦系統中的應用24613.1 Embedding在Airbnb推薦系統中的應用24613.2 Transformer在阿里推薦系統中的應用24913.3 BERT在美團推薦系統中的應用25013.4 小結253第14章 用BERT實現中文語句分類25414.1 背景說明25414.1.1 查看中文BERT字典里的一些信息25514.1.2 使用tokenizer分割中文語句25614.2 可視化BERT注意力權重25614.2.1 BERT對MASK字的預測25614.2.2 導入可視化需要的庫25714.2.3 可視化25814.3 用BERT預訓練模型微調下游任務25914.3.1 準備原始文本數據25914.3.2 將原始文本轉換成BERT的輸入格式26014.3.3 定義讀取數據的函數26114.3.4 讀取數據并進行數據轉換26314.3.5 增加一個批量維度26414.3.6 查看一個批次數據樣例26514.3.7 微調BERT完成下游任務26514.3.8 查看微調后模型的結構26614.4 訓練模型26714.4.1 定義預測函數26714.4.2 訓練模型26814.5 測試模型26914.5.1 用新數據測試模型26914.5.2 比較微調前后的數據異同27014.5.3 可視化注意力權重27114.6 小結272第15章 用GPT-2生成文本27315.1 GPT-2概述27315.2 用GPT-2生成新聞27515.2.1 定義隨機選擇函數27515.2.2 使用預訓練模型生成新聞27515.3 微調GPT-2生成戲劇文本27715.3.1 讀取文件27715.3.2 對文件進行分詞27715.3.3 把數據集轉換為可迭代對象27815.3.4 訓練模型27815.3.5 使用模型生成文本27915.4 小結280第16章 Embedding技術總結28116.1 Embedding技術回顧28116.1.1 Embedding表示28116.1.2 多種學習Embedding表示的算法28216.1.3 幾種Embedding衍生技術28316.1.4 Embedding技術的不足28516.2 Embedding技術展望28516.2.1 從Embedding的表示方面進行優化28516.2.2 從Embedding的結構上進行優化28616.3 小結286附錄A 基于GPU的TensorFlow 2+、PyTorch 1+升級安裝287附錄B 語言模型307