 |
-- 會員 / 註冊 --
|
 |
|
|
|
Python爬蟲大數據采集與挖掘-微課視頻版 ( 簡體 字) |
| 作者：曾劍平 | 類別：1. -> 程式設計 -> Python
2. -> 程式設計 -> 網路爬蟲 |
| 譯者： |
| 出版社：清華大學出版社 |  3dWoo書號： 52506
詢問書籍請說出此書號！【缺書】
NT售價： 300 元 |
| 出版日：3/1/2020 |
| 頁數：296 |
| 光碟數：0 |
|
站長推薦：   |
| 印刷：黑白印刷 | 語系： ( 簡體 版 ) |
| |
加入購物車  │加到我的最愛
(請先登入會員) |
| ISBN：9787302540540 |
| 作者序 | 譯者序 | 前言 | 內容簡介 | 目錄 | 序 |
| (簡體書上所述之下載連結耗時費功, 恕不適用在台灣, 若讀者需要請自行嘗試, 恕不保證) |
| 作者序： |
| 譯者序： |
前言：
互聯網數據具有典型的大數據特征，即數據量巨大、數據類型多樣化、數據來源豐富，并且隨著“互聯網+”國家戰略的推進，互聯網大數據的應用價值變得多樣化。因此，互聯網大數據成為大數據技術教學和研究應用的重要數據源。
在這種背景下，互聯網大數據采集技術成為許多人迫切需要掌握的技術，本書就是為了適應這種需求而編寫的，同時本書也是作者及其科研團隊十多年來教學和科研實踐經驗的總結。作者及其科研團隊長期從事互聯網內容分析挖掘、網絡輿情、大數據、信息內容安全技術和應用方面的科研工作，在包括國家自然科學基金項目在內的各類科研項目支持下，對互聯網信息獲取和處理方法開展了大量研究，積累了一定的經驗和成果，涵蓋論文、發明專利和軟件著作權等，作者強烈希望把科研工作中的體會和理解整理出來。
作者從2011年開始先后為復旦大學信息安全專業的本科生、研究生開設了“信息內容安全”“大數據安全”等課程，經過多年的教學實踐，了解了學生的學習需求，積累了較為充足的關于互聯網大數據采集挖掘技術的講義和素材。作者于2017年出版了《互聯網大數據處理技術與應用》一書，兩年來經過在不同場合下與學生、讀者和同行的交流，體會到互聯網大數據采集技術在大數據研究和教學中的重要性，因此也迫切需要對大數據采集技術進行深入細化，整理相關技術原理和實現技術。
本書以互聯網大數據采集為主題，介紹相關技術基礎、大數據采集技術、大數據挖掘及應用技術。在內容安排上，本書充分考慮了知識體系的完整性和獨立性，涵蓋Web應用架構技術、Web頁面及相關技術、各種爬蟲采集技術、Web信息提取技術、大數據處理與挖掘以及應用方式； 在爬蟲技術上，涵蓋了各種不同類型的爬蟲，包括普通爬蟲、動態爬蟲、主題爬蟲、Deep Web爬蟲以及微博爬蟲； 在應用方面，以兩種典型的Web網站信息采集與處理為例，介紹了爬蟲技術的應用模式與Python實現方法。
本書作為一本產學兼顧的教材，具有如下特色：
（1） 以互聯網大數據采集技術為中心，將Web應用技術、各種頁面采集的共性技術與特有技術、大數據處理與挖掘以及爬蟲合規性等相關技術有機地結合在一起，涉及當前互聯網Web空間的典型應用，構成完整的大數據采集技術和應用的知識體系。
（2） 在互聯網大數據的采集技術中，完整系統地涵蓋了普通爬蟲、動態爬蟲、主題爬蟲、Deep Web爬蟲以及微博數據采集，既強調爬蟲抓取數據的功能，也凸顯爬蟲作為Web應用安全監測的主要技術，有利于讀者全面理解網絡爬蟲大數據技術及其應用。
（3） 秉承“授人以魚不如授人以漁”的總體思路，本書理論與實踐相結合，書中既有相關技術原理的介紹，也包含了大量的Python實現技術、開源架構等方面的介紹，提供了27個與爬蟲技術和應用相關的Python程序，使得讀者既能理解技術問題又能動手實踐。
本書分為四大部分，共12章，涵蓋互聯網大數據采集的基礎、技術和應用，各章的內容安排如下：
第一部分概述，包括第1章。
第1章對大數據采集的重要性、技術體系、應用現狀、合規性以及技術發展進行了概述。
第二部分基礎篇，包括第2、3章。
第2章介紹了Web頁面信息提取中的主要基礎技術和方法，包括HTML語言規范、頁面編碼體系與規范，以及廣泛用于Web頁面簡單信息提取的正則表達式。
第3章對Web應用架構技術進行了介紹，包括Web服務器應用架構、HTTP協議、狀態保持技術、Robots協議等與爬蟲密切相關的技術。
第三部分技術與實現篇，包括第4~10章。
第4章對普通爬蟲頁面采集技術進行了介紹，包括Web服務器連接器、爬蟲策略、超鏈接處理以及Python的實現方法等。
第5章介紹了動態爬蟲的相關技術，包括動態頁面內容的生成與交互、動態頁面采集的若干種典型方法和Python實現技術。
第6章介紹了從Web頁面提取信息所需要的技術，介紹了技術原理和典型的開源技術，給出了一些實例。
第7章介紹了主題爬蟲技術及實現方法，涉及主題爬蟲的技術體系、主題表示和建模、主題相似度計算等。
第8章是關于Deep Web的數據采集技術及實現。
第9章是關于微博信息的采集方法及實現，主要包括通過API獲取微博信息和通過爬蟲技術獲取微博信息兩種方法。
第10章介紹了反爬蟲的常用技術，同時也介紹了針對這些反爬蟲技術的一些主要應對措施。
第四部分大數據挖掘與應用篇，包括第11、12章。
第11章介紹了大數據采集應用以及主題爬蟲中需要使用的部分技術，包括文本的預處理、文本分類、主題建模、大數據可視化技術以及一些開源工具等。
第12章針對兩種典型的大數據采集技術應用案例進行了完整的介紹。
這些章節的知識點之間的依賴關系如下圖所示，其中，虛框中的第4~9章是各種典型的爬蟲采集技術，
第1~3章是相關技術基礎。讀者可以根據自己的基礎選擇合適的學習路線。
全書由曾劍平負責內容安排、統稿，由互聯網大數據處理技術和應用研究領域的一線人員參與編寫。段江嬌參與編寫了第1、4、5章，廖含月編寫了第2章的部分內容，孟元編寫了本書部分例子的程序及相關文字說明，肖楊實現了SQL注入的爬蟲在線檢測，其他部分由曾劍平編寫，曾睿對全書進行了校對。清華大學出版社的編輯們為本書的出版和編輯、校對花費了很多心思； 此外，在本書的編寫過程中參考和引用了許多作者發表的各種論文、技術報告，均已在參考文獻中列出，在此一并表示衷心的感謝。需要特別提到的是，為了便于讀者理解相關技術，書中選擇若干互聯網網站頁面采集作為實例，特別向這些網站表示感謝。
注： 本書提供300分鐘的視頻講解，掃描書中相關位置的二維碼可以在線觀看、學習； 本書還提供教學大綱、教學課件、程序源碼、教學進度表等配套資源，掃描封底的二維碼可以下載。
互聯網大數據采集技術仍在不斷發展當中，本書在內容選擇及編寫上從深度和廣度做了精心的安排。由于時間倉促以及作者的學識水平限制，書中難免存在不足之處和疏忽，懇請讀者不吝批評指正，以利于再版修訂完善。
作者2019年10月
|
內容簡介：本書圍繞大數據采集,對采集技術的相關基礎、技術原理、 Python實現技術、大數據挖掘與應用方法 進行了系統介紹。書中全面、完整地覆蓋了各種類型的網絡爬蟲及相關的信息處理挖掘技術,并提供了27個與爬蟲技術和應用相關的Python程序。全書共分為四大部分,即概述、基礎篇、技術與實現篇 、大數據挖掘與應用篇。第一部分是概述,首先指出了利用Python采集互聯網大數據的重要性,介紹了 相關技術研究、技術體系、 Py t hon爬蟲采集技術的合規性及應用現狀等; 第二部分是基礎篇,包括 Web服務器的應用架構以及HTTP、 Robots、 HTML、頁面編碼等相關協議和規范; 第三部分是技術與 實現篇,全面介紹了普通網絡爬蟲技術、動態頁面采集方法、主題爬蟲技術、 DeepWeb爬蟲、微博信息采集 、Web信息提取以及反爬蟲技術等,內容涵蓋了各種爬蟲技術實現方法及Python例子; 第四部分是 大數據挖掘與應用篇,介紹了用于爬蟲應用中的典型大數據處理與挖掘技術以及 Web大數據采集的常 見應用模式,并以新聞采集與分析、 SQL注入在線檢測為例介紹了Python爬蟲應用構建方法,將本書介紹的一些關鍵技術、模型和工具貫穿在一起。
本書可以作為高等院校大數據、計算機、信息以及經管、金融等相關專業的教材,也可以作為大數據、計算機、信息以及經管、金融等領域研究人員和專業技術人員的參考書。 |
目錄：第一部分概述
第1章大數據采集概述
1.1互聯網大數據與采集
1.1.1互聯網大數據來源
1.1.2互聯網大數據的特征
1.2Python爬蟲大數據采集技術的重要性
1.3爬蟲技術研究及應用現狀
1.4爬蟲技術的應用場景
1.5爬蟲大數據采集的技術體系
1.5.1技術體系構成
1.5.2相關技術
1.5.3技術評價方法
1.6爬蟲大數據采集與挖掘的合規性
1.7爬蟲大數據采集技術的展望
思考題
第二部分基礎篇
第2章Web頁面及相關技術
2.1HTML語言規范
2.1.1HTML標簽
2.1.2HTML整體結構
2.1.3CSS簡述
2.1.4常用標簽
2.1.5HTML語言的版本進化
2.2編碼體系與規范
2.2.1ASCII
2.2.2gb2312/gbk
2.2.3unicode
2.2.4utf拟8
2.2.5網頁中的編碼和Python處理
2.3Python正則表達式
思考題
第3章Web應用架構與協議
3.1常用的Web服務器軟件
3.1.1流行的Web服務器軟件
3.1.2在Python中配置Web服務器
3.2Web服務器的應用架構
3.2.1典型的應用架構
3.2.2Web頁面的類型
3.2.3頁面文件的組織方式
3.3Robots協議
3.3.1Robots協議的來歷
3.3.2Robots協議的規范與實現
3.4HTTP協議
3.4.1HTTP版本的技術特性
3.4.2HTTP報文
3.4.3HTTP頭部
3.4.4HTTP狀態碼
3.4.5HTTPS
3.5狀態保持技術
3.5.1Cookie
3.5.2Session
思考題
第三部分技術與實現篇
第4章普通爬蟲頁面采集技術與Python實現
4.1普通爬蟲的體系架構
4.2Web服務器連接器
4.2.1整體處理過程
4.2.2DNS緩存
4.2.3requests/response的使用方法
4.2.4錯誤和異常的處理
4.3超鏈接及域名提取與過濾
4.3.1超鏈接的類型
4.3.2提取方法
4.3.3遵守Robots協議的友好爬蟲
4.4爬行策略與實現
4.4.1爬行策略及設計方法
4.4.2寬度優先和深度優先策略
4.4.3基于PageRank的重要性排序
4.4.4其他策略
4.4.5爬行策略設計的綜合考慮
思考題
第5章動態頁面采集技術與Python實現
5.1動態頁面內容的生成與交互
5.1.1頁面內容的生成方式
5.1.2動態頁面交互的實現
5.2動態頁面采集技術
5.3使用帶參數的URL
5.4利用Cookie和Session
5.5使用Ajax：以評論型頁面為例
5.5.1獲取URL地址
5.5.2獲取動態請求參數
5.6模擬瀏覽器——以自動登錄郵箱為例
思考題
第6章Web信息提取與Python實現
6.1Web信息提取任務及要求
6.2Web頁面內容提取的思路
6.2.1DOM樹
6.2.2提取方法
6.3基于HTML結構的內容提取方法
6.3.1html.parser
6.3.2lxml
6.3.3html5lib
6.3.4BeautifulSoup
6.3.5PyQuery
6.4基于統計的Web內容抽取方法
思考題
第7章主題爬蟲頁面采集技術與Python實現
7.1主題爬蟲的使用場景
7.2主題爬蟲技術框架
7.3主題及其表示
7.4相關度計算
7.4.1主題相關度的計算
7.4.2鏈接相關度估算
7.4.3頁面內容相關度計算
7.5特定新聞主題采集
思考題
第8章DeepWeb爬蟲與Python實現
8.1相關概念
8.2DeepWeb的特征和采集要求
8.3深度網頁內容獲取技術架構
8.3.1領域本體知識庫
8.3.2尋找表單
8.3.3表單處理
8.3.4結果處理
8.4圖書信息采集
思考題
第9章微博信息采集與Python實現
9.1微博信息采集方法概述
9.2微博開放平臺授權與測試
9.3在Python中調用微博API采集數據
9.3.1流程介紹
9.3.2微博API及使用方法
9.3.3采集微博用戶個人信息
9.3.4采集微博博文
9.3.5微博API的限制
9.4通過爬蟲采集微博信息
思考題
第10章反爬蟲技術與反反爬蟲技術
10.1兩種技術的概述
10.2反爬蟲技術
10.2.1爬蟲檢測技術
10.2.2爬蟲阻斷技術
10.3反反爬蟲技術
思考題
第四部分大數據挖掘與應用篇
第11章文本信息處理與挖掘技術
11.1文本預處理
11.1.1詞匯切分
11.1.2停用詞過濾
11.1.3詞形規范化
11.1.4Python開源庫jieba的使用
11.2文本的向量空間模型
11.2.1特征選擇
11.2.2模型表示
11.2.3使用Python構建向量空間表示
11.3文本分類及實現技術
11.3.1分類技術概要
11.3.2分類器技術
11.3.3新聞分類的Python實現
11.4主題及其實現技術
11.4.1主題的定義
11.4.2基于向量空間的主題構建
11.4.3LDA主題模型
11.4.4LDA模型的Python實現
11.5大數據可視化技術
11.5.1大數據可視化方法概述
11.5.2Python開源庫的使用
思考題
第12章互聯網大數據獲取技術的應用
12.1常見應用模式
12.2新聞閱讀器采集與分析
12.2.1目標任務
12.2.2總體思路
12.2.3新聞內容采集與提取
12.2.4新聞分析
12.3爬蟲用于Web網站SQL注入檢測
12.3.1目標任務
12.3.2總體思路
12.3.3Python程序設計
思考題
附錄A代碼與數據
附錄B相關包索引
附錄C爬蟲框架
附錄D書中視頻對應二維碼匯總表
參考文獻 |
| 序： |
|
