本書站在初學者的角度，從原理到實踐，循序漸進地講述了使用Python開發網絡爬蟲的核心技術。全書從邏輯上可分為基礎篇、實戰篇和爬蟲框架篇三部分。基礎篇主要介紹了編寫網絡爬蟲所需的基礎知識，分別是網站分析、數據抓取、數據清洗和數據入庫。網站分析講述如何使用Chrome和Fiddler抓包工具對網絡做全面分析；數據抓取介紹了Python爬蟲模塊Urllib和Requests的基礎知識；數據清洗主要介紹字符串操作、正則和Beautiful Soup的使用；數據入庫分別講述了MySQL和MongoDB的操作，通過ORM框架SQLAlchemy實現數據持久化，實現企業級開發。實戰篇深入講解了分布式爬蟲、爬蟲軟件開發與應用、12306搶票程序和微博爬取，所舉示例均來自于開發實踐，可幫助讀者快速提升技能，開發實際項目。框架篇主要講述Scrapy的基礎知識，并通過爬取QQ音樂為實例，讓讀者深層次了解Scrapy的使用。
本書內容豐富，注重實戰，適用于從零開始學習網絡爬蟲的初學者，或者是已經有一些網絡爬蟲編寫經驗，但希望更加全面、深入理解Python爬蟲的開發人員。

隨著大數據和人工智能的普及，Python的地位也變得水漲船高，許多技術人員投身于Python開發，其中網絡爬蟲是Python最為熱門的應用領域之一。在爬蟲領域，Python可以說是處于霸主地位，Python能解決爬蟲開發過程中所遇到的難題，開發速度快且支持異步編程，大大縮短了開發周期，因此，學習Python爬蟲編程，或為爬蟲工程師的必備技能。
本書結構
本書共分18章，各章內容概述如下：
第1章介紹什么是網絡爬蟲、爬蟲的類型和原理、爬蟲搜索策略和反爬蟲技術以及解決方案。
第2章講解爬蟲開發的基礎知識，包括HTTP協議、請求頭和Cookies的作用、HTML的布局結構、JavaScript的介紹、JSON的數據格式和Ajax的原理。
第3章介紹使用Chrome開發工具分析爬取網站，重點介紹開發者工具的Elements和Network標簽的功能和使用方式，并通過開發者工具分析QQ網站。
第4章主要介紹Fiddler抓包工具的原理和安裝配置，Fiddler用戶界面的各個功能及使用方法。
第5章講述了Urllib在Python 2和Python 3的變化及使用，包括發送請求、使用代理IP、Cookies的讀寫、HTTP證書驗收和數據處理。
第6章介紹Python第三方庫Requests的安裝和使用，包括發送請求、使用代理IP、Cookies的讀寫、HTTP證書驗收和文件下載與上傳。
第7章介紹驗證碼的種類和識別方法，包括OCR的安裝和使用、驗證碼圖片處理和使用第三方平臺識別驗證碼。
第8章講述數據清洗的三種方法，包括字符串操作（截取、查找、分割和替換）、正則表達式的使用和第三方庫Beautiful Soup的安裝以及使用。
第9章講述如何將數據存儲到文件，分別介紹了CSV、Excel和Word的讀寫方法及數據存儲。
第10章介紹ORM框架SQLAlchemy的安裝及使用，實現關系型數據庫持久化存儲數據，這是企業級的關系型數據庫操作。
第11章講述非關系型數據庫MongoDB的操作，介紹MongoDB的安裝、原理結構和Python實現MongoDB讀寫。
第12章介紹爬取淘寶商品信息實例，包括網站分析、數據抓取、數據清洗以及存儲在CSV文件中，讀者應掌握爬蟲的開發流程。
第13章介紹爬取QQ音樂全站歌曲實例，包括網站分析、數據抓取和實現SQLAlchemy存儲歌曲信息并下載文件，使用異步編程實現分布式開發，提高爬取效率。
第14章是在第12章的基礎上實現爬蟲軟件開發，包括PyQt5的安裝、使用Qt Designer設計軟件界面、搭建MVC開發架構。
第15章實現12306搶票爬蟲開發，包括用戶登錄、查詢車次、預訂車票、提交訂單和生成訂單的分析以及功能實現。
第16章介紹微博爬蟲開發，包括微博登錄、采集熱門微博、發布微博、關注微博用戶和轉發評論的分析以及功能實現。
第17章介紹Scrapy爬蟲框架，包括Scrapy的運行機制、安裝、項目創建以及各個組件的編寫（Setting、Items、Item Pipelines和Spider）和文件下載。
第18章介紹Scrapy爬取QQ音樂全站歌曲實例，包括編寫Spider實現數據抓取、Item Pipelines實現歌曲信息存儲和歌曲下載、Items定義數據存儲對象和Setting配置項目設置。
本書特色
循序漸進，知識全面：本書站在初學者的角度，圍繞Python網絡爬蟲開發展開
講解，從初學者必備基礎知識著手，循序漸進地介紹了使用Python 3開發網絡爬蟲的各種知識，內容難度適中，由淺入深，實用性強，覆蓋面廣，條理清晰，且具有較強的邏輯性和系統性。
實例豐富，擴展性強：本書采用大量的實例進行講解，力求通過實際操作使讀者更容易地掌握爬蟲開發。本書實例都經過作者精心設計和挑選，根據作者的實際開發經驗總結而來，涵蓋了在實際開發中所遇到的各種問題。對于精選案例，都盡可能做到步驟詳盡、結構清晰、分析深入淺出，而且案例的擴展性強，讀者可根據實際需求擴展開發。
基于理論，注重實踐：在講解過程中，不僅介紹理論知識，而且安排了綜合應用實例或小型應用程序，將理論應用到實踐中，加強讀者的實際開發能力，鞏固開發技能和相關知識。
源碼提供
本書的實例源碼可以在百度網盤下載。
鏈接地址1：https://pan.baidu.com/s/1htxBpic 密碼：aesy
鏈接地址2：https://pan.baidu.com/s/1E7axRN9rC0i9ASM1124lAw
如果你在下載過程中遇到問題，可發送郵件至booksaga@126.com獲得幫助，郵件標題為“玩轉Python網絡爬蟲下載資源”。
在線服務
讀者在學習或者工作的過程中，如果遇到實際問題，可以加入QQ群93314951或657341423與筆者聯系，筆者會在第一時間給予回復。
讀者對象
本書主要適合以下讀者閱讀：
Python網絡爬蟲初學者以及在校學生。
Python初級爬蟲工程師。
從事數據抓取的技術人員。
其他學習Python網絡爬蟲的開發人員。
雖然筆者力求本書更臻完美，但由于水平所限，難免會出現錯誤，特別是實例中爬取的網站可能隨時更新，導致源碼在運行過程中出現問題，歡迎廣大讀者和高手專家給予指正，筆者將十分感謝。



編 者
2018年1月