本書從多個數據項目實例出發，介紹爬蟲、反爬蟲的各種案例，使讀者了解到數據抓取和分析的完整過程。書中案例的難度由淺入深，以作者原創的代碼為主，不借助現成的框架，強調在數據采集過程中的發散思維，總結攻克反爬蟲的思維模式，實現以低成本的方式得到想要的數據的愿望。最后，用一個“愛飛狗”的例子，為讀者展示如何從0到1地開發一個大數據產品。

智能設備（如智能手環、百度音箱、掃地機器人等）的普及使收集個人數據變得非常容易。機器性能的提高使得分析、使用數據變得更加自動化。大量的數據結合強大的計算性能使數據從量變到質變的過程極短，我們的導航早已不再是傻傻地按照既有的策略規劃行駛路線，而是一直在向“老司機”學習，不斷更新算法，從而帶來更精準的預測。

在這個時代，數據就是新一代的資源。我們的身邊充滿了數據流。我們既是數據流的生產者，也是數據流的消費者。對個人而言，如果我們能夠合理地識別、收集、分析、利用這些數據，就能夠在我們做決策時給出一些新的想法。例如，在GitHub上一個非常有效的比特幣高頻交易的源代碼，其作者在2016年年底到2017年1月這段時期內，用6000元的初始資金賺到了25萬元。他所利用的就是對比特幣這種新交易手段的交易數據的洞察，利用機器自動收集分析行情并進行自動化交易。為了解決“什么時候買機票最便宜”的問題，我通過長達兩年的數據爬取，收集到上百億條機票價格數據并進行數據分析及可視化，最后形成了一個名為“愛飛狗”的產品。愛飛狗可將近期各平臺的歷史價格展示給用戶，讓不對稱的價格信息變得更加透明化。通過對這些數據進行分析，我們可以掌握國內航空公司機票票價變化規律。基于人的經驗，在機器學習的幫助下，我的這套方法可以對國內的航班價格提供較為準確的預測，為用戶的出行節約成本。

掌握獲取信息的能力使我們能夠站在更高的角度識別出一些規律。例如，在求職的過程中，大量的公司信息很難進行分辨，即便是某些APP提供了很多的篩選功能，但仍無法滿足我們分析的需求。再如，大量的房產信息淹沒在海量數據中，跟蹤這些數據的變化或許能夠發現一些規律或結論。在這樣一個數據豐富的時代，每個人都應該學習一些從數據采集到數據分析的綜合技能。

本書從基礎知識出發，通過豐富的案例，詳細介紹數據抓取和分析的整個過程，幫助讀者構建相關能力。

本書不同于大多數介紹爬蟲的技術書，不僅講述如何進行數據爬取，而且通過豐富的案例講解爬取數據的思路，介紹數據分析、可視化的方法，以及如何根據數據分析結果，開發一個應用，以求為讀者提供一個從采集數據到應用數據的完整視角。本書以介紹技術思路為主，不會詳細介紹一些特別基礎的知識點，例如，Python的基礎知識、軟件包的安裝操作等，所以需要讀者自行查閱一些相關資料。另外，由于移動應用、網站等更新速度非常快，當閱讀到本書時，可能書中介紹的一些方法已經發生了變化，讀者可以自行研究，把知識靈活地運用到實踐中。

‘特別聲明
本書僅限于討論爬蟲技術，書中展示的案例只是為了讀者更好地理解爬取的思路和操作，達到防范信息泄漏、保護信息安全的目的，請勿用于非法用途！嚴禁利用本書所提到的技術進行非法爬取，否則后果自負，本人和出版商不承擔任何責任。