這是一本從技術、產品和運營3個角度講解如何從0到1構建用戶畫像系統的著作，同時它還為如何利用用戶畫像系統驅動企業的營收增長給出了解決方案。作者有多年的大數據研發和數據化運營經驗，曾參與和負責多個億級規模的用戶畫像系統的搭建，在用戶畫像系統的設計、開發和落地解決方案等方面有豐富的經驗。



全書一共9章：

第1~6章主要講解了搭建用戶畫像系統需要掌握的概念、技術、流程、方法論等，包括用戶畫像的基礎知識、數據指標體系、標簽數據存儲、標簽數據開發、開發性能調優、作業流程調度等；

第7章講解了如何對用戶畫像進行產品化，為工程實踐提供解決方案；

第8章詳細講解了用戶畫像在經營分析、精準營銷和個性化推薦3個經典領域的應用；

第9章通過8個常見的場景講解了8個用戶畫像系統的落地案例，幫助讀者掌握如何利用用戶畫像系統來驅動企業的營收增長。

為什么寫這本書

我曾在知乎“數據智能”專欄下面不定期連載關于用戶畫像的文章，也曾在知乎開設過幾期live直播，還曾在天善智能等網課平臺開設過系列網課“用戶畫像解決方案”。在和同行業中對畫像感興趣的朋友們交流時，我發現大家雖然來自地產、煙草、零售、互聯網等不同行業，但所在公司對用戶畫像領域都有建設需求，而且大家對于指標體系、標簽作業效率（ETL）、標簽監控、實時計算、畫像產品化、業務應用場景和應用方式等方面都有進一步了解的興趣。所以我想對這些年做用戶畫像的經驗、踩過的“坑”進行梳理總結，為數據開發、數據分析、運營、用戶研究等崗位的工作人員提供一些參考。

在寫這份解決方案的一個個夜晚，我有時會想，科技和時代都在飛速發展，如果有一天我不做這一行了，該拿什么來回憶那些年奮斗的時光呢？2019年，我第3次從0到1開始搭建用戶畫像系統，從離線標簽開發、用戶數據分析、ETL調度、流式計算開發，到打通數據服務層、應用畫像數據服務業務方、獲得業務增長的反饋，這一路走過來，過程是痛苦的，收獲是豐富的。奮斗的日子固然多彩，回望一步步走過的路，謹以此書向那些不舍晝夜奔騰向前的日子致敬。

本書特色

開始做用戶畫像的時候我也不知道從何處下手，市面上介紹Hive、Spark、HBase、MySQL、數據倉庫等大數據相關技術的書籍很多，但是介紹用戶畫像搭建開發的書籍很少，甚至沒有。在沒有相關項目經驗的情況下，我不知道如何把這些大數據組件統籌起來搭建用戶畫像系統。直到這兩年，我才一邊開發畫像系統，一邊總結梳理，最終編纂成本書。

本書借助數據倉庫實現一套用戶畫像系統的方案。從實際工程案例出發，結合多業務場景，內容涵蓋開發離線批處理計算的標簽及流式計算標簽，為讀者的分析、開發、搭建用戶畫像系統，并借助該用戶畫像系統為運營人員制定運營用戶的策略提供端到端的解決方案。

一套好的解決方案需要包括以下幾個層面。

1）架構層：在畫像系統的架構層，本書首先介紹了畫像數據倉庫的架構，進一步介紹了數據存儲的技術選型，在什么場景下使用Hive、MySQL、HBase、Elasticsearch等工具存儲數據，用戶標簽開發、人群計算開發等相應數據開發層面的內容，以及整個項目的開發流程和各階段的關鍵產出。

2）流量層：介紹整個方案是如何運作起來的。本書主要涉及畫像系統的作業流程調度、數據倉庫和各業務系統的打通。

3）業務層：包括系統的前后端交互以及如何把這套系統應用在業務服務層面。本書通過用戶畫像產品化介紹了產品端和畫像系統的“代碼”層面是如何進行交互操作的。

4）方案價值：包括系統上線后如何服務于各業務場景產生業務價值以及有待進一步完善的地方。

以上幾個層面的內容構成了一套完整的用戶畫像解決方案，這也是本書各章節覆蓋的全部模塊。

數據的最終目的是走出數據倉庫，應用到業務系統和營銷系統中來驅動營收增長。

我在學習數據倉庫的時候學過Kimball的《數據倉庫工具箱》，其中關于數據倉庫的34個子系統的介紹對我影響很大，其對于如何解決特定問題并形成結構化思維有著系統的方法論與解決方案。雖然面對具體問題的處理方式是靈活且豐富多樣的，但是固定的結構化思維有利于快速找到突破口，形成良好的開端。

本書可以幫助讀者在用戶畫像領域形成一種體系化思維，在面對一個具體項目時不會無從下手。如何建立標簽指標體系？指標體系中包含哪些標簽？如何設計存儲畫像標簽的表結構？如何開發標簽？畫像系統中涉及哪些數據存儲工具？如何打通標簽數據到服務層？如何對畫像系統進行監控？如何對整個畫像系統進行調度？如何使畫像系統服務于業務場景來驅動增長？這些都是畫像系統的子模塊。

主要章節及內容

本書共9章，各章具體內容如下：

第1章：主要講用戶畫像的基礎知識，包括搭建用戶畫像系統需要覆蓋的模塊，開發階段流程，各階段的關鍵產出，以及數據倉庫架構、表結構的設計等內容。閱讀本章可以幫助讀者形成構建用戶畫像的一個整體化思想。

第2章：結合業務設定指標體系，本章針對案例背景，從常用的用戶屬性、行為、消費、風險控制這4個維度設定指標體系。本章提供的標簽可涵蓋大部分刻畫用戶畫像的應用場景，對于具體應用點，讀者可根據公司業務特性進行針對性的補充。

第3章：講解了標簽相關數據的存儲，包括Hive存儲、MySQL存儲、HBase存儲和Elasticsearch存儲。不同的存儲方式適用于不同的場景和業務需要。

第4章：也是本書的重點章節，書中介紹的標簽數據及相關腳本的開發是用戶畫像構建工作的重點。本章講解了對常見的統計類、規則類、挖掘類、流式計算類標簽以及用戶特征庫等與用戶相關的數據的開發，還進一步介紹了如何計算人群數據、打通數據到服務層通路的開發。通過GraphX圖計算用戶2度關系熟人的案例介紹了如何深度挖掘用戶間的關聯關系。本章對每一小節都進行了詳細的講解，并附有配套的代碼計算過程。

第5章：講解了開發過程中常見的數據傾斜調優、對小文件的讀取、緩存中間數據、開發中間表等調優工作。

第6章：講解了如何使用開源ETL工具Airflow實現畫像系統相關任務的工程化上線調度，以及對數據的監控預警和調度異常的排查。

第7章：畫像產品化是數據從數據倉庫走向業務服務的重要環節，畫像產品化可便于業務人員使用工具來分析用戶，將業務上定義的用戶群應用到各業務系統中提供服務。本章為數據產品人員、業務人員提供了解決方案的思路。

第8章：介紹了用戶畫像的應用場景，包括經營分析、精準營銷、個性化推薦等應用方向，方便業務人員、產品經理、數據分析師更好地了解用戶、觸達用戶。

第9章：通過場景化介紹用戶畫像實際應用的8個案例，清楚地展現了用戶畫像作為一種分析、觸達用戶的工具在實際業務上的應用方式和應用流程。

主要讀者對象

產品經理：由于崗位性質對技術不是特別熟悉，可重點關注第1、2、7、8、9章的內容。

數據分析師：可以從多個維度對用戶及用戶群進行分析，可重點關注第1、2、3、7、8、9章的內容。

運營人員：可重點關注第2、8、9章的內容，了解畫像系統涉及的指標體系、應用場景及應用策略。

數據開發人員：本書主要站在數據開發人員的角度對整個畫像系統進行系統化介紹。數據開發人員可完整閱讀本書各章的內容。

市場人員：借助畫像系統了解用戶群體的特征以及運營用戶群的策略方法，可重點關注第2、8、9章的內容。

勘誤和支持

由于水平有限，書中難免會存在疏漏之處，懇請讀者批評指正。為此，讀者可通過郵箱（892798505@qq.com）或微信（administer00001）反饋有關問題，我將盡全力為讀者進行解答。

致謝

感謝父母對我一路成長的支持。感謝機械工業出版社華章公司的楊福川老師和李藝老師，這是我第二次與兩位老師合作，每次合作與溝通總是那么愉快；感謝為本書寫推薦的朋友們，你們的專業建議讓本書更加精彩。最后，感謝過去一年中自己的每一分投入，不斷積累，將大數據在用戶畫像領域的工程化實現和應用方案編纂成書。