Druid實時大數據分析原理與實踐 ( 簡體 字) |
| 作者：歐陽辰等 | 類別：1. -> 程式設計 -> 大數據 |
| 譯者： |
| 出版社：電子工業出版社 |  3dWoo書號： 46126
詢問書籍請說出此書號！【缺書】
NT售價： 395 元 |
| 出版日：1/1/2017 |
| 頁數：348 |
| 光碟數：0 |
|
站長推薦：   |
| 印刷：黑白印刷 | 語系： ( 簡體 版 ) |
| |
加入購物車  │加到我的最愛
(請先登入會員) |
| ISBN：9787121306235 |
| 作者序 | 譯者序 | 前言 | 內容簡介 | 目錄 | 序 |
| (簡體書上所述之下載連結耗時費功, 恕不適用在台灣, 若讀者需要請自行嘗試, 恕不保證) |
| 作者序： |
| 譯者序： |
前言：前言
大數據的繁榮已經來到，Druid 是數據分析的一把利劍，以開源之道，高效解決了大數
據實時分析的眾多場景！希望此書成為Druid 寶劍秘籍，幫助讀者利用Druid 解決業務問題。
大數據，相比傳統數據，具有四個典型特征，即形式多、體量大、速度快及價值高，最終
以產生商業和社會價值為目的。Druid 在解決大數據問題時，能夠比較好地處理其中兩個方
面，一是大數據量；二是實時處理速度。Druid 在設計上支持PB 級別的數據處理能力，在實
踐中，不少公司都有幾百TB 數據量的成功應用。實時性是Druid 的一個內置特性，能夠輕
松應對每秒數萬的流式實時事件，并且支持水平擴展。Druid 的大多數據查詢的響應時間也
在亞秒級。在數據多樣性方面，Druid 還是有些局限性的，它只支持強類型的數據結構，原
因是為了保證數據索引的高效性和查詢性能。
2005 年以前，數據分析主要是以關系型數據庫為基礎，包括多維數據庫（OLAP），支持
中小規模數據的復雜維度的分析查詢。2005 年以后，很多分析場景的數據量大大增加，對實
時性要求高，對計算總成本敏感，主流關系型數據庫開始有些力不從心。同時，數據行業涌
現出一批基于新硬件架構設計的數據存儲系統，常常統稱為NoSQL，很多系統都高效地解決
了Key-Value 的存儲和訪問問題。
2010 年后，基于大數據的分析場景越來多、越來越重要。大數據驅動的業務模式開始深
入人心，沒有數據指標，就無法進行優化。很多數據軟件系統都無法支持TB 到PB 級別數據
量的實時分析，Druid 就是在這種背景下脫穎而出的開源軟件，幫助大家解決業務中的實時
數據分析問題。
2011 年，MetaMarkets 公司為了解決廣告交易中海量實時數據的分析問題，在嘗試了各
種SQL 和NoSQL 方案后，最后決定自行設計且創建了Druid，該項目于2013 年開源。Druid
是一個支持在大型數據集上進行實時查詢而設計的開源數據分析和存儲系統，提供了低成
本、高性能、高可靠性的解決方案，整個系統支持水平擴展，管理方便。實際上，Druid 的
很多設計思想來源于Google 的秘密分析武器PowerDrill，在功能上，和Apache 開源的Drill
也有幾分相似。Druid 被設計成支持PB 級別的數據量，現實中有數百TB 級別的數據應用實
例，每天處理數十億流式事件。Druid 之所以保持高效，有這樣幾個原因：一是數據進行了
有效的聚合或預計算；二是數據結構的優化，應用了Bitmap 的壓縮算法；三是可擴展的高
可用架構，靈活支持部署的擴展；四是社區的力量，Druid 開發和用戶社區保持活躍，不斷
推動Druid 的完善和改進。
Druid 成功應用于眾多互聯網和非互聯網公司中，特別是用戶行為分析、個性化推薦的
數據分析、物聯網的實時數據分析、互聯網廣告交易分析等領域。國內的主流廣告技術公司，
都曾嘗試或開始采用Druid 支持實時數據分析。傳統技術公司如Cisco, SK Telecom，也都在
使用Druid 進行用戶行為分析等項目。Druid 幫助這些業務場景實現了高效數據存儲和流式
數據分析。
另外，Druid 項目中也有不少中國元素，其創始人之一為中國工程師楊仿今，其他核心
開發工程師也包括阿里的賓莉金、谷歌的郭秉坤等。楊仿今曾多次來到中國進行Druid 的技
術交流。Druid 項目初期，不少中國廣告技術公司參與了Druid 的技術評估。目前該技術也
廣泛應用于中國互聯網公司中，例如騰訊、阿里、小米、優酷土豆、藍海訊通等。
本書的目的就是介紹Druid，讓讀者能夠深入了解Druid 的架構設計、使用管理，也介
紹了一些高級特性和核心源碼的導讀。本書采用由淺入深、循序漸進的方式介紹Druid，內
容組織如下：
第1 章，介紹Druid 的初級概念；第2 章，對行業中不同的數據分析軟件進行介紹和對
比，包括一些時序數據庫；第3 章，Druid 的設計理念和架構介紹；第4 章，Druid 的安裝和
配置；第5 章，Druid 的數據攝入；第6 章，查詢詳解；第7 章，介紹Druid 的一些高級特
性，包括正在積極完善的一些功能；第8 章，核心代碼的導讀和分析；第9 章，集群管理中
的安全和監控；第10 章，介紹幾個公司的Druid 最佳實踐；第11 章，Druid 的生態介紹和展
望。附錄A 簡要回答了一些常見的問題；附錄B 列出了各個服務模塊的參數含義和建議值，
方便系統管理。
Druid 本身也在不斷升級中，大約每3~6 個月都有一次升級，每年都有一個大變化，支
持更多的業務場景，不斷支持各種主流開源生態，同時圍繞著Druid 的開源生態也在慢慢崛
起，包括靈活數據攝入、數據可視化、標準SQL 查詢等。目前Druid 在中國發展非常迅速，
幾乎都是口口相傳的推廣，很多基于Druid 的項目都是線上產品的一部分。正因如此，我們
有理由相信Druid 必將會在開源世界里擁有一個更為繁榮和光彩的明天！
本書創作組 |
內容簡介：Druid 作為一款開源的實時大數據分析軟件，最近幾年快速風靡全球互聯網公司，特別是對于海量數據和實時性要求高的場景，包括廣告數據分析、用戶行為分析、數據統計分析、運維監控分析等，在騰訊、阿里、優酷、小米等公司都有大量成功應用的案例。本書的目的就是幫助技術人員更好地深入理解Druid 技術、大數據分析技術選型、Druid 的安裝和使用、高級特性的使用，也包括一些源代碼的解析，以及一些常見問題的快速回答。Druid 的生態系統正在不斷擴大和成熟，Druid 也正在解決越來越多的業務場景。希望本書能幫助技術人員做出更好的技術選型，深度了解Druid 的功能和原理，更好地解決大數據分析問題。本書適合大數據分析的從業人員、IT 人員、互聯網從業者閱讀。 |
目錄：第1 章初識Druid . . . . . . . 1
1.1 Druid 是什么1
1.2 大數據分析和Druid 1
1.3 Druid 的產生3
1.3.1 MetaMarkets 簡介3
1.3.2 失敗總結4
1.4 Druid 的三個設計原則4
1.4.1 快速查詢（Fast Query） 5
1.4.2 水平擴展能力（Horizontal Scalability） 5
1.4.3 實時分析（Realtime Analytics） 6
1.5 Druid 的技術特點6
1.5.1 數據吞吐量大6
1.5.2 支持流式數據攝入6
1.5.3 查詢靈活且快6
1.5.4 社區支持力度大7
1.6 Druid 的Hello World 7
1.6.1 Druid 的部署環境7
1.6.2 Druid 的基本概念7
1.7 系統的擴展性9
1.8 性能指標10
1.9 Druid 的應用場景10
1.9.1 國內公司11
1.9.2 國外公司12
1.10 小結13
參考資料13
第2 章數據分析及相關軟件. . . . . . 15
2.1 數據分析及相關概念15
2.2 數據分析軟件的發展16
2.3 數據分析軟件的分類17
2.3.1 商業軟件17
2.3.2 時序數據庫22
2.3.3 開源分布式計算平臺23
2.3.4 開源分析數據庫25
2.3.5 SQL on Hadoop/Spark 31
2.3.6 數據分析云服務33
2.4 小結34
參考資料34
第3 章架構詳解. . . . . . . 35
3.1 Druid 架構概覽35
3.2 Druid 架構設計思想36
3.2.1 索引對樹結構的選擇37
3.2.2 Druid 總體架構41
3.2.3 基于DataSource 與Segment 的數據結構43
3.3 擴展系統45
3.3.1 主要的擴展45
3.3.2 下載與加載擴展46
3.4 實時節點47
3.4.1 Segment 數據文件的制造與傳播47
3.4.2 高可用性與可擴展性48
3.5 歷史節點49
3.5.1 內存為王的查詢之道49
3.5.2 層的分組功能50
3.5.3 高可用性與可擴展性51
3.6 查詢節點51
3.6.1 查詢中樞點51
3.6.2 緩存的使用52
3.6.3 高可用性52
3.7 協調節點53
3.7.1 集群數據負載均衡的主宰53
3.7.2 利用規則管理數據生命周期53
3.7.3 副本實現Segment 的高可用性54
3.7.4 高可用性54
3.8 索引服務54
3.8.1 主從結構的架構54
3.8.2 統治節點55
3.8.3 中間管理者與苦工56
3.8.4 任務56
3.9 小結57
第4 章安裝與配置. . . . . . . 58
4.1 安裝準備58
4.1.1 安裝包簡介58
4.1.2 安裝環境59
4.1.3 Druid 外部依賴60
4.2 簡單示例61
4.2.1 服務運行61
4.2.2 數據導入與查詢62
4.3 規劃與部署65
4.4 基本配置68
4.4.1 基礎依賴配置68
4.4.2 數據節點配置調優69
4.4.3 查詢節點配置調優69
4.5 集群節點配置示例70
4.5.1 節點規劃70
4.5.2 Master 機器配置72
4.5.3 Data 機器配置76
4.6 小結79
第5 章數據攝入. . . . . . . 80
5.1 數據攝入的兩種方式80
5.1.1 流式數據源80
5.1.2 靜態數據源81
5.2 流式數據攝取81
5.2.1 以Pull 方式攝取82
5.2.2 用戶行為數據攝取案例86
5.2.3 以Push 方式攝取89
5.2.4 索引服務任務相關管理接口91
5.3 靜態數據批量攝取94
5.3.1 以索引服務方式攝取94
5.3.2 以Hadoop 方式攝取96
5.4 流式與批量數據攝取的結合99
5.4.1 Lambda 架構99
5.4.2 解決時間窗口問題100
5.5 數據攝取的其他重要知識101
5.5.1 數據分片101
5.5.2 數據復制106
5.5.3 索引服務之Tranquility 107
5.5.4 高基數維度優化111
5.6 小結116
第6 章數據查詢. . . . . . . 117
6.1 查詢過程117
6.2 組件118
6.2.1 Filter 118
6.2.2 Aggregator 121
6.2.3 Post-Aggregator 125
6.2.4 Search Query 129
6.2.5 Interval 129
6.2.6 Context 130
6.3 案例介紹131
6.4 Timeseries 134
6.5 TopN 138
6.6 GroupBy 144
6.7 Select 149
6.8 Search 151
6.9 元數據查詢153
6.10 小結156
第7 章高級功能和特性. . . . . . 157
7.1 近似直方圖（Approximate Histogram） 158
7.1.1 分位數和直方圖158
7.1.2 實現原理158
7.1.3 如何使用161
7.1.4 近似直方圖小結163
7.2 數據Sketch 163
7.2.1 DataSketch Aggregator 163
7.2.2 DataSketch Post-Aggregator 167
7.3 地理查詢（Geographic Query） 170
7.3.1 基本原理170
7.3.2 空間索引（Spatial Indexing） 171
7.3.3 空間過濾（Spatial Filter） 171
7.3.4 邊界條件（Boundary Condition） 172
7.3.5 地理查詢小結172
7.4 Router 172
7.4.1 Router 概覽172
7.4.2 路由規則174
7.4.3 配置175
7.4.4 路由策略175
7.5 Ka㶴a 索引服務177
7.5.1 設計背景177
7.5.2 實現178
7.5.3 如何使用182
7.6 Supervisor API 186
7.6.1 創建Supervisor 186
7.6.2 關閉Supervisor 186
7.6.3 獲取當前執行的Supervisor 186
7.6.4 獲取Supervisor 規范186
7.6.5 獲取Supervisor 的狀態報告186
7.6.6 獲取所有Supervisor 的歷史187
7.6.7 獲取Supervisor 的歷史187
7.7 最佳實踐187
7.7.1 容量規劃187
7.7.2 Supervisor 的持久化187
7.7.3 Schema 的配置與變更188
7.8 小結188
第8 章核心源代碼探析. . . . . . 189
8.1 如何編譯Druid 代碼189
8.2 Druid 項目介紹190
8.3 索引結構模塊和層次關系192
8.4 Column 結構192
8.5 Segment 195
8.6 Query 模塊203
8.6.1 基礎組件203
8.6.2 內存池管理206
8.6.3 查詢流程概覽207
8.6.4 查詢引擎225
8.7 Coordinator 模塊229
8.8 小結237
第9 章監控和安全. . . . . . . 238
9.1 Druid 監控238
9.1.1 Druid 監控指標238
9.1.2 常用的監控方法245
9.2 Druid 告警250
9.2.1 Druid 告警信息250
9.2.2 Druid 與告警系統的集成250
9.3 Druid 安全251
9.3.1 Druid 與利用Kerberos 加強安全認證的系統集成251
9.3.2 集成外部權限模塊完成用戶授權255
9.4 小結256
第10 章實踐和應用. . . . . . 257
10.1 小米257
10.1.1 場景一：小米統計服務258
10.1.2 場景二：廣告平臺實時數據分析260
10.2 優酷土豆262
10.2.1 需求分析262
10.2.2 技術選型及工程實踐263
10.2.3 優化策略266
10.3 騰訊267
10.3.1 工程實踐267
10.3.2 業務實踐270
10.4 藍海訊通279
10.5 小結284
第11 章Druid 生態與展望. . . . . 285
11.1 Druid 生態系統285
11.2 Druid 生態系統資源288
11.2.1 IAP 288
11.2.2 Plywood 289
11.2.3 PlyQL 294
11.2.4 Pivot 297
11.2.5 Druid-Metrics-Ka㶴a 300
11.2.6 Caravel（Airbnb） 301
11.3 Druid 的社區討論組302
11.4 Druid 展望302
參考資料303
附錄A 常見問題（FAQ） . . . . . . 304
附錄B 常用參數表. . . . . . . 312 |
| 序： |
