第 一部分 導言—熟悉實時分析

第 1章 實時分析簡介　2
1.1　大數據的定義　2
1.2　大數據的基礎設施　3
1.3　實時分析—神話與現實　6
1.4　近實時解決方案—可用的架構　9
1.4.1　NRT的Storm解決方案　9
1.4.2　NRT的Spark解決方案　10
1.5　Lambda架構—分析可能性　11
1.6　物聯網—想法與可能性　13
1.7　云—考慮NRT和物聯網　17
1.8　小結　18
第 2章 實時應用的基本組件　19
2.1　NRT系統及其構建模塊　19
2.1.1　數據采集　21
2.1.2　流處理　22
2.1.3　分析層—服務終端用戶　23
2.2　NRT的高級系統視圖　25
2.3　NRT的技術視圖　26
2.3.1　事件生產者　27
2.3.2　數據收集　27
2.3.3　代理　29
2.3.4　轉換和處理　31
2.3.5　存儲　32
2.4　小結　32

第二部分　搭建基礎設施

第3章　了解和跟蹤數據流　34
3.1　了解數據流　34
3.2　為數據提取安裝基礎設施　35
3.2.1　Apache Kafka　35
3.2.2　Apache NiFi　36
3.2.3　Logstash　41
3.2.4　Fluentd　43
3.2.5　Flume　46
3.3　將數據從源填到處理器—期望和注意事項　48
3.4　比較與選擇適合用例的最佳實踐　49
3.5　小試牛刀　49
3.6　小結　51
第4章　安裝和配置Storm　52
4.1　Storm概述　52
4.2　Storm架構和組件　53
4.2.1　特征　54
4.2.2　組件　54
4.2.3　流分組　56
4.3　安裝和配置Storm　57
4.3.1　安裝Zookeeper　57
4.3.2　配置Apache Storm　59
4.4　在Storm上實時處理任務　61
4.5　小結　67
第5章　配置Apache Spark和Flink　68
5.1　安裝并快速運行Spark　68
5.1.1　源碼構建　69
5.1.2　下載Spark安裝包　69
5.1.3　運行示例　70
5.2　安裝并快速運行Flink　73
5.2.1　使用源碼構建Flink　73
5.2.2　下載Flink　74
5.2.3　運行示例　75
5.3　安裝并快速運行Apache Beam　79
5.3.1　Beam模型　79
5.3.2　運行示例　80
5.3.3　MinimalWordCount示例　82
5.4　Apache Beam中的平衡　85
5.5　小結　88

第三部分　Storm實時計算

第6章　集成Storm與數據源　90
6.1　RabbitMQ有效的消息傳遞　90
6.2　RabbitMQ交換器　91
6.2.1　直接交換器　91
6.2.2　RabbitMQ安裝配置　93
6.2.3　RabbitMQ的發布和訂閱　95
6.3　RabbitMQ與Storm集成　99
6.4　PubNub數據流發布者　107
6.5　將Storm和RMQ_PubNub傳感器數據拓撲串在一起　111
6.6　小結　114
第7章　從Storm到Sink　115
7.1　安裝并配置Cassandra　115
7.1.1　安裝Cassandra　116
7.1.2　配置Cassandra　117
7.2　Storm和Cassandra拓撲　118
7.3　Storm和IMDB集成處理維度數據　120
7.4　集成表示層與Storm　122
7.5　小試牛刀　134
7.6　小結　143
第8章　Storm Trident　144
8.1　狀態保持和Trident　144
8.1.1　事務性spout　145
8.1.2　不透明事務性spout　145
8.2　基本Storm Trident拓撲　146
8.3　Trident內部實現　148
8.4　Trident操作　149
8.4.1　函數　149
8.4.2　Map函數and FlatMap函數　150
8.4.3　peek函數　151
8.4.4　過濾器　151
8.4.5　窗口操作　152
8.4.6　聚合操作　155
8.4.7　分組操作　158
8.4.8　合并和組合操作　159
8.5　DRPC　160
8.6　小試牛刀　161
8.7　小結　164

第四部分　使用Spark實現實時計算

第9章　運用Spark引擎　166
9.1　Spark概述　166
9.2　Spark的獨特優勢　169
9.3　Spark用例　172
9.4　Spark架構—引擎內部的運行模式　174
9.5　Spark的語用概念　176
9.6　Spark 2.x—數據框和數據集的出現　178
9.7　小結　179
第　10章 運用Spark操作　180
10.1　Spark—封裝和API　180
10.2　RDD語用探索　182
10.2.1　轉換　185
10.2.2　動作　190
10.3　共享變量—廣播變量和累加器　192
10.3.1　廣播變量　192
10.3.2　累加器　195
10.4　小結　196
第　11章 Spark Streaming　197
11.1　Spark Streaming的概念　197
11.2　Spark Streaming的簡介和體系結構　198
11.3　Spark Streaming的封裝結構　203
11.3.1　Spark Streaming API　203
11.3.2　Spark Streaming操作　204
11.4　連接Kafka和Spark Streaming　206
11.5　小結　208

第五部分　使用Flink實現實時分析

第　12章 運用Apache Flink　210
12.1　Flink體系結構和執行引擎　210
12.2　Flink的基本組件和進程　213
12.3　將源流集成到Flink　215
12.3.1　和Apache Kafka集成　215
12.3.2　和RabbitMQ集成　218
12.4　Flink處理和計算　221
12.4.1　Datastream API　221
12.4.2　DataSet API　223
12.5　Flink持久化　224
12.6　FlinkCEP　226
12.7　Pattern API　227
12.7.1　檢測模式　227
12.7.2　模式選擇　228
12.7.3　示例　228
12.8　Gelly　229
12.9　小試牛刀　231
12.10　小結　242

第六部分　綜合應用

第　13章 用例研究　244
13.1　概述　244
13.2　數據建模　245
13.3　工具和框架　246
13.4　建立基礎設施　247
13.5　實現用例　252
13.5.1　構建數據模擬器　252
13.5.2　Hazelcast加載器　259
13.5.3　構建Storm拓撲　261
13.6　運行用例　272
13.7　小結　279