-- 會員 / 註冊 --  
 帳號:
 密碼:
  | 註冊 | 忘記密碼
3/26 新書到! 3/19 新書到! 3/14 新書到! 12/12 新書到!
購書流程Q & A站務留言版客服信箱
3ds MaxMayaRhinoAfter EffectsSketchUpZBrushPainterUnity
PhotoShopAutoCadMasterCamSolidWorksCreoUGRevitNuke
C#CC++Java遊戲程式Linux嵌入式PLCFPGAMatlab
駭客資料庫搜索引擎影像處理FluentVR+ARANSYS深度學習
單晶片AVROpenGLArduinoRaspberry Pi電路設計CadenceProtel
HadoopPythonStm32CortexLabview手機程式AndroidiPhone
可查書名,作者,ISBN,3dwoo書號
詳細書籍分類

Spark Streaming技術內幕及源碼剖析

( 簡體 字)
作者:王家林 夏陽類別:1. -> 程式設計 -> Spark
譯者:
出版社:清華大學出版社Spark Streaming技術內幕及源碼剖析 3dWoo書號: 46551
詢問書籍請說出此書號!

缺書
NT售價: 245

出版日:5/1/2017
頁數:250
光碟數:0
站長推薦:
印刷:黑白印刷語系: ( 簡體 版 )
加入購物車 加到我的最愛
(請先登入會員)
ISBN:9787302464914
作者序 | 譯者序 | 前言 | 內容簡介 | 目錄 | 
(簡體書上所述之下載連結耗時費功, 恕不適用在台灣, 若讀者需要請自行嘗試, 恕不保證)
作者序:

譯者序:

前言:

大數據浪潮洶涌來襲,這絕不僅僅是信息技術領域的革命,更是在全球范圍引領社會
變革的機遇。大數據的集群計算開源軟件Spark在大數據計算平臺應用領域日益凸顯其重
要地位。如果大數據技術領域從業人員的技術水平仍停留在只知使用開源軟件,而不從開
源軟件的原理、架構上去理解,不到源碼中去體會細節,則難以從根本上徹底解決現實工
作中遇到的技術問題,更難以勝任大數據領域的技術創新工作。

可以預見,大數據的處理將越來越強調實時處理。Spark Streaming是建立在Spark上的
實時計算框架,在Spark的各子框架中處于舉足輕重的地位。徹底掌握 Spark Streaming的
同時,也能加深對Spark Core技術的理解和掌握,還能具備開發同樣高端的Spark應用程序
的實力。對于有志向的Spark學習進階者來說,深入了解Spark Streaming的源碼是提高核心
競爭力的捷徑。

本書不僅對Spark Streaming的API做總結性介紹,而且重點針對Spark 1.6.x的Spark
Streaming進行源碼剖析。該書的開始部分對Spark的基本原理有一些闡述,但主要是徹底
深入剖析Spark Streaming的內部原理。

讀源碼的人都怕自己走進大量源碼的迷宮。為了提高源碼學習效率,本書在剖析源
碼前,會對源碼實現的功能的大致原理和流程輪廓進行介紹。書中有方便源碼剖析的流程
圖,這對于理解和掌握Spark Streaming的各個功能非常重要。讀者看到復雜的流程圖時
不一定要立刻全部理解掌握,但可以在源碼學習過程中經常回過頭來對照流程圖以加深
印象。

為了在書的頁面內清晰展示復雜的流程圖,書中絕大多數流程圖采取了從上至下的樹
狀結構來體現調用關系。每個方框中注明了類和方法,被其調用的類的方法會在下一行從
左至右依次顯示,調用和被調用的類方法間用有向線連接。有些方框上部會給出類的成員
變量,其類型就是方框中指明的類。粗箭頭不是表示調用關系,而是表示傳遞消息。

源碼剖析過程中,源碼中關鍵的類名、方法名、注釋會以粗體顯示,使讀者清楚重
點。讀者應以粗體部分為重點進行閱讀,其他部分可以粗略瀏覽。有些源碼篇幅過大,可
能會省略其中的部分代碼,以突出當前讀者需要閱讀的源碼主體。

王家林夏陽
2017年2月27日于北京
內容簡介:

本書以大數據處理引擎Spark的穩定版本1.6.x為基礎,從應用案例、原理、源碼、流程、調
優等多個角度剖析Spark上的實時計算框架Spark Streaming。在勾勒出Spark Streaming架構輪廓的
基礎上,從基本源碼開始進行剖析,由淺入深地引導已具有Spark和Spark Streaming基礎技術知識
的讀者進行Spark Streaming的進階學習,理解Spark Streaming的原理和運行機制,為流數據處理
的決策和應用提供了技術參考;結合Spark Streaming的深入應用的需要,對Spark Streaming的性
能調優進行了分析,也對Spark Streaming功能的改造和擴展提供了指導。

本書適合大數據領域CTO、架構師、高級軟件工程師,尤其是Spark領域已有Spark Streaming
基礎知識的從業人員閱讀,也可供需要深入學習Spark、Spark Streaming的高校研究生和高年級本
科生參考。
目錄:

第1章SparkStreaming應用概述······1

1.1SparkStreaming應用案例·······2

1.2 SparkStreaming應用剖析·····13

第2章SparkStreaming基本原理····15

2.1 SparkCore簡介··················16

2.2SparkStreaming設計思想·····26

2.3SparkStreaming整體架構·····30

2.4編程接口·························33

第3章SparkStreaming運行流程詳解·············39

3.1從StreamingContext的初始化到啟動··········40

3.2數據接收·························54

3.3數據處理·························91

3.4數據清理························115

3.5容錯機制························127

3.5.1容錯原理·························128

3.5.2Driver容錯機制·················152

3.5.3Executor容錯機制··············161

3.6NoReceiver方式···············167

3.7輸出不重復·····················175

3.8消費速率的動態控制·········176

3.9狀態操作························189

3.10窗口操作·······················212

3.11頁面展示·······················216

3.12SparkStreaming應用程序的停止··········227

第4章SparkStreaming性能調優機制···········237

4.1并行度解析·····················238

4.1.1數據接收的并行度·············238

4.1.2數據處理的并行度·············240

4.2內存······························240

4.3序列化···························240

4.4BatchInterval···················241

4.5Task·······························242

4.6JVMGC·························242

第5章Spark2.0中的流計算··········245

5.1連續應用程序··················246

5.2無邊界表unboundedtable····248

5.3增量輸出模式··················249

5.4API簡化··························250

5.5其他改進························250

序: