RocketMQ實戰與原理解析( 簡體 字) | |
作者:楊開元 | 類別:1. -> 工程繪圖與工程計算 -> Matlab |
出版社:機械工業出版社 | 3dWoo書號: 49181 詢問書籍請說出此書號! 有庫存 NT售價: 295 元 |
出版日:6/1/2018 | |
頁數:155 | |
光碟數:0 | |
站長推薦: | |
印刷:黑白印刷 | 語系: ( 簡體 字 ) |
ISBN:9787111600251 | 加入購物車 │加到我的最愛 (請先登入會員) |
(簡體書上所述之下載連結耗時費功, 恕不適用在台灣, 若讀者需要請自行嘗試, 恕不保證, 繁體書的下載亦請直接連絡出版社) | |
推薦序
前言 第1章 快速入門1 1.1 消息隊列功能介紹1 1.1.1 應用解耦1 1.1.2 流量消峰2 1.1.3 消息分發3 1.2 RocketMQ簡介4 1.3 快速上手RocketMQ4 1.3.1 RocketMQ的下載、安裝和配置 5 1.3.2 啟動消息隊列服務6 1.3.3 用命令行發送和接收消息6 1.3.4 關閉消息隊列6 1.4 本章小結7 第2章 生產環境下的配置和使用8 2.1 RocketMQ各部分角色介紹8 2.2 多機集群配置和部署9 2.2.1 啟動多個NameServer和Broker10 2.2.2 配置參數介紹11 2.3 發送/接收消息示例13 2.4 常用管理命令15 2.5 通過圖形界面管理集群21 2.6 本章小結22 第3章 用適合的方式發送和接收消息23 3.1 不同類型的消費者23 3.1.1 DefaultMQPushConsumer的使用23 3.1.2 DefaultMQPushConsumer的處理流程25 3.1.3 DefaultMQPushConsumer的流量控制28 3.1.4 DefaultMQPullConsumer30 3.1.5 Consumer的啟動、關閉流程32 3.2 不同類型的生產者33 3.2.1 DefaultMQProducer 34 3.2.2 發送延遲消息36 3.2.3 自定義消息發送規則36 3.2.4 對事務的支持37 3.3 如何存儲隊列位置信息38 3.4 自定義日志輸出42 3.5 本章小結44 第4章 分布式消息隊列的協調者45 4.1 NameServer的功能45 4.1.1 集群狀態的存儲結構46 4.1.2 狀態維護邏輯47 4.2 各個角色間的交互流程48 4.2.1 交互流程源碼分析48 4.2.2 為何不用ZooKeeper50 4.3 底層通信機制50 4.3.1 Remoting模塊51 4.3.2 協議設計和編解碼54 4.3.3 Netty庫56 4.4 本章小結56 第5章 消息隊列的核心機制57 5.1 消息存儲和發送57 5.2 消息存儲結構58 5.3 高可用性機制60 5.4 同步刷盤和異步刷盤61 5.5 同步復制和異步復制62 5.6 本章小結63 第6章 可靠性優先的使用場景64 6.1 順序消息64 6.1.1 全局順序消息64 6.1.2 部分順序消息65 6.2 消息重復問題67 6.3 動態增減機器67 6.3.1 動態增減NameServer67 6.3.2 動態增減Broker69 6.4 各種故障對消息的影響70 6.5 消息優先級72 6.6 本章小結73 第7章 吞吐量優先的使用場景74 7.1 在Broker端進行消息過濾74 7.1.1 消息的Tag和Key74 7.1.2 通過Tag進行過濾75 7.1.3 用SQL表達式的方式進行過濾75 7.1.4 Filter Server方式過濾77 7.2 提高Consumer處理能力78 7.3 Consumer的負載均衡80 7.3.1 DefaultMQPushConsumer的負載均衡80 7.3.2 DefaultMQPullConsumer的負載均衡81 7.4 提高Producer的發送速度83 7.5 系統性能調優的一般流程85 7.6 本章小結87 第8章 和其他系統交互88 8.1 在SpringBoot中使用RocketMQ88 8.1.1 直接使用88 8.1.2 通過Spring Messaging方式使用90 8.2 直接使用云上RocketMQ91 8.3 RocketMQ與Spark、Flink對接93 8.4 自定義開發運維工具93 8.4.1 開源版本運維工具功能介紹94 8.4.2 基于Tools模塊開發自定義運維工具95 8.5 本章小結96 第9章 首個Apache中間件頂級項目97 9.1 RocketMQ的前世今生97 9.2 Apache頂級項目(TLP)之路98 9.3 源碼結構99 9.4 不斷迭代的代碼100 9.5 本章小結102 第10章 NameServer源碼解析103 10.1 模塊入口代碼的功能103 10.1.1 入口函數103 10.1.2 解析命令行參數104 10.1.3 初始化NameServer的Controller105 10.2 NameServer的總控邏輯106 10.3 核心業務邏輯處理107 10.4 集群狀態存儲109 10.5 本章小結111 第11章 最常用的消費類112 11.1 整體流程112 11.1.1 上層接口類112 11.1.2 DefaultMQPushConsumer的實現者114 11.1.3 獲取消息邏輯116 11.2 消息的并發處理118 11.2.1 并發處理過程118 11.2.2 ProcessQueue對象121 11.3 生產者消費者的底層類122 11.3.1 MQClientInstance類的創建規則122 11.3.2 MQClientInstance類的功能124 11.4 本章小結127 第12章 主從同步機制128 12.1 同步屬性信息128 12.2 同步消息體130 12.3 sync_master和async_master132 12.4 本章小結134 第13章 基于Netty的通信實現135 13.1 Netty介紹135 13.2 Netty架構總覽136 13.2.1 重新實現ByteBuffer136 13.2.2 統一的異步 I/O接口137 13.2.3 基于攔截鏈模式的事件模型138 13.2.4 高級組件139 13.3 Netty用法示例140 13.3.1 Discard服務器140 13.3.2 查看收到的數據144 13.4 RocketMQ基于Netty的通信功能實現145 13.4.1 頂層抽象類145 13.4.2 自定義協議148 13.4.3 基于Netty的Server和Client151 13.5 本章小結152 本書由云棲社區官方出品。
作者是阿里資深數據專家,對RocketMQ有深入的研究,并有大量的實踐經驗。在寫這本書之前,作者不僅系統、深入地閱讀了RocketMQ的源代碼,而且還向RocketMQ的官方開發團隊深入了解了它的諸多設計細節。作者結合自己多年使用RocketMQ的經驗,從開發和運維兩個維度,給出了大部分場景下的優秀實踐,能幫助讀者在學會使用和用好RocketMQ的同時,盡量少“踩坑”。同時,本書也結合源碼分析了分布式消息隊列的原理,使讀者可以在復雜業務場景下定制有特殊功能的消息隊列。 全書共13章,在邏輯上分為兩大部分。 第一部分(第1~8章):RocketMQ實戰 第1~2章詳細講解了RocketMQ如何快速入門,以及在生產環境下的配置和使用; 第3~4章具體講解了不同類型生產者和消費者的特點,以及分布式消息隊列的協調者NameServer; 第5章從消息的存儲、發送、復制和高可用等多個維度講解了RocketMQ的內部機制; 第6章討論了消息的可靠性,以及如何讓消息隊列在滿足業務邏輯需求的同時穩定、可靠地長期運行; 第7章討論了在大流量場景下,吞吐量優先時RocketMQ的使用方法; 第8章介紹了RocketMQ與SpringBoot、Spark、Flink以及自定義的運維工具等其他系統的對接方法; 第二部分(第9~13章):RocketMQ原理 首先對RocketMQ的源碼結構進行了整體介紹,然后深入分析了NameServer、各種常用消費類、主從同步機制,以及基于Netty的通信的源碼實現。掌握這些源代碼以后,讀者可以快速定制屬于自己的具有特殊功能的消息中間件。 為什么要寫這本書
幾年前在做一個項目的時候,若需要用到消息隊列,簡單調研一下就會決定用Kafka,因為當時還不知道有RocketMQ。在我加入阿里后,當時有個項目需要用到消息中間件,試用了RocketMQ,發現阿里開源的消息中間件性能非常強大,但是上手有點費勁,因為現有文檔多是零零散散的博文。在沒有合適文檔指導的情況下,對系統中用到的RocketMQ模塊心里沒底,系統偶爾出現異常時總會束手無策,需要通過查看很多源碼,才能保證系統的穩定運行。 熟悉RocketMQ以后,我發現它是一款非常優秀的中間件產品,可以確保不丟消息,而且效率很高。同時因為它是用Java開發的,所以修改起來比較容易。 在阿里內部,RocketMQ很好地服務了集團大大小小上千個應用,在每年的雙十一當天,更有不可思議的萬億級消息通過RocketMQ流轉(在2017年的雙11當天,整個阿里巴巴集團通過RocketMQ流轉的線上消息達到了萬億級,峰值TPS達到5600萬),在阿里大中臺策略上發揮著舉足輕重的作用。所以如果有合適的參考文檔,RocketMQ會被更多人接受和使用,讓更多人不必重復造“輪子”。 我做了很多年開發,在學校課本上學的開發知識有限,大多數是通過看書和上網學到的,其中很多優秀的文章對自己幫助很大。所以我很希望能用這本書回饋技術社區中有需要的開發者們。 動筆寫這本書前,我系統地閱讀了RocketMQ的源碼,有些理解不夠透徹的地方請教了阿里RocketMQ開發團隊的同事,然后也總結了自己多年實際工作中的一些經驗。希望這本書能簡明扼要地說清楚RocketMQ的使用方法和核心原理。 讀者對象 希望學習分布式系統或分布式消息隊列的開發人員。 服務端系統開發者,他們可以借助高質量中間件來提高開發效率。 軟件架構師,他們可以通過消息隊列優化復雜系統的設計。 本書特色 本書系統地介紹了RocketMQ這款優秀的分布式消息隊列軟件,通過閱讀本書,讀者可以快速把RocketMQ應用到自己的項目中,也可以通過更改源碼定制符合自身業務的消息中間件。 如何閱讀本書 本書分為兩大部分: 第一部分是RocketMQ實戰,包括第1~8章。這是本書的主體內容,可幫助讀者快速用好RocketMQ這個分布式消息隊列。 這部分是按照由淺入深的方式撰寫的,為了讓讀者快速上手,首先介紹了搭建一個簡單RocketMQ集群的方法,以此來發送和接收消息;然后詳細介紹了如何用好Consumer和Producer,如何選擇合適的類以及進行參數設置;再進一步根據應用,說明如何讓RocketMQ在各種異常情況下保持穩定可靠,以及如何增大RocketMQ的吞吐量,從而在單位時間內處理更多的消息。 第二部分是源碼分析,包括第9~13章。當讀者有特殊的業務需求,需要更改或擴展RocketMQ現有功能的時候,這部分內容能幫助讀者快速熟悉源碼,找到要下手更改的地方,快速實現想要的功能。 這部分也適合想通過源碼,深入學習消息隊列的讀者閱讀。學習別人優秀的代碼是提升自己技術水平的一條有效途徑。 勘誤和支持 由于水平有限,編寫時間倉促,書中難免會出現一些錯誤或者不準確的地方,懇請讀者批評指正。有任何的意見或建議,都可以通過郵箱rocketmqqa@163.com和我聯系,真摯期待你的反饋。 致謝 寫技術書籍很耗費時間,加之互聯網行業快節奏的工作方式,導致我寫這本書的時間大多是在周末和夜晚。在此感謝家人對我的支持和理解,尤其感謝我的妻子,沒有她對家庭的照顧和對我的鼓勵,這本書是無法完成的。 感謝阿里消息中間件團隊的Leader王小瑞,是你從技術和寫作思路上給我很大的幫助。感謝消息中間件團隊的其他同學,你們為開源社區貢獻了一個高質量的軟件,你們寫的很多高質量博文使開發者更容易理解RocketMQ。 感謝機械工業出版社的編輯楊福川、張錫鵬,感謝云棲社區的刁云怡,阿里的校友耿嘉安,是你們始終支持我的寫作,你們的引導和幫助使我能順利完成全部書稿。 謹以本書獻給我最親愛的家人,以及眾多熱愛軟件開發工作的朋友們! 楊開元 |