 |
-- 會員 / 註冊 --
|
 |
|
|
|
深度剖析Hadoop HDFS ( 簡體 字) |
| 作者：林意群 | 類別：1. -> 程式設計 -> 大數據 |
| 譯者： |
| 出版社：機械工業出版社 |  3dWoo書號： 46647
詢問書籍請說出此書號！【缺書】
NT售價： 395 元 |
| 出版日：4/1/2017 |
| 頁數：322 |
| 光碟數：0 |
|
站長推薦：   |
| 印刷：黑白印刷 | 語系： ( 簡體 版 ) |
| |
加入購物車  │加到我的最愛
(請先登入會員) |
| ISBN：9787111562078 |
| 作者序 | 譯者序 | 前言 | 內容簡介 | 目錄 | 序 |
| (簡體書上所述之下載連結耗時費功, 恕不適用在台灣, 若讀者需要請自行嘗試, 恕不保證) |
| 作者序： |
| 譯者序： |
| 前言： |
內容簡介：本書基于Hadoop2.7.1版本進行分析，全面描述了HDFS2.X的核心技術與解決方案，書中描述了HDFS內存存儲、異構存儲等幾大核心設計，包括源碼細節層面的分析，對于HDFS中比較特殊的幾個場景過程也做了細粒度的分析。還分享了作者在實際應用中的解決方案及擴展思路。閱讀本書可以幫助讀者從架構設計與功能實現角度了解HDFS2.X，同時還能學習HDFS2.X框架中設計思想、設計模式、Java語言技巧等。這些對于讀者全面提高自己分布式技術水平有很大的幫助。本書分為三大部分：核心設計篇、細節實現篇、解決方案篇，“核心設計篇”包括HDFS的數據存儲原理、HDFS的數據管理與策略選擇機制、HDFS的新穎功能特性；“細節實現篇”包括HDFS的塊處理、流量處理等細節，以及部分結構分析；“解決方案篇”包括HDFS的數據管理、HDFS的數據讀寫、HDFS的異常場景等。本書適合于云計算相關領域研發人員、云計算相關運維工程師、高年級研究生或本科、熱衷于分布式計算研究的人。 |
目錄：前言
第一部分 核心設計篇
第1章 HDFS的數據存儲2
1.1 HDFS內存存儲2
1.1.1 HDFS內存存儲原理2
1.1.2 Linux 虛擬內存盤4
1.1.3 HDFS的內存存儲流程分析4
1.1.4 LAZY_PERSIST內存存儲的使用14
1.2 HDFS異構存儲15
1.2.1 異構存儲類型16
1.2.2 異構存儲原理17
1.2.3 塊存儲類型選擇策略22
1.2.4 塊存儲策略集合24
1.2.5 塊存儲策略的調用27
1.2.6 HDFS異構存儲策略的不足之處28
1.2.7 HDFS存儲策略的使用30
1.3 小結31
第2章 HDFS的數據管理與策略選擇32
2.1 HDFS緩存與緩存塊32
2.1.1 HDFS物理層面緩存塊33
2.1.2 緩存塊的生命周期狀態34
2.1.3 CacheBlock、UnCacheBlock場景觸發36
2.1.4 CacheBlock、UnCacheBlock緩存塊的確定38
2.1.5 系統持有的緩存塊列表如何更新39
2.1.6 緩存塊的使用40
2.1.7 HDFS緩存相關配置40
2.2 HDFS中心緩存管理42
2.2.1 HDFS緩存適用場景43
2.2.2 HDFS緩存的結構設計43
2.2.3 HDFS緩存管理機制分析45
2.2.4 HDFS中心緩存疑問點55
2.2.5 HDFS CacheAdmin命令使用56
2.3 HDFS快照管理58
2.3.1 快照概念59
2.3.2 HDFS中的快照相關命令59
2.3.3 HDFS內部的快照管理機制60
2.3.4 HDFS的快照使用71
2.4 HDFS副本放置策略72
2.4.1 副本放置策略概念與方法72
2.4.2 副本放置策略的有效前提73
2.4.3 默認副本放置策略的分析73
2.4.4 目標存儲好壞的判斷82
2.4.5 chooseTargets的調用83
2.4.6 BlockPlacementPolicyWithNodeGroup繼承類84
2.4.7 副本放置策略的結果驗證85
2.5 HDFS內部的認證機制85
2.5.1 BlockToken認證85
2.5.2 HDFS的Sasl認證91
2.5.3 BlockToken認證與HDFS的Sasl認證對比97
2.6 HDFS內部的磁盤目錄服務98
2.6.1 HDFS的三大磁盤目錄檢測掃描服務98
2.6.2 DiskChecker：壞盤檢測服務99
2.6.3 DirectoryScanner：目錄掃描服務104
2.6.4 VolumeScanner：磁盤目錄掃描服務110
2.7 小結116
第3章 HDFS的新穎功能特性117
3.1 HDFS視圖文件系統：ViewFileSystem117
3.1.1 ViewFileSystem: 視圖文件系統118
3.1.2 ViewFileSystem內部實現原理119
3.1.3 ViewFileSystem的使用125
3.2 HDFS的Web文件系統：WebHdfsFileSystem126
3.2.1 WebHdfsFileSystem的REST API操作127
3.2.2 WebHdfsFileSystem的流程調用129
3.2.3 WebHdfsFileSystem執行器調用130
3.2.4 WebHDFS的OAuth2認證133
3.2.5 WebHDFS的使用135
3.3 HDFS數據加密空間：Encryption zone136
3.3.1 Encryption zone原理介紹136
3.3.2 Encryption zone源碼實現136
3.3.3 Encryption zone的使用144
3.4 HDFS糾刪碼技術145
3.4.1 糾刪碼概念145
3.4.2 糾刪碼技術的優劣勢146
3.4.3 Hadoop糾刪碼概述147
3.4.4 糾刪碼技術在Hadoop中的實現148
3.5 HDFS對象存儲：Ozone152
3.5.1 Ozone介紹153
3.5.2 Ozone的高層級設計154
3.5.3 Ozone的實現細節157
3.5.4 Ozone的使用157
3.6 小結158
第二部分 細節實現篇
第4章 HDFS的塊處理160
4.1 HDFS塊檢查命令fsck160
4.1.1 fsck參數使用160
4.1.2 fsck過程調用161
4.1.3 fsck原理分析162
4.1.4 fsck使用場景171
4.2 HDFS如何檢測并刪除多余副本塊171
4.2.1 多余副本塊以及發生的場景172
4.2.2 OverReplication多余副本塊處理172
4.2.3 多余副本塊清除的場景調用177
4.3 HDFS數據塊的匯報與處理179
4.3.1 塊處理的五大類型179
4.3.2 toAdd：新添加的塊181
4.3.3 toRemove：待移除的塊184
4.3.4 toInvalidate：無效的塊186
4.3.5 toCorrupt：損壞的塊189
4.3.6 toUC：正在構建中的塊191
4.4 小結193
第5章 HDFS的流量處理194
5.1 HDFS的內部限流194
5.1.1 數據的限流194
5.1.2 DataTransferThrottler限流原理196
5.1.3 數據流限流在Hadoop中的使用198
5.1.4 Hadoop限流優化點202
5.2 數據平衡204
5.2.1 Balancer和Dispatcher204
5.2.2 數據不平衡現象207
5.2.3 Balancer性能優化207
5.3 HDFS節點內數據平衡210
5.3.1 磁盤間數據不平衡現象及問題211
5.3.2 傳統的磁盤間數據不平衡解決方案211
5.3.3 社區解決方案：DiskBalancer212
5.4 小結216
第6章 HDFS的部分結構分析217
6.1 HDFS鏡像文件的解析與反解析217
6.1.1 HDFS的FsImage鏡像文件218
6.1.2 FsImage的解析218
6.1.3 FsImage的反解析221
6.1.4 HDFS鏡像文件的解析與反解析命令226
6.2 DataNode數據處理中心DataXceiver227
6.2.1 DataXceiver的定義和結構228
6.2.2 DataXceiver下游處理方法232
6.2.3 ShortCircuit232
6.2.4 DataXceiver的上游調用233
6.2.5 DataXceiver與DataXceiverServer234
6.3 HDFS鄰近信息塊：BlockInfoContiguous235
6.3.1 triplets對象數組236
6.3.2 BlockInfoContiguous的鏈表操作239
6.3.3 塊迭代器BlockIterator244
6.4 小結246
第三部分 解決方案篇
第7章 HDFS的數據管理248
7.1 HDFS的讀寫限流方案248
7.1.1 限流方案實現要點以及可能造成的影響248
7.1.2 限流方案實現249
7.1.3 限流測試結果250
7.2 HDFS數據資源使用量分析以及趨勢預測250
7.2.1 要獲取哪些數據251
7.2.2 如何獲取這些數據251
7.2.3 怎么用這些數據254
7.3 HDFS數據遷移解決方案257
7.3.1 數據遷移使用場景257
7.3.2 數據遷移要素考量258
7.3.3 HDFS數據遷移解決方案：DistCp259
7.3.4 DistCp優勢特性260
7.3.5 Hadoop DistCp命令264
7.3.6 DistCp解決集群間數據遷移實例265
7.4 DataNode遷移方案265
7.4.1 遷移方案的目標266
7.4.2 DataNode更換主機名、ip地址時的遷移方案267
7.5 HDFS集群重命名方案268
7.6 HDFS的配置管理方案271
7.6.1 HDFS配置管理的問題271
7.6.2 現有配置管理工具272
7.6.3 運用Git來做配置管理272
7.7 小結273
第8章 HDFS的數據讀寫274
8.1 DataNode引用計數磁盤選擇策略274
8.1.1 HDFS現有磁盤選擇策略274
8.1.2 自定義磁盤選擇策略279
8.2 Hadoop節點“慢磁盤”監控282
8.2.1 慢磁盤的定義以及如何發現282
8.2.2 慢磁盤監控284
8.3 小結287
第9章 HDFS的異常場景288
9.1 DataNode慢啟動問題288
9.1.1 DataNode慢啟動現象288
9.1.2 代碼追蹤分析290
9.1.3 參數可配置化改造293
9.2 Hadoop中止下線操作后大量剩余復制塊問題295
9.2.1 節點下線操作的含義及問題295
9.2.2 死節點“復活”297
9.2.3 Decommission下線操作如何運作299
9.2.4 中止下線操作后移除殘余副本塊解決方案303
9.3 DFSOutputStream的DataStreamer線程泄漏問題306
9.3.1 DFSOutputStream寫數據過程及周邊相關類、變量306
9.3.2 DataStreamer數據流對象307
9.3.3 ResponseProcessor回復獲取類311
9.3.4 DataStreamer與DFSOutputStream的關系313
9.3.5 Streamer線程泄漏問題316
9.4 小結319
附錄 如何向開源社區提交自己的代碼320 |
| 序： |
|
