Hadoop集群與安全 ( 簡體 字) |
| 作者：（美）Danil Zburivsky，Sudheesh Narayanan 著 | 類別：1. -> 程式設計 -> 雲計算 |
| 譯者： |
| 出版社：機械工業出版社 |  3dWoo書號： 40011
詢問書籍請說出此書號！【有庫存】
NT售價： 245 元 |
| 出版日：11/1/2014 |
| 頁數：164 |
| 光碟數：0 |
|
站長推薦：   |
| 印刷：黑白印刷 | 語系： ( 簡體 版 ) |
| |
加入購物車  │加到我的最愛
(請先登入會員) |
| ISBN：9787111480624 |
| 作者序 | 譯者序 | 前言 | 內容簡介 | 目錄 | 序 |
| (簡體書上所述之下載連結耗時費功, 恕不適用在台灣, 若讀者需要請自行嘗試, 恕不保證) |
| 作者序： |
| 譯者序： |
前言：數年中，Hadoop已經成為數據集成平臺的標準解決方案。各企業都在數據基礎設施架構中融入新的技術，這要求系統工程師和數據管理員要迅速地掌握新組件的各個方面。由于Hadoop是一款包含多種軟件的產品，其中集成了多種不同的開源項目，因此掌握這些技術并不簡單，需要進行正確安裝和配置才能確保Hadoop平臺的健壯性和穩定性。
許多已有的Hadoop發行版本通過某種類型的圖形界面來簡化Hadoop的安裝。這種方法極大地縮短了構建完整Hadoop集群所需的時間，同時也降低了管理集群配置的復雜性。自動化安裝和配置的問題在于隱藏了許多有關Hadoop組件協同工作的重要細節，比如某些組件需要其他組件的原因或者哪些是最為關鍵的配置參數，等等。
本書前6章講解如何手動安裝和配置所有主要Hadoop組件。通過設置一個完全可運行的集群，你將會對Hadoop內部的運行機制產生一定的了解并且有助于你調試任何可能發生的問題。你也可以將第1∼6章用作主要Hadoop組件和綜合配置選項的快速參考。在編寫本書的過程中，我自己在實際配置Hadoop集群時也參閱了本書來查找某個特定的變量或者在配置操作系統時尋找最佳步驟。這更加讓我堅信，本書會為其他充滿熱情和經驗豐富的Hadoop管理員與開發者提供幫助。
目前，許多組織在生產環境中實現Hadoop。當一個組織開始大數據之旅，大數據的安全就成為一個重要的問題，而保障敏感數據的安全具有最高的優先級。企業安全部門會擔心將Hadoop集成到企業系統后帶來的安全隱患。本書第7∼13章則提供保障基于Hadoop的大數據平臺安全的實現方案和最佳實踐，覆蓋Kerberos安全協議和Hadoop安全機制的設計思想，并且包括在企業內部來確保Hadoop及其生態系統安全的詳細方法。這部分的目標是通過深入研究大數據安全參考架構，從企業視角提供端到端的大數據安全，并且詳細介紹如何集成各種技術構建一個安全的大數據平臺。
本書的內容
第1章“構建Hadoop集群”回顧主要的Hadoop組件以及選擇規劃和集群硬件的方法，同時還介紹不同的Hadoop發行版本。
第2章“安裝和配置Hadoop”提供安裝和配置主要Hadoop組件的詳細步驟：NameNode節點（包括高可用方案）、JobTracker節點、DataNode節點以及TaskTracker。
第3章“配置Hadoop生態系統”介紹Sqoop、Hive和Impala的配置步驟。
第4章“Hadoop安全”講解確保不同Hadoop組件安全的方法，同時還對在Hadoop中配置Kerberos進行介紹。
第5章“監控Hadoop集群”指導讀者逐步將集群開發至實際應用階段。
第6章“在云端使用Hadoop”介紹如何在虛擬環境中使用Hadoop，其中包括Elastic MapReduce和Whirr的應用。
第7章“Hadoop平臺安全概述”闡述基于Hadoop的大數據平臺安全保障帶來的關鍵挑戰和需求，提供大數據安全的企業視角，詳細介紹大數據安全參考架構。
第8章“Hadoop安全體系設計”詳細介紹Hadoop安全保障系統的內部設計細節，講解Kerberos安全機制的關鍵概念。重點介紹理解本書其他章節所需要的各種術語和概念。
第9章“配置一個安全Hadoop集群”介紹配置Kerberos并建立安全Hadoop集群的詳細步驟。
第10章“Hadoop生態系統安全保障”詳細介紹Hadoop生態系統組件之間的交互和通信協議，及帶來的安全隱患，提供構建安全的大數據生態系統的詳細步驟。
第11章“集成Hadoop與企業安全系統”介紹如何集成Hadoop安全模型與企業已有的安全系統，如何集中化管理Hadoop生態系統中的用戶訪問控制。
第12章“Hadoop中敏感數據的安全保護”提供保護Hadoop生態系統中敏感數據的詳細實現方法，介紹大數據平臺中適用的各種數據加密技術。
第13章“安全事件與審計日志”深入介紹大數據平臺中安全事件監控系統，提供實現安全流程和策略的最新實踐。
附錄“Hadoop安全機制解決方案”介紹用于構建安全的Hadoop大數據生態系統所需要的各種商業的或開源的技術，深入介紹這些技術的細節及它們在大數據安全參考架構中的位置和作用。
閱讀本書需要的條件
本書中的示例對于軟件并沒有特定的要求。如果計劃在沙盒環境下安裝Hadoop集群，那么讀者可能需要某種虛擬化軟件（比如Virtual Box）。
為了實踐本書提供的例子，則需要一個Hadoop集群。你需要一個多節點Linux集群（最少兩個節點安裝有CentOS 6.2操作系統或類似系統）。推薦采用Cloudera CDH4.1來安裝Hadoop集群。也可以采用任何最新版本的Apache Hadoop發布版本。需要從MIT網站下載并安裝Kerberos 5 Release 1.11.3（http:// web.mit.edu/kerberos/krb5-1.11/）。
適合本書的讀者群
本書十分適合Hadoop實踐者（大數據架構師、開發人員、系統管理員）閱讀，他們具有一定的Hadoop工作經驗并且期望保障Hadoop的安全。本書也適合于為企業設計端到端安全保障的大數據平臺的大數據架構師。本書同時適合作為實現和配置安全Hadoop系統管理員的參考手冊。
約定
本書在排版中會采用一些特殊字體與正文區別，下面是一些示例及其說明。
代碼片段如下所示：
如果我們希望讀者對某些代碼塊引起重視，則會設置為粗體：
任何命令行的輸入或者輸出如下所示：
特殊段落的標識如下：
這里給出警告或者重要注意事項。
這里給出提示或者技巧。 |
內容簡介：手把手教你配置高效的Hadoop集群，以便充分利用Hadoop平臺的優勢, 并為Hadoop生態系統實現強健的端到端的安全保障。
本書共13章：第1章概述主要的Hadoop組件以及選擇規劃；第2章講解安裝和配置主要Hadoop組件的詳細步驟；第3章介紹Sqoop、Hive和Impala的配置步驟；第4章講解確保各種Hadoop組件安全的方法；第5章指導讀者逐步將集群開發至實際應用階段；第6章介紹如何在虛擬環境中使用Hadoop；第7章詳細介紹大數據安全參考框架；第8章詳細介紹Hadoop安全保障系統的內部設計細節以及關鍵概念；第9章提供配置Kerberos并建立安全Hadoop集群的詳細步驟；第10章介紹Hadoop生態系統組件之間的交互和通信協議；第11章關注如何集成Hadoop安全模型與企業已有的安全系統；第12章提供保護Hadoop生態系統中敏感數據的詳細實現方法；第13章深入介紹大數據平臺中安全事件監控系統，提供實現安全流程和策略的最新實踐。
Hadoop自動化安裝和配置的問題在于隱藏了許多Hadoop組件協同工作的重要細節，本書介紹如何手動安裝和配置主要的Hadoop組件，以便高效使用Hadoop平臺。通過設置一個完全可運行的集群，可對Hadoop內部的運行機制產生更深入的了解，并且有助于你調試任何可能發生的問題。本書還介紹了保障基于Hadoop的大數據平臺安全的實現方案和最佳實踐，覆蓋Kerberos安全協議和Hadoop安全機制的設計，并包括在企業內部來確保Hadoop及其生態系統相關組件安全的詳細方案。
通過閱讀本書，你將了解：
如何手動配置主要的Hadoop組件，以及Hadoop生態系統。
如何在云端使用Hadoop，包括Elastic MapReduce和Whirr的應用。
如何配置Kerberos并建立安全的Hadoop集群。
如何保護Hadoop生態系統中的敏感數據。 |
目錄：譯者序
作者簡介
審校者簡介
前言
第1章 構建Hadoop集群1
1.1 選擇Hadoop集群硬件2
1.1.1 選擇DataNode硬件3
1.1.2 低存儲密度集群4
1.1.3 高存儲密度集群5
1.1.4 NameNode和JobTracker硬件配置6
1.1.5 網關和其他輔助服務8
1.1.6 網絡配置8
1.1.7 Hadoop硬件總結9
1.2 Hadoop發行版10
1.2.1 Hadoop版本10
1.2.2 選擇Hadoop發行版11
1.2.3 Cloudera Hadoop 發行版11
1.2.4 Hortonworks Hadoop發行版12
1.2.5 MapR12
1.3 為Hadoop集群選擇操作系統13
1.4 小結14
第2章 安裝和配置Hadoop15
2.1 在Hadoop集群中配置操作系統15
2.1.1 選擇和設置文件系統15
2.1.2 設置Java開發包16
2.1.3 其他操作系統設定17
2.1.4 設置CDH存儲庫18
2.2 設置NameNode18
2.2.1 JournalNode節點、ZooKeeper以及故障轉移控制器22
2.2.2Hadoop配置文件23
2.2.3 NameNode高可用方案配置25
2.2.4 JobTracker配置31
2.2.5DataNode配置36
2.3 小結47
第3章 配置Hadoop生態系統48
3.1托管Hadoop生態項目48
3.2 Sqoop49
3.2.1安裝和配置Sqoop49
3.2.2 Sqoop導入示例50
3.2.3 Sqoop導出示例52
3.3 Hive52
3.3.1Hive架構53
3.3.2安裝Hive Metastore54
3.3.3 安裝Hive客戶端 56
3.3.4 安裝Hive Server57
3.4Impala59
3.4.1 Impala架構59
3.4.2 安裝Impala state store60
3.4.3 安裝Impala server60
3.5 小結63
第4章 Hadoop安全64
4.1 Hadoop安全概述64
4.2 Hadoop分布式文件系統安全65
4.3 MapReduce安全66
4.4 Hadoop服務級別驗證 68
4.5 Hadoop和Kerberos69
4.5.1 Kerberos概述70
4.5.2 Hadoop中的Kerberos71
4.6 小結76
第5章 監控Hadoop集群77
5.1 監控策略介紹77
5.2 Hadoop參數78
5.2.1 JMX參數79
5.2.2 使用Nagios監控Hadoop80
5.2.3 監控Hadoop分布式文件系統81
5.2.4 NameNode校驗81
5.2.5 JournalNode檢查83
5.2.6 ZooKeeper檢查83
5.3 監控MapReduce84
5.4 使用Ganglia監控Hadoop85
5.5 小結86
第6章 在云端使用Hadoop87
6.1 Amazon Elastic MapReduce87
6.1.1 安裝EMR命令行接口88
6.1.2 選擇Hadoop版本89
6.1.3 啟動EMR集群89
6.2 使用Whirr93
6.3 小結94
第7章 Hadoop平臺安全概述95
7.1 為什么需要保障Hadoop生態系統的安全96
7.2 確保Hadoop生態系統安全面臨的挑戰96
7.3 關鍵安全因素97
7.4 小結99
第8章 Hadoop安全體系設計100
8.1 什么是Kerberos100
8.1.1 Kerberos關鍵術語101
8.1.2 Kerberos如何工作102
8.1.3 Kerberos 的優點103
8.2 不采用Kerberos的Hadoop默認安全模型103
8.3 Hadoop Kerberos 安全模型實現105
8.3.1 用戶層次的訪問控制105
8.3.2 服務層次的訪問控制105
8.3.3 用戶和服務認證106
8.3.4 授權令牌106
8.3.5 作業令牌106
8.3.6 數據塊訪問令牌107
8.4 小結108
第9章 配置一個安全Hadoop集群109
9.1 前提條件109
9.2 設置Kerberos110
9.3 配置Hadoop使用Kerberos認證117
9.3.1 在所有Hadoop節點設置Kerberos客戶端117
9.3.2 配置Hadoop服務標識118
9.4 Hadoop用戶設置124
9.5 安全Hadoop自動部署124
9.6 小結125
第10章 Hadoop生態系統安全保障126
10.1 為Hadoop生態系統組件配置Kerberos127
10.1.1 Hive安全設置127
10.1.2 Oozie安全設置130
10.1.3 Flume安全設置131
10.1.4 HBase安全設置134
10.1.5 Sqoop安全設置137
10.1.6 Pig安全設置138
10.2 Hadoop生態系統組件安全保障最佳實踐138
10.3 小結139
第11章 集成Hadoop與企業安全系統140
11.1 集成EIM系統141
11.1.1 配置EIM與Hadoop集成142
11.1.2 集成基于Active Directory的EIM系統與Hadoop生態系統143
11.2 從企業網絡訪問安全Hadoop集群144
11.2.1 HttpFS145
11.2.2 HUE145
11.2.3 Knox Gateway Server146
11.3 小結147
第12章 Hadoop中敏感數據安全保護148
12.1 Hadoop中敏感數據及保護方法148
12.2 小結154
第13章 安全事件與審計日志155
13.1 Hadoop集群安全事故和事件監控155
13.2 Hadoop集群審計日志設置158
13.3 小結160
附錄 Hadoop安全機制解決方案161 |
| 序： |
