大數據搜索與挖掘及可視化管理方案——Elastic Stack 6：Elasticsea ( 簡體 字) |
| 作者：高凱，岳重陽，江躍華 | 類別：1. -> 程式設計 -> 大數據
2. -> 程式設計 -> 搜索引擎 |
| 譯者： |
| 出版社：清華大學出版社 |  3dWoo書號： 51622
詢問書籍請說出此書號！【缺書】
NT售價： 295 元 |
| 出版日：8/1/2019 |
| 頁數：371 |
| 光碟數：0 |
|
站長推薦：   |
| 印刷：黑白印刷 | 語系： ( 簡體 版 ) |
| |
加入購物車  │加到我的最愛
(請先登入會員) |
| ISBN：9787302507994 |
| 作者序 | 譯者序 | 前言 | 內容簡介 | 目錄 | 序 |
| (簡體書上所述之下載連結耗時費功, 恕不適用在台灣, 若讀者需要請自行嘗試, 恕不保證) |
| 作者序： |
| 譯者序： |
前言：（第4版）前言
伴隨著海量數據管理技術在國民經濟以及互聯網+、物聯網、移動計算等各個領域的廣泛應用，分布式大數據搜索、日志分析與挖掘、數據可視化、集群管理與性能監控等問題正日益受到IT人員的普遍關注。開源的、基于Lucene的全文搜索引擎Elasticsearch以其獨到的分布式數據處理能力發揮了重要作用。根據國際權威數據庫產品評測機構DB拟Engines統計，從2016年1月起，Elasticsearch已超過Solr等成為排名第一的搜索引擎類應用，并且增長勢頭目前仍非常強勁。在Elasticsearch基礎上，還衍生出Logstash、Kibana、Beats、X拟Pack、Elastic Cloud、Alerting、Graph、Reporting、ES拟Hadoop等諸多相關組件，它們構成了Elastic Stack工具集的核心，為編程人員提供了分布式、可擴展的信息存儲和全文檢索機制、基于Logstash的日志處理機制、基于Kibana的挖掘結果可視化機制等。不僅如此，目前還出現了Security（安全和管理插件，如權限控制、加密通信、審計等）、Monitoring（性能監控平臺等）、Beats（提供了在應用服務器間傳輸事務信息的Packetbeat、從服務器端傳送日志的Filebeat、分時段采集服務器上操作系統和服務的各項指標的Metricbeat、負責傳輸Windows事件日志的Winlogbeat）等中間件。在實時大數據處理的應用中，上述軟件通常配合使用。Elastic Stack可幫助企業搜索龐大的非結構化信息數據庫。目前，Elasticsearch擁有幾千個重要客戶，覆蓋80多個國家，從一線互聯網公司到傳統行業，都能看到Elasticsearch的身影，全球很多著名公司（如Facebook、eBay、IBM、Microsoft、Uber、Cisco、GitHub、攜程網等）都在使用它。Elastic公司的開源技術越來越受到眾多開發者的青睞，已成為大數據領域分析工具的最佳選擇。現在用戶可以在谷歌GCP云平臺上運行Elastic Cloud產品，執行搜索、分析以及可視化任務。從實戰的角度掌握Elasticsearch、Logstash、Kibana、X拟Pack、Beats等的基本使用方法和入門技巧很有必要。
從2015年開始，我們開始介紹和普及Elastic Stack的相關技術，并陸續出版了《實戰Elasticsearch、Logstash、Kibana——分布式大數據搜索與日志挖掘及可視化解決方案》（第1版）、《大數據搜索與日志挖掘及可視化方案——ELK Stack: Elasticsearch、Logstash、Kibana》（第2版）、《大數據搜索與日志挖掘及可視化管理方案——Elastic Stack 5: Elasticsearch、Logstash、Kibana》（第3版）、譯著《精通Elastic Stack》等多部技術書籍。短短幾年，Elastic Stack發展很快，我們的上述圖書也已重印了多次。我們參考了部分讀者對本書第1版、第2版、第3版提出的意見，對其中的部分內容進行了必要的補充和修改、完善，對新推出的Elastic Stack 6進行了介紹。
同本書的第1版、第2版、第3版一樣，第4版仍強調實踐和面向初學者，并通過實戰講解的方式讓讀者更好地了解Elasticsearch、Logstash、Kibana、X拟Pack、Beats等的應用。全書涵蓋Elasticsearch的架構簡介、文檔索引及管理、信息檢索與聚合、Elasticsearch API及其應用（適當兼顧J2EE和Python用戶）、Elasticsearch配置與集群管理、基于Logstash的網絡日志處理、基于Kibana的分析結果可視化、基于X拟Pack插件的系統運行監控應用、基于Beats的數據解析傳輸、應用實例等。本書介紹的基于Elastic Stack 6架構的分布式大數據搜索、日志挖掘、可視化、集群管理與性能監控是入門方案，但對有一定基礎的中、高級使用者也有一定的參考和工程應用價值。
本書第4版由高凱擬定寫作大綱，高凱、岳重陽、江躍華合作完成，并由高凱審校了全書。在本書的寫作過程中，編者得到了多方面的支持與幫助。高成亮、毛雨欣、聶穎杰、韓佳、謝宇翔、楊聰聰、侯雪飛、李明奇、楊鎧成、朱玉、楊凱、李嬌娥、徐倩、吳林芳等均給予了協助。編者在寫作過程中參考了Elastic官方網站https://www.elastic.co/以及互聯網上眾多熱心網友提供的素材。本書的順利完成也得益于參考文獻中包含的相關工作及研究成果，在此謹向這些文獻的作者、熱心網友以及為本書提供幫助的人士致以誠摯的感謝。在本書寫作過程中，編者也得到了清華大學出版社焦虹編審的大力支持和幫助，在此一并表示衷心感謝。
由于我們的學識水平有限，書中不妥之處在所難免，懇請廣大讀者批評指正。
編者
2019年6月[1][2]
|
內容簡介：本書系統地介紹數據搜索與實時分析引擎套件Elastic Stack的相關技術，并通過實戰講解的方式介紹Elasticsearch、Logstash、Kibana、X拟Pack、Beats等的應用。全書共11章，內容涵蓋Elasticsearch架構簡介、文檔索引及管理、信息檢索與聚合、Elasticsearch API及其應用、Elasticsearch配置與集群管理、基于Logstash的日志處理、基于Kibana的數據分析及可視化、基于X拟Pack的系統運行監控、基于Beats的數據解析傳輸，最后給出兩個信息檢索與分析實例。
本書強調實踐和面向初學者，力求反映基于Elastic Stack 6架構的最新成果。本書可供高等學校計算機科學與技術、軟件工程、物聯網、信息管理與信息系統等專業的學生在學習和科研中參考。對于從事大數據搜索與挖掘、日志分析、信息可視化、集群管理與性能監控的工程技術人員和希望了解網絡信息檢索技術的人員也具有較高的參考價值和工程應用價值。 |
目錄：第1章概述1
1.1Elasticsearch概述3
1.1.1Elasticsearch的安裝與簡單配置4
1.1.2ElasticsearchAPI的使用方式7
1.2Logstash7
1.3Kibana8
1.4Beats8
1.5X拟Pack9
1.6其他9
1.7擴展知識與閱讀9
1.8本章小結10
第2章文檔索引及管理11
2.1文檔索引概述11
2.2head：Elasticsearch用于數據管理的工具之一13
2.3建立索引15
2.4通過映像配置索引20
2.4.1在索引中使用映像20
2.4.2管理/配置映像21
2.4.3獲取映像信息22
2.4.4刪除映像23
2.5管理索引文件24
2.5.1打開、關閉、檢測、刪除索引文件24
2.5.2清空索引緩存25
2.5.3刷新索引文件25
2.5.4優化索引文件26[1][2][1][3]2.5.5flush操作26
2.6設置中文分析器26
2.7對文檔的其他操作29
2.7.1獲取指定文檔的信息29
2.7.2刪除指定文檔的信息31
2.7.3更新指定文檔的信息31
2.7.4基于POST方式批量獲取文檔信息34
2.8實例36
2.9擴展知識與閱讀40
2.10本章小結41
第3章信息檢索與聚合42
3.1實驗數據集描述43
3.2基本檢索44
3.2.1檢索方式44
3.2.2query查詢45
3.2.3from/size查詢46
3.2.4檢索結果排序46
3.2.5高亮搜索詞49
3.2.6查詢模板50
3.3檢索進階51
3.3.1全文檢索51
3.3.2詞項檢索55
3.3.3復合查詢58
3.3.4跨度查詢61
3.3.5特殊查詢64
3.3.6腳本65
3.4聚合68
3.4.1metric聚合69
3.4.2bucket聚合74
3.4.3pipeline聚合83
3.4.4matrix聚合87
3.5實例88
3.6擴展知識與閱讀94
3.7本章小結95
第4章ElasticsearchAPI及其應用96
4.1Elasticsearch節點實例化96
4.1.1在Java中初始化Elasticsearch96
4.1.2在Python中初始化Elasticsearch100
4.2索引數據101
4.2.1準備JSON數據101
4.2.2為JSON數據生成索引103
4.3對索引文件的操作106
4.3.1獲取索引中的文檔數據106
4.3.2刪除索引文件中的文檔數據108
4.3.3更新索引文件中的文檔數據109
4.3.4對索引文件中的文檔進行批量操作110
4.4信息檢索112
4.4.1概述113
4.4.2multiSearch114
4.4.3查詢模板115
4.4.4QueryDSL概述117
4.4.5matchAllQuery117
4.4.6全文檢索118
4.4.7詞項檢索121
4.4.8復合查詢125
4.4.9跨度查詢127
4.4.10特殊查詢130
4.5聚合132
4.5.1Metric聚合132
4.5.2bucket聚合136
4.6對檢索結果的進一步處理140
4.6.1控制每頁的顯示數量及排序依據140
4.6.2基于scroll分頁顯示檢索結果140
4.7JavaHighLevelRESTfulClient和ElasticsearchDSL142
4.7.1JavaHighLevelRESTfulClient142
4.7.2ElasticsearchDSL146
4.8實例148
4.8.1在Elasticsearch中建立索引148
4.8.2連接Elasticsearch149
4.8.3信息采集與索引構建150
4.8.4搜索模塊152
4.8.5推薦模塊153
4.8.6聚合模塊154
4.9擴展知識與閱讀155
4.10本章小結156
第5章Elasticsearch配置與集群管理157
5.1Elasticsearch的部分基本配置157
5.2索引文件和查詢優化160
5.3監控集群狀態161
5.4控制索引文件分片與副本分配163
5.5集群管理165
5.6擴展知識與閱讀166
5.7本章小結167
第6章基于Logstash的日志處理168
6.1概述169
6.2input：處理輸入的日志數據171
6.2.1處理基于file方式輸入的日志信息172
6.2.2處理基于generator產生的日志信息173
6.2.3基于Filebeat處理log4j的日志信息174
6.2.4處理基于redis的日志信息176
6.2.5處理基于TCP傳輸的日志數據179
6.2.6處理基于UDP傳輸的日志數據183
6.3codec：格式化日志數據185
6.3.1json格式185
6.3.2rubydebug格式187
6.3.3plain格式187
6.4基于filter的日志處理與轉換188
6.4.1jsonfilter189
6.4.2grokfilter190
6.4.3kvfilter192
6.5output：輸出日志數據195
6.5.1將處理后的日志輸出到Elasticsearch中195
6.5.2將處理后的日志輸出到文件中197
6.5.3將處理后的日志輸出到csv文件中198
6.5.4將處理后的日志輸出到redis中199
6.5.5將處理后的日志通過UDP輸出201
6.5.6將處理后的日志通過TCP輸出202
6.5.7將日志信息發送至Email206
6.6擴展知識與閱讀208
6.7本章小結209
第7章基于Kibana的數據分析及可視化210
7.1Kibana概述211
7.2安裝Kibana211
7.3使用Management組件管理配置212
7.3.1創建索引模式213
7.3.2高級設置214
7.3.3管理已保存的檢索、可視化和儀表板218
7.4使用Discover組件執行查詢219
7.4.1設置時間選擇器219
7.4.2在索引模式中執行搜索220
7.4.3字段過濾221
7.4.4查看文檔數據222
7.5使用Visualize組件創建統計圖表224
7.6使用Dashboard組件創建動態儀表板226
7.6.1創建新的動態儀表板227
7.6.2打開已保存的動態儀表板228
7.6.3分享動態儀表板228
7.7使用Timelion組件創建時間線229
7.8使用DevTools執行命令行231
7.8.1在Console中執行命令231
7.8.2Console快捷鍵233
7.8.3Console設置234
7.9網站性能監控可視化應用實例234
7.9.1概述234
7.9.2使用Visualize實現可視化234
7.9.3使用Dashboard整合可視化結果238
7.10擴展知識與閱讀239
7.11本章小結240
第8章基于X拟Pack的系統運行監控241
8.1X拟Pack概述241
8.2安裝X拟Pack242
8.3Security插件與安全性243
8.3.1身份驗證機制與用戶管理243
8.3.2匿名訪問246
8.3.3基于域的用戶認證247
8.3.4基于角色的訪問權限配置248
8.3.5IP地址過濾251
8.3.6帶有身份認證的TransportClient253
8.3.7帶有身份認證的RESTful命令256
8.4使用Monitoring監控系統運行狀態256
8.4.1系統運行狀態監控256
8.4.2配置Monitoring260
8.4.3搭建獨立的Monitoring集群262
8.5Alerting插件與異常事件警報263
8.5.1通過RESTful方式設置監視器264
8.5.2通過Java程序設置監視器267
8.5.3使用WatcherUI管理監視器269
8.6Reporting與報告生成270
8.6.1在程序中生成報告270
8.6.2通過監視器自動生成報告271
8.7使用Graph探索數據關聯273
8.8使用MachineLearning發現數據趨勢異常275
8.9使用SearchProfiler分析搜索查詢277
8.10使用GrokDebugger調試grok表達式279
8.11擴展知識與閱讀280
8.12本章小結280
第9章基于Beats的數據解析傳輸281
9.1基于packetbeat的網絡數據包傳輸282
9.1.1概述282
9.1.2安裝282
9.1.3配置283
9.1.4加載索引模板285
9.1.5啟動和關閉286
9.1.6使用Kibana進行可視化展示287
9.2基于Filebeat的日志傳輸288
9.2.1概述288
9.2.2安裝和配置288
9.2.3啟動和關閉291
9.2.4使用Kibana進行展示291
9.3基于metricbeat的系統指標數據傳輸292
9.3.1概述292
9.3.2安裝和配置293
9.3.3啟動和關閉294
9.3.4使用Kibana進行展示295
9.4基于winlogbeat的Windows事件日志數據傳輸296
9.4.1概述296
9.4.2安裝297
9.4.3配置298
9.4.4啟動和關閉301
9.4.5使用Kibana進行展示302
9.5基于auditbeat的用戶和進程活動審計304
9.5.1概述304
9.5.2安裝和配置304
9.5.3啟動和關閉305
9.5.4使用Kibana進行展示306
9.6基于heartbeat的服務狀態檢測308
9.6.1概述308
9.6.2安裝和配置308
9.6.3啟動和關閉311
9.6.4使用Kibana進行展示311
9.7擴展知識與閱讀313
9.8本章小結313
第10章信息檢索與分析實例（一）314
10.1基于Elasticsearch的行業信息存儲314
10.1.1環境準備314
10.1.2數據準備315
10.2基于SpringBoot的信息檢索及Web端設計317
10.2.1創建和配置工程317
10.2.2Web頁面設計319
10.3基于Logstash的日志處理327
10.3.1配置SpringBoot輸出日志327
10.3.2在Logstash中進行相關配置329
10.4基于Kibana的日志分析結果可視化330
10.4.1訪問量走勢分析331
10.4.2查詢參數比率分析333
10.4.3故障案例可視化334
10.4.4將圖表集成到儀表板中335
10.5擴展知識與閱讀336
10.6本章小結337
第11章信息檢索與分析實例（二）338
11.1面向動態網站的信息采集339
11.1.1軟件準備339
11.1.2瀏覽器驅動程序339
11.1.3創建索引和映像340
11.1.4導入依賴341
11.1.5數據采集342
11.2基于SpringMVC的信息檢索及Web程序設計348
11.2.1創建和配置SpringMVC項目348
11.2.2前端頁面設計351
11.2.3后端控制器類356
11.3基于Logstash的日志處理360
11.4基于Beats的數據傳輸361
11.5基于Kibana的數據可視化362
11.5.1可視化索引文件中的信息363
11.5.2對Logstash、Beats的可視化展示364
11.6基于X拟Pack的系統監控366
11.7擴展知識與閱讀369
11.8本章小結369
參考文獻370 |
| 序： |
