第1篇　Web、數據庫運維篇

第1章　高效Web服務器Nginx 2
1.1　為什么選擇Nginx 2
1.2　安裝和配置Nginx 3
1.2.1　安裝Nginx 3
1.2.2　Nginx配置文件解讀 5
1.3　Nginx的管理與維護 9
1.3.1　Nginx基本信息檢查 9
1.3.2　Nginx的啟動、關閉與重啟 10
1.4　Nginx常見應用實例 11
1.4.1　Nginx中location應用實例 11
1.4.2　Nginx反向代理應用實例 12
1.4.3　Nginx中URL的重寫功能以及內置變量 15
1.4.4　Nginx中虛擬主機配置實例 19
1.4.5　Nginx中負載均衡的配置實例 20
1.4.6　Nginx中HTTPS配置的實例 21
1.5　LNMP應用架構以及部署 25
1.5.1　LNMP簡介 25
1.5.2　Nginx的安裝 26
1.5.3　MySQL的安裝 26
1.5.4　PHP的安裝 30
1.5.5　Nginx下PHP-FPM的配置 32
1.5.6　測試LNMP安裝是否正常 35
1.6　Nginx +Tomcat架構與應用案例 36
1.6.1　Nginx +Tomcat整合的必要性 36
1.6.2　Nginx +Tomcat動靜分離配置實例 37
1.6.3　Nginx +Tomcat多Tomcat負載均衡配置實例 38
第2章　高效Web服務器Apache 39
2.1　LAMP服務套件 39
2.1.1　LAMP概述 39
2.1.2　LAMP服務環境的搭建 39
2.1.3　測試LAMP環境安裝的正確性 45
2.1.4　在LAMP環境下部署phpMyAdmin工具 45
2.1.5　在LAMP環境下部署WordPress應用 46
2.2　Apache的基礎配置 48
2.2.1　Apache的目錄結構 48
2.2.2　Apache配置文件 49
2.3　Apache常見功能應用實例 57
2.3.1　Apache下HTTPS配置實例 57
2.3.2　反向代理功能實例 58
2.4　Apache MPM模式與基礎調優 62
2.4.1　MPM模式概述 62
2.4.2　prefork MPM模式 62
2.4.3　worker MPM模式 63
2.4.4　event MPM模式 64
2.5　Apache集成Tomcat構建高效JAVA Web應用 65
2.5.1　Apache與Tomcat整合的必要性 66
2.5.2　Apache和Tomcat連接器 66
2.5.3　Apache、Tomcat和JK模塊的安裝 67
2.5.4　Apache與Tomcat整合配置 68
第3章　企業常見MySQL架構應用實戰 74
3.1　選擇Percona Server、MariaDB還是MYSQL 74
3.1.1　MySQL官方發行版 74
3.1.2　MySQL與存儲引擎 74
3.1.3　Percona Server for MySQL分支 75
3.1.4　MariaDB Server 75
3.1.5　如何選擇 75
3.2　MySQL命令操作 76
3.2.1　連接MySQL 76
3.2.2　修改密碼 76
3.2.3　增加新用戶/授權用戶 76
3.2.4　數據庫基礎操作 77
3.2.5　MySQL表操作 78
3.2.6　備份數據庫 79
3.3　MySQL備份恢復工具XtraBackup 80
3.3.1　安裝XtraBackup工具包 80
3.3.2　XtraBackup工具介紹 81
3.3.3　xtrabackup備份恢復實現原理 81
3.3.4　innobackupex工具的使用 81
3.3.5　利用innobackupex進行MySQL全備份 82
3.3.6　利用innobackupex完全恢復數據庫 83
3.3.7　XtraBackup針對海量數據的備份優化 84
3.3.8　完整的MySQL備份恢復例子 85
3.4　常見的高可用MySQL解決方案 86
3.4.1　主從復制解決方案 86
3.4.2　MMM高可用解決方案 86
3.4.3　Heartbeat/SAN高可用解決方案 87
3.4.4　Heartbeat/DRBD高可用解決方案 87
3.4.5　MySQL Cluster高可用解決方案 87
3.5　通過Keepalived搭建MySQL雙主模式的高可用集群系統 87
3.5.1　MySQL Replication介紹 88
3.5.2　MySQL Replication實現原理 89
3.5.3　MySQL Replication常用架構 89
3.5.4　MySQL主主互備模式架構圖 90
3.5.5　MySQL主主互備模式配置 91
3.5.6　配置Keepalived實現MySQL雙主高可用 95
3.5.7　測試MySQL主從同步功能 97
3.5.8　測試Keepalived實現MySQL故障轉移 99
3.6　MySQL集群架構MHA應用實戰 100
3.6.1　MHA的概念和原理 101
3.6.2　MHA套件的組成和恢復過程 102
3.6.3　安裝MHA套件 102
3.6.4　配置MHA集群 106
3.6.5　測試MHA環境以及常見問題總結 111
3.6.6　啟動與管理MHA 113
3.6.7　MHA集群切換測試 114
3.7　MySQL中間件ProxySQL 117
3.7.1　ProxySQL簡介 117
3.7.2　ProxySQL的下載與安裝 117
3.7.3　ProxySQL的目錄結構 118
3.7.4　ProxySQL庫表功能介紹 118
3.7.5　ProxySQL的運行機制 120
3.7.6　在ProxySQL下添加與修改配置 121
3.8　ProxySQL+MHA構建高可用MySQL讀寫分離架構 123
3.8.1　ProxySQL+MHA應用架構 123
3.8.2　部署環境說明 123
3.8.3　配置后端MySQL 124
3.8.4　配置后端MySQL用戶 124
3.8.5　在ProxySQL中添加程序賬號 125
3.8.6　加載配置和變量 125
3.8.7　連接數據庫并寫入數據 126
3.8.8　定義路由規則 126
3.8.9　ProxySQL整合MHA實現高可用 128

第2篇　運維監控篇

第4章　運維監控利器Zabbix 130
4.1　Zabbix運行架構 130
4.1.1　Zabbix應用組件 131
4.1.2　Zabbix服務進程 131
4.1.3　Zabbix監控術語 132
4.2　安裝、部署Zabbix監控平臺 133
4.2.1　LNMP環境部署 134
4.2.2　編譯安裝Zabbix Server 137
4.2.3　創建數據庫和初始化表 138
4.2.4　配置Zabbix Server端 138
4.2.5　安裝與配置Zabbix Agent 140
4.2.6　安裝Zabbix GUI 141
4.2.7　測試Zabbix Server監控 144
4.3　Zabbix Web配置詳解 144
4.3.1　模板的管理與使用 144
4.3.2　創建應用集 145
4.3.3　創建監控項 146
4.3.4　創建觸發器 149
4.3.5　創建主機組和主機 152
4.3.6　觸發器動作配置 154
4.3.7　報警媒介類型配置 157
4.3.8　監控狀態查看 158
4.4　Zabbix自定義監控項 160
4.4.1　Zabbix Agent端開啟自定義監控項功能 160
4.4.2　讓監控項接收參數 160
4.5　Zabbix的主動模式與被動模式 161
4.6　自動發現與自動注冊 162
4.7　Zabbix運維監控實戰案例 168
4.7.1　Zabbix監控MySQL應用實戰 168
4.7.2　Zabbix監控Apache應用實戰 174
4.7.3　Zabbix監控Nginx應用實戰 178
4.7.4　Zabbix監控PHP-FPM應用實戰 182
4.7.5　Zabbix監控Tomcat應用實戰 188
4.7.6　Zabbix監控Redis實例應用實戰 193
第5章　分布式監控系統Ganglia 201
5.1　Ganglia簡介 201
5.2　Ganglia的組成 201
5.3　Ganglia的工作原理 203
5.3.1　Ganglia數據流向分析 203
5.3.2　Ganglia工作模式 204
5.4　Ganglia的安裝 204
5.4.1　yum源安裝方式 204
5.4.2　源碼方式 205
5.5　配置一個Ganglia分布式監控系統 207
5.5.1　Ganglia配置文件介紹 207
5.5.2　Ganglia監控系統架構圖 207
5.5.3　Ganglia監控管理端配置 207
5.5.4　Ganglia的客戶端配置 208
5.5.5　Ganglia的Web端配置 209
5.6　Ganglia監控系統的管理和維護 210
5.7　Ganglia監控擴展實現機制 211
5.7.1　擴展Ganglia監控功能的方法 211
5.7.2　通過gmetric接口擴展Ganglia監控 212
5.7.3　通過Python插件擴展Ganglia監控 213
5.7.4　實戰：利用Python接口監控Nginx運行狀態 214
5.8　Ganglia在實際應用中要考慮的問題 217
5.8.1　網絡IO可能存在瓶頸 217
5.8.2　CPU可能存在瓶頸 217
5.8.3　gmetad rrd數據寫入可能存在瓶頸 217

第3篇　集群架構篇

第6章　高性能集群軟件Keepalived 220
6.1　集群的定義 220
6.2　集群的特點與功能 221
6.2.1　高可用性與可擴展性 221
6.2.2　負載均衡與錯誤恢復 221
6.2.3　心跳檢測與漂移IP 221
6.3　集群的分類 222
6.3.1　高可用集群 222
6.3.2　負載均衡集群 223
6.3.3　分布式計算集群 224
6.4　HA集群中的相關術語 225
6.5　Keepalived簡介 225
6.5.1　Keepalived的用途 226
6.5.2　VRRP協議與工作原理 226
6.5.3　Keepalived工作原理 227
6.5.4　Keepalived的體系結構 227
6.6　Keepalived安裝與配置 229
6.6.1　Keepalived的安裝過程 229
6.6.2　Keepalived的全局配置 230
6.6.3　Keepalived的VRRPD配置 231
6.6.4　Keepalived的LVS配置 234
6.7　Keepalived基礎功能應用實例 237
6.7.1　Keepalived基礎HA功能演示 237
6.7.2　通過VRRP_script實現對集群資源的監控 243
第7章　高性能負載均衡集群LVS 247
7.1　LVS簡介 247
7.2　LVS體系結構 247
7.3　IP負載均衡與負載調度算法 248
7.3.1　IP負載均衡技術 249
7.3.2　負載均衡機制 249
7.3.3　LVS負載調度算法 255
7.3.4　適用環境 256
7.4　LVS的安裝與使用 256
7.4.1　安裝IPVS管理軟件 257
7.4.2　ipvsadm的用法 257
7.5　通過Keepalived搭建LVS高可用性集群系統 258
7.5.1　實例環境 258
7.5.2　配置Keepalived 259
7.5.3　配置Real Server節點 261
7.5.4　啟動Keepalived+LVS集群系統 263
7.6　測試高可用LVS負載均衡集群系統 263
7.6.1　高可用性功能測試 263
7.6.2　負載均衡測試 264
7.6.3　故障切換測試 264
7.7　LVS經常使用的集群網絡架構 265
7.7.1　內網集群，外網映射VIP 265
7.7.2　全外網LVS集群環境 266
第8章　高性能負載均衡軟件HAProxy 268
8.1　高性能負載均衡軟件HAProxy 268
8.1.1　HAProxy簡介 268
8.1.2　四層和七層負載均衡的區別 269
8.1.3　HAProxy與LVS的異同 270
8.2　HAProxy基礎配置與應用實例 270
8.2.1　快速安裝HAProxy集群軟件 271
8.2.2　HAProxy基礎配置文件詳解 271
8.2.3　通過HAProxy的ACL規則實現智能負載均衡 277
8.2.4　管理與維護HAProxy 279
8.2.5　使用HAProxy的Web監控平臺 282
8.3　搭建HAProxy+Keepalived高可用負載均衡系統 283
8.3.1　搭建環境描述 283
8.3.2　配置HAProxy負載均衡服務器 284
8.3.3　配置主、備Keepalived服務器 286
8.4　測試HAProxy+Keepalived高可用負載均衡集群 289
8.4.1　測試Keepalived的高可用功能 289
8.4.2　測試負載均衡功能 290

第4篇　線上服務器安全、調優、自動化運維篇

第9章　線上服務器安全運維 292
9.1　賬戶和登錄安全 292
9.1.1　刪除特殊的賬戶和賬戶組 292
9.1.2　關閉系統不需要的服務 293
9.1.3　密碼安全策略 294
9.1.4　合理使用su、sudo命令 299
9.1.5　刪減系統登錄歡迎信息 300
9.1.6　禁止Control-Alt-Delete鍵盤關閉命令 301
9.2　遠程訪問和認證安全 301
9.2.1　采用SSH方式而非telnet方式遠程登錄系統 301
9.2.2　合理使用shell歷史命令記錄功能 303
9.2.3　啟用Tcp_Wrappers防火墻 305
9.3　文件系統安全 307
9.3.1　鎖定系統重要文件 307
9.3.2　文件權限檢查和修改 309
9.3.3　/tmp、/var/tmp、/dev/shm安全設定 309
9.4　系統軟件安全管理 311
9.4.1　軟件自動升級工具yum 311
9.4.2　yum的安裝與配置 311
9.4.3　yum的特點與基本用法 313
9.4.4　幾個不錯的yum源 315
9.5　Linux后門入侵檢測與安全防護工具 316
9.5.1　rootkit后門檢測工具RKHunter 317
9.5.2　Linux安全防護工具ClamAV的使用 320
9.5.3　Linux.BackDoor.Gates.5（文件級別rootkit）網絡帶寬攻擊案例 322
9.6　服務器遭受攻擊后的處理過程 326
9.6.1　處理服務器遭受攻擊的一般思路 326
9.6.2　檢查并鎖定可疑用戶 327
9.6.3　查看系統日志 328
9.6.4　檢查并關閉系統可疑進程 329
9.6.5　檢查文件系統的完好性 329
9.7　云服務器被植入挖礦病毒案例實錄以及Redis安全防范 330
9.7.1　問題現象 330
9.7.2　分析問題 331
9.7.3　問題解決 336
9.7.4　深入探究Redis是如何被植入 338
第10章　線上服務器性能調優案例 346
10.1　線上Linux服務器基礎優化策略 346
10.1.1　系統基礎配置與調優 346
10.1.2　系統安全與防護策略 351
10.1.3　系統內核參數調優 355
10.2　系統性能調優規范以及對某電商平臺優化分析案例 358
10.2.1　CPU性能評估以及相關工具 358
10.2.2　內存性能評估以及相關工具 360
10.2.3　磁盤I/O性能評估以及相關工具 361
10.2.4　網絡性能評估以及相關工具 363
10.2.5　系統性能分析標準 366
10.2.6　動態、靜態內容結合的電商網站優化案例 366
10.3　一次Java進程占用CPU過高問題的排查方法與案例分析 376
10.3.1　案例故障描述 376
10.3.2　Java中進程與線程的概念 377
10.3.3　排查Java進程占用CPU過高的思路 378
10.3.4　Tomcat配置調優 383
10.3.5　Tomcat Connector 3種運行模式（BIO、NIO、APR）的比較與優化 385
第11章　自動化運維工具Ansible 391
11.1　Ansible的安裝 391
11.2　Ansible的架構與運行原理 392
11.3　Ansible主機和組的配置 394
11.4　ansible.cfg與默認配置 396
11.5　Ad-Hoc與command模塊 396
11.5.1　Ad-Hoc是什么 396
11.5.2　command模塊 397
11.5.3　shell模塊 398
11.5.4　raw模塊 398
11.5.5　script模塊 399
11.6　Ansible其他常用功能模塊 399
11.6.1　ping模塊 399
11.6.2　file模塊 400
11.6.3　copy模塊 401
11.6.4　service模塊 402
11.6.5　cron模塊 402
11.6.6　yum模塊 403
11.6.7　user模塊與group模塊 404
11.6.8　synchronize模塊 405
11.6.9　setup模塊 405
11.6.10　get_url模塊 406
11.7　ansible-playbook簡單使用 406
11.7.1　劇本簡介 406
11.7.2　劇本文件的格式 406
11.7.3　劇本的構成 407
11.7.4　劇本執行結果解析 408
11.7.5　ansible-playbook收集facts信息案例 409
11.7.6　兩個完整的ansible-playbook案例 410

第5篇　虛擬化、大數據運維篇

第12章　KVM虛擬化技術與應用 414
12.1　KVM虛擬化架構 414
12.1.1　KVM與QEMU 414
12.1.2　KVM虛擬機管理工具 414
12.1.3　宿主機與虛擬機 415
12.2　VNC的安裝與使用 415
12.2.1　啟動VNC Server 415
12.2.2　重啟VNC Server 415
12.2.3　客戶端連接 416
12.3　查看硬件是否支持虛擬化 416
12.4　安裝KVM內核模塊和管理工具 416
12.4.1　安裝KVM內核 417
12.4.2　安裝virt管理工具 417
12.4.3　加載KVM內核 417
12.4.4　查看內核是否開啟 417
12.4.5　KVM管理工具服務相關 417
12.5　宿主機網絡配置 418
12.5.1　建立橋接器 418
12.5.2　配置橋接設備 418
12.5.3　重啟網絡服務 419
12.6　使用KVM技術安裝虛擬機 419
12.7　虛擬機復制 421
12.7.1　本機復制 421
12.7.2　控制臺管理虛擬機 422
12.7.3　虛擬機的遷移 422
12.8　KVM虛擬化常用管理命令 423
12.8.1　查看KVM虛擬機配置文件及運行狀態 423
12.8.2　KVM虛擬機開機 423
12.8.3　KVM虛擬機關機或斷電 423
第13章　ELK大規模日志實時處理系統應用實戰 426
13.1　ELK架構介紹 426
13.1.1　核心組成 426
13.1.2　Elasticsearch介紹 426
13.1.3　Logstash介紹 427
13.1.4　Kibana介紹 428
13.1.5　ELK工作流程 428
13.2　ZooKeeper基礎與入門 429
13.2.1　ZooKeeper概念介紹 429
13.2.2　ZooKeeper應用舉例 430
13.2.3　ZooKeeper工作原理 430
13.2.4　ZooKeeper集群架構 431
13.3　Kafka基礎與入門 432
13.3.1　Kafka基本概念 432
13.3.2　Kafka術語 432
13.3.3　Kafka拓撲架構 433
13.3.4　主題與分區 434
13.3.5　生產者生產機制 434
13.3.6　消費者消費機制 434
13.4　Filebeat基礎與入門 435
13.4.1　什么是Filebeat 435
13.4.2　Filebeat架構與運行原理 435
13.5　ELK常見應用架構 436
13.5.1　最簡單的ELK架構 436
13.5.2　典型ELK架構 437
13.5.3　ELK集群架構 438
13.6　用ELK+Filebeat+Kafka+ZooKeeper構建大數據日志分析平臺 438
13.6.1　典型ELK應用架構 439
13.6.2　環境與角色說明 439
13.6.3　安裝JDK并設置環境變量 440
13.6.4　安裝并配置Elasticsearch集群 441
13.6.5　安裝并配置ZooKeeper集群 450
13.6.6　安裝并配置Kafka Broker集群 452
13.6.7　安裝并配置Filebeat 457
13.6.8　安裝并配置Logstash服務 460
13.6.9　安裝并配置Kibana展示日志數據 466
13.6.10　調試并驗證日志數據流向 470
13.7　Logstash配置語法詳解 472
13.7.1　Logstash基本語法組成 472
13.7.2　Logstash輸入插件 472
13.7.3　Logstash編碼插件
（codec） 476
13.7.4　Logstash過濾插件 477
13.7.5　Logstash輸出插件 488
13.8　ELK收集Apache訪問日志實戰案例 489
13.8.1　ELK收集日志的幾種方式 490
13.8.2　ELK收集Apache訪問日志的應用架構 490
13.8.3　Apache的日志格式與日志變量 491
13.8.4　自定義Apache日志格式 492
13.8.5　驗證日志輸出 492
13.8.6　配置Filebeat 493
13.8.7　配置Logstash 494
13.8.8　配置Kibana 496
13.9　ELK收集Nginx訪問日志實戰案例 498
13.9.1　ELK收集Nginx訪問日志應用架構 498
13.9.2　Nginx的日志格式與日志變量 499
13.9.3　自定義Nginx日志格式 500
13.9.4　驗證日志輸出 501
13.9.5　配置Filebeat 501
13.9.6　配置Logstash 502
13.9.7　配置Kibana 504
13.10　通過ELK收集MySQL慢查詢日志數據 505
13.10.1　開啟慢查詢日志 505
13.10.2　慢查詢日志分析 509
13.10.3　配置Filebeat收集MySQL慢查詢日志 510
13.10.4　通過Logstash的grok插件過濾、分析MySQL配置日志 511
13.10.5　通過Kibana創建MySQL慢查詢日志索引 513
13.11　通過ELK收集Tomcat訪問日志和狀態日志 515
13.11.1　Tomcat日志解析 515
13.11.2　配置Tomcat的訪問日志和運行狀態日志 516
13.11.3　配置Filebeat 518
13.11.4　通過Logstash的grok插件過濾、分析Tomcat配置日志 519
13.11.5　配置Zabbix輸出并告警 521
13.11.6　通過Kibana平臺創建Tomcat訪問日志索引 522
第14章　高可用分布式集群Hadoop部署全攻略 524
14.1　Hadoop生態圈知識 524
14.1.1　Hadoop生態概況 524
14.1.2　HDFS 525
14.1.3　MapReduce（分布式計算框架）離線計算 525
14.1.4　HBase（分布式列存數據庫） 525
14.1.5　ZooKeeper（分布式協作服務） 526
14.1.6　Hive（數據倉庫） 526
14.1.7　Pig（ad-hoc腳本） 527
14.1.8　Sqoop（數據ETL/同步工具） 527
14.1.9　Flume（日志收集工具） 527
14.1.10　Oozie（工作流調度器） 527
14.1.11　YARN（分布式資源管理器） 527
14.1.12　Spark（內存DAG計算模型） 529
14.1.13　Kafka（分布式消息隊列） 529
14.2　Hadoop的偽分布式部署 529
14.2.1　Hadoop發行版介紹 529
14.2.2　CDH發行版本 530
14.2.3　CDH與操作系統的依賴 530
14.2.4　偽分布式安裝Hadoop 530
14.2.5　使用Hadoop HDFS命令進行分布式存儲 534
14.2.6　在Hadoop中運行MapReduce程序 534
14.3　高可用Hadoop2.x體系結構 535
14.3.1　兩個NameNode的地位關系 535
14.3.2　通過JournalNode保持NameNode元數據的一致性 535
14.3.3　NameNode的自動切換功能 536
14.3.4　高可用Hadoop集群架構 536
14.3.5　JournalNode集群 537
14.3.6　ZooKeeper集群 538
14.4　部署高可用的Hadoop大數據平臺 538
14.4.1　安裝配置環境介紹 539
14.4.2　ZooKeeper安裝過程 539
14.4.3　Hadoop的安裝 540
14.4.4　分布式Hadoop的配置 542
14.5　Hadoop集群啟動過程 548
14.5.1　檢查各個節點的配置文件的正確性 549
14.5.2　啟動ZooKeeper集群 549
14.5.3　格式化ZooKeeper集群 549
14.5.4　啟動JournalNode 549
14.5.5　格式化集群NameNode 550
14.5.6　啟動主節點的NameNode服務 550
14.5.7　NameNode主、備節點同步元數據 550
14.5.8　啟動備機上的NameNode服務 551
14.5.9　啟動ZKFC 551
14.5.10　啟動DataNode服務 552
14.5.11　啟動ResourceManager和
NodeManager服務 552
14.5.12　啟動HistoryServer服務 552
14.6　Hadoop日常運維問題總結 553
14.6.1　下線DataNode 553
14.6.2　DataNode磁盤出現故障 554
14.6.3　安全模式導致的錯誤 555
14.6.4　NodeManager出現Java heap space 555
14.6.5　Too many fetch-failures錯誤 555
14.6.6　Exceeded MAX_FAILED_
UNIQUE_FETCHES; bailing-out錯誤 555
14.6.7　java.net.NoRouteToHostException: No route to host錯誤 556
14.6.8　新增DataNode 556
第15章　分布式文件系統HDFS與分布式計算YARN 558
15.1　分布式文件系統HDFS 558
15.1.1　HDFS結構與架構 558
15.1.2　名字節點工作機制 559
15.1.3　二級名字節點工作機制 560
15.1.4　HDFS運行機制以及數據存儲單元（block） 561
15.1.5　HDFS寫入數據流程解析 562
15.1.6　HDFS讀取數據流程解析 563
15.2　MapReduce與YARN的工作機制 564
15.2.1　第一代Hadoop組成與結構 564
15.2.2　第二代Hadoop組成與結構 566