 |
-- 會員 / 註冊 --
|
 |
|
|
|
深入理解MySQL主從原理 ( 簡體 字) |
| 作者：高鵬 | 類別：1. -> 資料庫 -> MySQL |
| 譯者： |
| 出版社：電子工業出版社 |  3dWoo書號： 54204
詢問書籍請說出此書號！【缺書】
NT售價： 445 元 |
| 出版日：3/1/2021 |
| 頁數：268 |
| 光碟數：0 |
|
站長推薦：   |
| 印刷：黑白印刷 | 語系： ( 簡體 版 ) |
| |
加入購物車  │加到我的最愛
(請先登入會員) |
| ISBN：9787121406584 |
| 作者序 | 譯者序 | 前言 | 內容簡介 | 目錄 | 序 |
| (簡體書上所述之下載連結耗時費功, 恕不適用在台灣, 若讀者需要請自行嘗試, 恕不保證) |
| 作者序： |
| 譯者序： |
前言：從2017年開始，筆者所在的公司開始大量上線MySQL 5.7基于GTID的主從構架，在實際的運維工程中，產生了不少問題和疑惑，比如：
主從延遲為什么瞬間跳動？
延遲為0就一定代表沒有延遲嗎？
從庫能和主庫一樣利用索引嗎？
MTS是如何提高從庫應用效率的？
mysql.gtid_executed表在從庫初始化的時候扮演什么樣的角色？
我們開始結合源碼來解決問題并解除疑惑。慢慢地，整個主從體系越來越清晰，我們的經驗也越來越豐富，為了將這些積累的知識和經驗分享給更多的人，我決定撰寫本書，這是本書由來的第一個原因。
從MySQL 5.7.17開始，MySQL官方推出了MGR高可用構架，MGR是未來MySQL高可用構架發展的方向，它和主從有著天然的聯系，比如GTID、Event、SQL線程等基本都是通用的，要深入學習MGR，必須先深入學習主從原理。為了讓廣大讀者能夠打好學習MGR的基礎，我更加堅定了撰寫本書的想法，這也是本書由來的第二個原因。
在MySQL這個開源領域，人才濟濟、高手如云，優秀的著作比比皆是，比如最近我的朋友羅小波、沈剛著的《數據生態：MySQL復制技術與生產實踐》就是一本優秀的MySQL主從相關書籍，書中的案例可作為本書的補充。我希望以本書為載體和廣大的MySQL愛好者互相交流、互相學習、共同進步，這也是本書由來的最后一個原因。
討論范圍
我從2018年開始著手撰寫本書，到2019年中旬初稿完成。在我開始學習的時候，MySQL的主流版本還是MySQL 5.7，因此本書的所有代碼均限定在MySQL 5.7.22這個版本。現在回想整個撰寫過程，比我想象的艱難很多，消耗了我大量的精力和時間。還好有朋友的和同事的支持，最終基本完成。由于精力有限，本書不包含半同步部分，實屬遺憾。本書主要討論范圍如下：
源碼版本 MySQL 5.7.22。
不覆蓋半同步。
只考慮參數master_info_repository和參數relay_log_info_repository設置為TABLE的情況。
只考慮參數binlog_format設置為ROW的情況。
術語約定
行格式：參數binlog_format設置為ROW。
語句格式：參數binlog_format設置為STATEMENT。
binary log：代表binlog物理文件。
order commit：代表MYSQL_BIN_LOG::ordered_commit函數，因為本書中使用頻率較高，所以做了簡化。
GTID AUTO_POSITION MODE：代表主從使用的是GTID，同時設置了master_auto_position=1。
POSITION MODE：代表主從使用的是傳統位點方式。
GTID MODE：代表主從使用的是GTID，但是沒有設置master_auto_position=1。
單SQL線程：用來和MTS進行區分，代表只有一個SQL線程進行Event的應用。
MTS：Multi-Threaded Slaves的簡稱，包含一個協調線程和多個工作線程，Event由工作線程應用。
本書結構
深入學習主從原理，需要按照一定的順序學習，如果不知道GTID、不知道Event、不知道主庫如何生成Event，那么肯定不能深入理解主從原理，因此本書按照這種順序進行講解。本書一共分為5章，前4章應該作為一個整體順序閱讀，第5章和前面4章沒有關聯，可以獨立閱讀。
第1章：介紹GTID相關的知識點，包含GTID的構成、GTID模塊的初始化、GTID中的運維等知識點。
第2章：介紹binary log中的主要Event，從作用、格式講解、實際解析等幾個維度講解各個Event。
第3章：介紹主庫是如何生成Event的，以及DUMP線程是如何通過GTID進行主庫binary log定位，并且進行Event傳輸的。
第4章：介紹從庫是如何應用Event的，并且還包含了推薦的參數設置和Seconds_ Behind_Master延遲的相關知識點。
第5章：本章作為知識拓展，講解線程的初步知識、MDL LOCK、排序等熱門話題，還包含了主從相關的案例。
目標讀者
MySQL DBA。
MySQL源碼愛好者。
致謝
感謝業內眾多MySQL專家在百忙之中為本書做推薦序，他們是翟衛祥、溫正湖、桑櫟、葉金榮、吳炳錫、王偉、黃炎、王英杰、馮光普、李大玉、李真旭、楊建榮、楊奇龍、徐晨亮。
感謝北京中亦安圖科技領導黃遠邦為本書做封底序。
感謝我的同事戴正勇、楊海波、田興椿、鄒啟建，沒有你們的幫助和支持，本書不可能完成。
感謝電子工業出版社的孫學瑛編輯對我寫作的支持，她嚴謹的態度讓人欽佩。
感謝我的父親高祖恒，妻子顏蕾和兩個可愛的兒子，感謝你們的支持，你們的支持是我最大的動力，我愛你們。
讀者反饋和勘誤
由于筆者能力有限，書中難免存在一些錯誤和不妥，敬請批評和指正，如果您有更多寶貴的意見請通過如下方式進行聯系和反饋。 |
內容簡介：在超大規模流量的分布式系統環境下，無論是從系統性能的角度，還是從數據安全性的角度，掌握MySQL主從原理，都是當下技術人員的必備基本功。MySQL主從原理是高可用架構的基石，即便是MGR這種集群架構也可以看到主從的影子。要解決一個問題或者故障，最快的方式就是了解它的原理，快速定位問題。本書從源碼層面抽絲剝繭般地描述MySQL主從原理，全面地介紹了GTID相關的知識點，并解析了主要Event的生成、作用和格式，以及線程的初步知識、MDL LOCK、排序等熱門話題和主從相關的案例。無論是MySQL DBA和MySQL源碼愛好者，還是剛進入數據庫行業的小白讀者，通過閱讀本書，都能通過源碼級分析，更好地理解和使用MySQL主從復制技術。 |
目錄：第1章 GTID 1
1.1 GTID的基本概念 1
1.1.1 GTID的作用 1
1.1.2 GTID的基本表示 1
1.1.3 server_uuid的生成 2
1.1.4 GTID的生成 2
1.1.5 GTID_EVENT和PREVIOUS_GTIDS_LOG_EVENT簡介 3
1.1.6 gtid_executed表的作用 4
1.2 mysql.gtid_executed表、gtid_executed變量、gtid_purged變量的修改時機 5
1.2.1 定義 5
1.2.2 主庫修改時機 7
1.2.3 從庫修改時機 8
1.2.4 通用修改時機 10
1.2.5 通用修改時機源碼函數簡析 10
1.3 GTID模塊初始化簡介和參數binlog_gtid_simple_recovery 11
1.3.1 GTID模塊初始化流程圖 12
1.3.2 步驟解析 13
1.4 GTID中的運維 16
1.4.1 跳過一個事務 17
1.4.2 mysqldump導出行為的改變 17
1.4.3 搭建GTID AUTO_POSITION MODE的主從 18
1.4.4 主從切換 20
1.4.5 參數gitd_mode的含義 21
1.4.6 在線開啟GTID 21
1.4.7 離線開啟GTID 22
1.4.8 開啟GTID的注意事項 23
1.4.9 統計值ONGOING_ANONYMOUS_TRANSACTION_COUNT的變更時機 23
1.4.10 設置MASTER_AUTO_POSITION = 1的影響 25
1.4.11 離線開啟GTID丟失數據的測試 25
第2章 Event 28
2.1 binary log Event 的總體格式 28
2.1.1 引言 28
2.1.2 binary log綜述 28
2.1.3 Event的總體格式 29
2.1.4 Event header和Event footer 29
2.1.5 具體解析 30
2.1.6 本書涉及的Event類型 31
2.2 重點Event之FORMAT_DESCRIPTION_EVENT和
PREVIOUS_GTIDS_LOG_EVENT 32
2.2.1 FORMAT_DESCRIPTION_EVENT 32
2.2.2 PREVIOUS_GTIDS_LOG_EVENT 35
2.3 重點Event之GTID_EVENT 39
2.3.1 GTID_EVENT的作用 39
2.3.2 源碼重要接口 40
2.3.3 主體格式 40
2.3.4 簡單解析 41
2.3.5 生成時機 41
2.3.6 ANONYMOUS_GTID_EVENT 41
2.3.7 GTID的三種模式 42
2.4 重點Event之QUERY_EVENT和MAP_EVENT 43
2.4.1 QUERY_EVENT 43
2.4.2 MAP_EVENT 46
2.5 重點Event之WRITE_EVENT和DELETE_EVENT 51
2.5.1 WRITE_EVENT 51
2.5.2 DELETE_EVENT 57
2.6 重點Event之UPDATE_EVENT和XID_EVENT 61
2.6.1 UPDATE_ROWS_EVENT 61
2.6.2 XID_EVENT 66
2.7 參數binlog_row_image的影響 68
2.7.1 參數影響 68
2.7.2 過濾方式 70
2.7.3 DML Event中的標識 70
2.8 巧用Event發現問題 73
2.8.1 工具簡介 73
2.8.2 分析長期未提交的事務 74
2.8.3 分析大事務 75
2.8.4 分析binary log中Event的生成速度 75
2.8.5 分析每個表生成了多少個DML Event 75
2.8.6 工具展示 75
第3章 主庫 79
3.1 binlog cache簡介 79
3.1.1 binlog cache綜述 79
3.1.2 使用binlog cache的流程 80
3.1.3 參數binlog_cache_size的作用及其初始化 80
3.1.4 臨時文件的分配和使用 81
3.1.5 參數max_binlog_cache_size的作用 82
3.1.6 如何觀察到臨時文件 82
3.2 事務Event的生成和寫入流程 83
3.2.1 流程綜述 83
3.2.2 刪除階段流程 85
3.2.3 提交階段流程 85
3.2.4 兩個注意點 86
3.3 MySQL層事務提交流程簡析 86
3.3.1 參數設置 86
3.3.2 總體流程圖 87
3.3.3 步驟解析第一階段 90
3.3.4 步驟解析第二階段（FLUSH階段） 90
3.3.5 步驟解析第三階段（SYNC階段） 92
3.3.6 步驟解析第四階段（COMMIT階段） 93
3.3.7 步驟解析第五階段 94
3.3.8 提交階段的注意點 95
3.4 基于WRITESET的并行復制方式 95
3.4.1 奇怪的last commit 96
3.4.2 WRITESET是什么 96
3.4.3 WRITESET的生成 97
3.4.4 add_pke函數的流程 98
3.4.5 WRITESET設置對last commit的處理方式 99
3.4.6 WRITESET的歷史MAP 100
3.4.7 WRITESET的并行復制對last commit的處理流程 100
3.4.8 WRITESET_SESSION的方式 104
3.4.9 關于參數binlog_transaction_dependency_history_size的說明 104
3.4.10 沒有主鍵的情況 104
3.4.11 為什么同一個session執行的事務能生成同樣的last commit 105
3.4.12 WRITESET并行復制方式的優缺點 105
3.5 主庫的DUMP線程 106
3.5.1 POSITION MODE和GTID AUTO_POSITION MODE的不同點 106
3.5.2 流程圖 108
3.5.3 步驟解析 109
3.5.4 重點說明 112
3.6 DUMP線程查找和過濾GTID的基本算法 113
3.6.1 環境假設 113
3.6.2 檢查從庫的GTID是否大于主庫的GTID 114
3.6.3 檢查需要的binary log是否已經清理 114
3.6.4 實際掃描binary log 115
3.6.5 GTID過濾 115
第4章 從庫 117
4.1 從庫MTS多線程并行回放（一） 117
4.1.1 MTS綜述 117
4.1.2 協調線程的分發機制 118
4.1.3 步驟解析 120
4.1.4 并行回放判定一例 124
4.2 從庫MTS多線程并行回放（二） 126
4.2.1 工作線程執行Event 126
4.2.2 MTS檢查點中的重要概念 127
4.2.3 MTS中執行檢查點的流程 132
4.2.4 MTS的關鍵點 136
4.3 MTS中的“gap”測試和參數lave_preserve_commit_ order 136
4.3.1 MTS中的“gap”測試 136
4.3.2 參數slave_preserve_commit_order的影響 138
4.4 從庫的I/O線程 139
4.4.1 引入 139
4.4.2 I/O線程的啟動流程圖 140
4.4.3 流程解析 142
4.5 從庫的SQL線程（MTS協調線程）和參數sql_slave_skip_counter 146
4.5.1 SQL線程的功能 146
4.5.2 流程圖 146
4.5.3 重要步驟說明 148
4.5.4 各個Event做了什么 151
4.6 從庫數據的查找和參數slave_rows_search_algorithms 153
4.6.1 從一個例子出發 153
4.6.2 確認查找數據的方式 156
4.6.3 ROW_LOOKUP_HASH_SCAN方式的數據查找 159
4.6.4 從庫數據查找的要點 161
4.7 從庫的關閉和異常恢復流程 162
4.7.1 正常的stop slave流程 162
4.7.2 stop slave為什么會慢 163
4.7.3 從庫啟動需要讀取的信息 164
4.7.4 關于repository表的事務性 165
4.7.5 相關參數 166
4.7.6 恢復流程 167
4.8 安全高效的從庫設置 170
4.8.1 從庫參數設置建議 170
4.8.2 單SQL線程模式 171
4.8.3 MTS 174
4.8.4 一個非安全設置的例子 176
4.8.5 參數sync_relay_log的影響 177
4.9 從庫Seconds_Behind_Master的計算方式 177
4.9.1 Seconds_Behind_Master的計算方式 178
4.9.2 影響Seconds_Behind_Master的因素 178
4.9.3 不同操作計算延遲的方式 181
4.9.4 MTS中Seconds_Behind_Master計算誤差測試 181
4.9.5 手動修改系統時間導致Seconds_Behind_Master為0 183
4.10 Seconds_Behind_Master延遲場景歸納 185
4.10.1 延遲場景 185
4.10.2 相關測試 186
4.10.3 延遲診斷的方法論 189
第5章 案例解析 190
5.1 線程簡介和MySQL調試環境搭建 190
5.1.1 線程簡介 190
5.1.2 PID、LWP ID、Thread TID 192
5.1.3 MySQL線程和系統LWP ID的關系 193
5.1.4 調試環境的搭建 194
5.1.5 調試環境的使用 197
5.2 MySQL排序詳細解析 198
5.2.1 為什么要討論排序 198
5.2.2 從一個問題出發 199
5.2.3 測試案例 200
5.2.4 階段1：確認排序字段及順序 202
5.2.5 階段2：計算sort字段長度 202
5.2.6 階段3：計算額外字段的空間 203
5.2.7 階段4：確認每行的長度 205
5.2.8 階段5：確認最大內存分配 206
5.2.9 階段6：讀取數據進行內存排序 207
5.2.10 階段7：排序方式總結輸出 210
5.2.11 階段8：進行最終排序 211
5.2.12 排序的其他問題 212
5.2.13 使用OPTIMIZER_TRACE查看排序信息 214
5.2.14 回到問題本身 215
5.2.15 答疑 217
5.3 MySQL中的MDL Lock簡介 219
5.3.1 MDL Lock綜述 219
5.3.2 重要數據結構和概念 220
5.3.3 為MDL Lock增加打印函數 225
5.3.4 在合適的位置增加打印函數 227
5.3.5 常見MDL Lock類型的加鎖測試 229
5.4 奇怪的FTWRL堵塞案例 237
5.4.1 兩個不同的現象 237
5.4.2 sleep 函數生效點 239
5.4.3 FTWRL做了什么工作 240
5.4.4 例5-3步驟解析 242
5.4.5 例5-4步驟解析 243
5.4.6 FTWRL堵塞和被堵塞的簡單總結 244
5.5 產生大量小relay log故障案例 245
5.5.1 案例現象 245
5.5.2 參數slave_net_timeout分析 245
5.5.3 原因剖析 246
5.5.4 案例模擬 246
5.5.5 實現方式 248
5.6 從庫system lock原因簡析 250
5.6.1 binary log的寫入時間和Event中的時間 250
5.6.2 問題由來 251
5.6.3 從庫system lock延遲的原因 251
5.6.4 system lock問題分析 252
5.6.5 模擬測試 253 |
| 序： |
|
