 |
-- 會員 / 註冊 --
|
 |
|
|
|
MySQL運維內參：MySQL、Galera、Inception核心原理與最佳實踐 ( 簡體 字) |
| 作者：周彥偉,王竹峰,強昌金 | 類別：1. -> 資料庫 -> MySQL |
| 譯者： |
| 出版社：電子工業出版社 |  3dWoo書號： 46722
詢問書籍請說出此書號！【缺書】
NT售價： 595 元 |
| 出版日：5/1/2017 |
| 頁數：640 |
| 光碟數：0 |
|
站長推薦：   |
| 印刷：黑白印刷 | 語系： ( 簡體 版 ) |
| |
加入購物車  │加到我的最愛
(請先登入會員) |
| ISBN：9787121312359 |
| 作者序 | 譯者序 | 前言 | 內容簡介 | 目錄 | 序 |
| (簡體書上所述之下載連結耗時費功, 恕不適用在台灣, 若讀者需要請自行嘗試, 恕不保證) |
| 作者序： |
| 譯者序： |
前言：推薦序1
周彥偉，我們又稱呼他為鹽味。在浙江大學同窗七年的時間里，鹽味給人的印象是聰明又很認真，幽默而又內向，專注卻不失好奇。所以，在他畢業之后去了一家軟件公司的時候，我們都覺得他會成為一名合格的程序員。但他卻總有意外之舉——先是在寫了五年程序之后，改行做了DBA；然后又以中國MySQL用戶組主席的身份，把MySQL社區做得風風火火、紅遍全國；緊接著又被Oracle授予象征Oracle和MySQL DBA至高榮譽的ACE Director；同時，他又領導了一個關于MySQL審核的開源項目Inception。作為他的大學同學和一名計算機技術教育從業者，我真心為他高興。
最近得知，鹽味的新書《MySQL運維內參》即將完稿出版，我深知寫書的艱辛與不易，這是需要巨大的恒心和毅力，付出比常人更多的心血和汗水才能完成的，非常敬佩他和他的創作團隊。
我曾在同濟大學計算機科學與技術系參與過數據庫課程的教學工作，遍觀《MySQL運維內參》的內容，其對數據庫系統原理和基礎實現的講解非常細致和認真，結合基本功能和源碼實現的講解又能讓讀者更清晰地理解MySQL技術，而理論與實踐的結合更能維護論點、說明原理。相信此書能夠幫助數據庫特別是MySQL數據庫學習者和使用者在學習工作中百尺竿頭、更進一步。
王瀚漓
同濟大學計算機科學與技術系教授、博導
推薦序2
MySQL是一個非常優秀的開源關系數據庫管理系統。我第一次接觸MySQL是在2002年，令業界稱道的開源和高性能兩大特性吸引我去嘗試了解它。雖然后來由于種種原因沒有在MySQL領域深耕，但一直很關注它的發展。MySQL的快速普及，除了得益于互聯網的高速發展，其支持事務和行級并發的InnoDB存儲引擎也功不可沒，InnoDB設計上的簡潔精美及其高性能令人嘆服，值得數據庫應用開發者、數據庫管理員和數據庫愛好者花時間去研讀。學習它的設計思想，能幫助我們了解關系型數據庫最核心的運作原理，我后來的工作深受其啟發，獲益良多！
《MySQL運維內參》不僅僅是一本關于MySQL運維的書。在第一部分MySQL篇，作者介紹了MySQL 服務器線程的啟動和運行原理，并用相當大的篇幅詳細介紹了InnoDB的數據字典對象和數據存儲的細節，特別是InnoDB無處不在的索引和B+樹算法，以及保證物理文件存儲結構合法性的物理事務概念，這一概念對于關系型數據庫系統的ACID特性至關重要。此外，還介紹了基于Binlog的復制，可用于經典的MySQL高可用場景。MySQL特有的嵌入式存儲引擎架構在邏輯復制中可能引發ROWID問題，另外InnoDB半物理半邏輯的REDO方式，可能導致潛在的數據頁斷裂，因此需要引入特有的二次寫入。這些MySQL/InnoDB深層的特性和機制，隨著MySQL篇的展開，都一一呈現在讀者面前。閱讀這些章節，如同和一個在數據庫實現方面有深厚功底的專家對話，能讓我們了解MySQL/InnoDB的優勢和局限，從而在實際工作中揚長避短，發揮MySQL及支撐它的硬件潛能。
保證數據安全有效是數據庫運維的基本職責，作者以親身經歷，講述了MySQL數據庫在運行中可能碰到的故障和排查方式，以及如何規避可能的風險等。這些經驗對于我們在實際工作中處理超長事務、死鎖現象等都有很好的借鑒意義。
本書的第二篇講述了高可用Galera集群的原理、實現細節，以及使用中可能碰到的問題和解決方式。Galera是一種基于復制的允許多點讀/寫的高可用集群系統，而其他MySQL的高可用架構基本都是主從式的，這使得Galera在處理業務的負載均衡方面具有明顯的優勢。考慮到作者一手打造了國內最大的Galera集群，并已經投入到高并發大流量的互聯網生產環境，本書關于Galera原理和運維的相關描述的權威性是毋庸置疑的，因此本書也是難得的Galera學習和使用的參考資料。
MySQL的小巧靈活及過于快速的成長，也讓它付出了代價。MySQL擅長快速執行充分調優的相對簡單的SQL，而處理復雜SQL的能力很弱，因此甄別那些有可能會拖跨MySQL的劣質SQL語句（這個問題對于其他數據庫系統也存在，只是程度不同）成為每一個MySQL DBA的重要任務，而Inception正是幫助DBA自動處理這一工作的利器，能極大提升這方面的效率。本書的作者同時也是Inception軟件的作者，他們無私地把Inception這一成果貢獻給了社區，并在本書中講述了Inception的起源、功能特性和使用方法。Inception的實現利用了很多編譯知識，如果能結合Inception的源碼閱讀本書的相關章節，一定能收獲更多。
我雖然不是MySQL領域的專家，但是數據庫相關的很多原理知識都是相通的，有幸能在出版之前閱讀到本書，我深切感受到其語言表達和技術內容之美。現在推薦給大家，希望本書能對大家的工作、學習有所幫助。
韓朱忠
達夢數據庫高級副總經理
推薦序3
在DB-Engines網站上，維護著一個數據庫流行度積分榜，最近兩年的積分榜前兩位一直是Oracle和MySQL，并且兩者的積分已經相當接近，我查看了一下目前的分數，Oracle是1416，而MySQL是1366，由此可見MySQL的流行（2017年1月17日數據）。
一個開源的關系型數據庫能夠挑戰Oracle數據庫十幾年來雄霸天下的位置，這本身就是開源領域的巨大成功。而一個產品的成功，不僅僅是靠技術層面的安全、穩定和高效，更重要的是要有活躍的社區和生態圈。在中國MySQL生態的構建過程中，彥偉的貢獻有目共睹，他在完成自我的技術成長之后，又率先拉起大旗創立了ACMUG用戶組，并且踏踏實實地在全國范圍進行活動組織和技術分享，極大地活躍和帶動了MySQL社區的發展，彥偉也因此而成為了國內第三位MySQL方向的Oracle ACE總監。
所謂同聲相應、同氣相求。在彥偉的影響下，一批MySQL俊彥匯聚到去哪兒網的數據庫團隊，其中就包括本書另兩位作者——年輕專家竹峰和昌金。在技術上的實踐和積累需要長期的底蘊和實干，彥偉的團隊近年在去哪兒網的踐行也尤其值得關注。現在，他們將實踐多年的積累匯聚成書，與行業里的同仁分享，這對大家實在是難得而寶貴的財富。
我閱讀了本書的部分章節，對比了MySQL的兩次寫與Oracle數據庫相關實現上的異同，感覺頗為受益；而Inception作為MySQL的SQL審核產品，與云和恩墨的z3有異曲同工之妙，從Inception的誕生到開源，我一直都在關注，好的思路和產品，也必然是殊途同歸的。我一直認為，在開發測試階段強化SQL質量審核，是DevOps在數據庫領域的最佳落地點，也是DBA們將踩過的坑和開發經驗進行分享的最具價值的呈現，防患于未然的事前審核優化，才是對企業和業務負責任的態度。現在，作者們把Inception的來龍去脈呈現出來，一定會讓很多DBA們感同身受，并開始學習和借鑒。
一本好書，十年磨礪！愿讀者朋友們能夠體味其中甘苦，一同盡飲DBA們帶來的佳釀！
而至于無窮回味、激發創新、轉折演繹，則要靠各位去譜寫新的篇章！
蓋國強
云和恩墨創始人，Oracle ACE總監，ACOUG主席
推薦序4
由于ACMUG（中國MySQL用戶組）的緣故，我很早就認識了彥偉，并且意氣相投、一見如故。他是ACMUG的創始人兼主席，同時也是一名運維經驗豐富的DBA，他曾經分享過在人人網鼎盛時期以區區幾名DBA應對MySQL巨大訪問量的經歷，也談起過在去哪兒網主導的針對電子商務和交易的MySQL運維架構的革新和SQL審核工具Inception的創作。從UGC類型的人人網到電商類型的去哪兒網，這對DBA本身就是一個進階。從使用開源工具到自己創作并開源工具，這更是一個巨大的進步。
王竹峰就是Inception的主要開發者，他的數據庫理論和源碼功底非常深厚，而他邊運維邊進行源碼開發和研究的工作方式更加促進了他對MySQL整個體系架構原理的理解，帶著問題看源碼，裝著源碼解決問題，通過源碼解讀MySQL的各種特性，這已經成了竹峰的標簽。
我是以運維DBA的角色開始我的職業生涯的，經歷了長期一線實戰的積累和鍛煉，隨后才慢慢轉為數據庫內核開發。即便是現在，我跟阿里云的其他同事也會經常處理一線運維問題，通過對這些問題的處理，我們積累了經驗和需求，再反饋到數據庫源碼中去，這是我們不斷前進的原動力。一線運維經驗與數據庫理論和源碼相結合的重要性，我有深刻的體會。
得知彥偉愿意牽頭把他和團隊這幾年的經驗和技術通過書的形式寫出來分享，我非常欣喜并期待，這是對廣大MySQLDBA最好的禮物。
彭立勛
MariaDB基金會成員，ORACLE MySQL ACE
推薦序5
自從2015年10月MySQL 5.7 GA，以及2016年9月8.0 DMR版本啟動后，我們可以看到Oracle官方明顯加大了對MySQL的開發力度，努力把MySQL打造成一個全明星產品，讓我們對MySQL未來的發展更加堅定了信心。
作為一個從業多年的MySQL DBA，我從未停止探索理解MySQL中各方面的技術實現細節，包括最重要的Server層及InnoDB存儲引擎。此外，我也關注MySQL的各種高可用實現方案，以及作為DBA非常迫切需要的自動化管理平臺。
2016年12月，MySQL 5.7正式發布了MySQL Group Replication，我們終于可以用上這個官方的多節點同時寫入高性能架構的方案了。當然，新事物總是需要有一個階段才能完善，還不能大規模上線使用。那么，現階段如果有這樣的需求怎么辦呢？毫無疑問，肯定是選擇Galera
Cluster方案。
如果有這樣一個工具，能幫助DBA完成SQL上線前的審核，審核通過后能自動上線，萬一反悔或誤操作還能“倒帶”（回滾），相信您一定會很期待吧！如果這個工具還開源了，是不是更興奮了呢？沒錯，這就是Inception！它完全可以幫您實現這些夢想，讓DBA無須再痛苦地做SQL審計和上線執行。
在過去的幾年里，周彥偉先生、吳炳錫先生和我一起打造了國內最有影響力的MySQL用戶組織ACMUG。從和周彥偉的協作中能感受到他對技術細節的拿捏把控。因此我們也有理由相信，由周彥偉先生、王竹峰先生等人主導編寫的這本MySQL大作將會引爆今年的MySQL技術圈。同時我們也要感謝本書所有作者的辛苦編撰和無私的經驗分享。
葉金榮
知數堂培訓聯合創始人，ORACLE MySQL ACE
推薦序6
我和彥偉是老朋友了。最近得知彥偉在寫一本叫作《MySQL運維內參》的書籍，感到若合一契。
互聯網剛開始進入中國的時候，國內數據庫市場一直被昂貴的商業數據庫統治，在一些大型企業、機構尤為明顯。但最近幾年，以MySQL為代表的一批開源數據庫已經在慢慢成長，足以應付復雜的使用場景，也足以在那些要求高可用、高一致性、高安全性的領域施展拳腳。國內在MySQL方面的人才也快速涌現。這個時候，我們都感到需要一些有行業經驗的人站出來，把成熟的MySQL使用經驗分享給大家，讓MySQL能夠真正獨當一面，發揮更大的價值，成為眾多企業的選擇。
騰訊云在金融、保險、工業、政府、游戲互聯網應用等多個領域和從業人員有過一些交流，他們也感覺缺乏運維方面的書籍來培訓和指導他們的員工。彥偉這次的專著應運而生，既是行業的需要，也是他作為ACMUG創始人的責任。
彥偉書中內容翔實，不僅介紹了使用方法，也對InnoDB的原理、主從復制，以及業界內的一些不同做法做了介紹。文中介紹的Inception，與騰訊云的備份審計系統頗有相似之處。我們也經常在一起探討云數據庫的架構與實現，希望本書能給讀者帶來新的啟發，為MySQL帶來新的動力。
祝百萬
騰訊云數據庫技術負責人
自序1
十年前，我有幸加入了陳華、吳世春創辦的酷訊網，開啟了我的互聯網職業生涯，同時也讓我開始接觸到開源世界的件件瑰寶，尤其是MySQL。終于，兩年后，我正式成為了一名MySQL
DBA。這要感謝當時如日中天、被譽為中國Facebook的校內網和我的良師益友劉啟榮先生，讓我有機會和空間，在MySQL的世界里自由翱翔并得其所哉。
從事MySQL DBA工作是我一直以來引以為豪的事情。我一向認為DBA是一個與眾不同的職業，如果要把人分成兩類的話，那么有一種分法就是，一類是DBA，另一類是非DBA。
DBA是什么？
? 有點像SA。但在業務層面上比SA事多，主要是牽扯的人多，嬉笑怒罵，皆成文章。
? 有點像DEV。但總是會有沖突，多數情況下發生在雙方對數據庫使用的看法和優化上。我們只好自己開發一個Inception給DEV用。
? 有點像PM。設計庫，優化表，處處都是藝術。
? 有點像CTO。你以為我說的是首席建表官？DBA不過是操著雞毛蒜皮的心啊。
? 有點像出租車司機。一向不待見那種不等改完表甩手就走的人，等待是一種美德，善始善終方顯英雄本色。
? 有點像消防隊員。網站掛了，可能跟DB沒關系，但DBA一定要出現；DB掛了，一定跟網站有關系，DBA也一定要出現。
? 有點像銀行點鈔員。數據就是錢啊，只是都不是自己的，但職業道德最為重要。
? 有點像養孩子。當爹又當媽，哪個實例伺候不好，都會出亂子。
DBA是服務型職業，服務好了，沒你什么事；服務不好，事情就大了。
DBA承載著一個重要的角色，有著特殊的職責和使命，一個優秀的DBA其實是非常難得的。DBA應該具備怎樣的能力呢？我曾經提出過“DBA精神”：責任心、服務心、溝通心、學習心、進取心和分享心。
DBA精神是責任心的體現
維護數據庫數據的安全和完整是管理員的首要責任。作為一個DBA，在管理數據庫的過程中，要把數據庫看作自己的財產、兒女和身體的一部分。此種職責，需要你像呵護自己的眼睛一樣去照顧你所維護的數據庫。時刻去想，有沒有做應該有的備份，有沒有加應該有的監控，有沒有做必須要做的安全權限限制。一旦出了問題，有沒有第一時間去分析和解決問題。這就像自己的眼睛，一旦出現紅腫病態，怎會有人視而不見？
DBA精神是服務心的體現
現代互聯網對DB的需求，需要支撐業務持續穩定的運行和源源不斷的變更，這要求DBA有7×24小時的服務精神。這是一個服務性職業，需要隨時隨地響應來自各方面的各種需求。其一，人的需求，業務要發展，DB就會有變更，只有DBA與開發人員緊密配合，才能順暢高效地完成工作。其二，事的需求，DB是一個動態的系統，不斷地運轉就會不斷地面臨新問題，機器故障、磁盤報警、內存不足、CPU過載等。這是一個脆弱的系統，它不會對DBA的遲鈍有半點仁慈，一旦有問題，任性的宕機是必然的結果。其三，心的需求，DBA應該發自內心地主動去對DB不斷地做優化，這種優化，可以在結構上，可以在架構上，可以在業務邏輯上，關鍵在于有沒有用心。說得通俗一點，“沒事找事”。
DBA精神是溝通心的體現
DBA的工作，不是封閉的科學研究和孤傲的英雄主義，不管是主動地優化，還是被動地接受任務，都需要與人做不斷的溝通與交流。如果不懂業務流程，不知道數據的來龍去脈、輕重緩急，那就談不上數據庫表的設計和優化。而數據庫的優化，最大的進展往往來自對業務邏輯的優化。這需要運用良好的溝通心態和技巧，深入了解業務流程和架構。與人溝通，是DBA獲取知識和信息的主要途徑，需要做到能與人溝通和會與人溝通。在生活工作中，人的個性是千差萬別的，面對形形色色的溝通對象，充分調動對方的積極性，進行愉快有效的交流，也是DBA需要掌握的一門技術。
DBA精神是學習心的體現
DB在技術體系中是一個承上啟下的中間環節，它運行在物理硬件和操作系統之上，同時承載著上層各種各樣的業務邏輯的調用。對DB的運維和管理，不僅僅需要掌握數據庫自身的基礎知識，還需要知己知彼，去了解它上下游的知識和特性，才能保證這個系統的穩定和優化。所以，一個優秀的DBA需要了解你所使用的硬件，這包括磁盤的特性、網絡的布局、內存的使用和CPU的處理能力等；需要了解DB所運行的操作系統的知識，它是怎樣調度I/O的，怎樣管理內存的，怎樣優化文件的；需要了解上層業務是怎樣調用數據庫的，SQL是怎樣寫的，看懂了業務邏輯的程序才能明白某些SQL是不是多余的，某些SQL是不是可以優化。MySQL官方和MariaDB官方，都已經針對硬件開始在官方源碼的基礎上做自動優化了，同時MySQL官方還提供了自己集成于業務端的高可用方案，這都是開源數據庫進步發展的必然結果。同時，由于開源數據庫的盛行，針對數據庫自身代碼的學習和研究，也逐漸成為優秀DBA的必修課了。
DBA精神是進取心的體現
隨時發現問題、分析問題、解決問題。通過問題現象，依賴自己的經驗和知識，同時探索未知的知識去解決現實中的問題，在這個過程中，也是自己積累經驗和不斷成長的過程。相對而言，解決問題本身并不重要，重要的是在此過程中探索解決問題的方法并總結所獲取的經驗，DBA的職業優勢也在于此，同時，主動花費心思與精力去不斷追求問題的優解和技術的極致，也是DBA應盡的職責。
DBA精神是分享心的體現
這些年，我們一直在倡導做一件事情，那就是提倡DBA在開源社區持續做技術分享。我們做了ACMUG，全稱是 China MySQL User Group。A可以認為是All、About，或者是Active，它代表了所有關心MySQL及其相關技術的積極參與分享活動的人。在過去的數年里，ACMUG已經組織了上百場技術分享，分享者都是工作在一線的DBA或數據庫技術愛好者，通過參與這個活動，大家都切切實實地得到收益，個人在技術上也取得了巨大的進步。通過分享，大家學到了技術、開拓了視野、展開了思路，當然也交到了朋友。我們希望能通過這樣的活動，將DBA精神延續下去，讓更多人受益，讓更多技術普及。
本書的寫作，正是出于分享的目的。我們依靠開源軟件和技術實現了自己的職業理想和人生價值。飲水思源，投桃報李，我們愿意把自己在工作中的點滴積累分享出來，以期能幫助到更多的人。
寫書，其實并不是那么輕松。周圍的好多朋友都有這樣的想法，甚至已經付出了巨大的努力與心血，但最終并未能如愿，非常地遺憾。一方面，互聯網是一個以快為王道的行業，大家平時的工作并不輕松，尤其是DBA，7×24小時的服務要求你要時刻準備著投入工作。另一方面，開源社區也是日新月異、一日千里，稍一遷延，所述的題材和內容也就落伍了。
下面一段引文是我在2015年7月為將要開始寫作的這本書寫的一篇自序，這是當時要寫的內容的一個輪廓，現在看來已經大相徑庭了。
去哪兒網是一個做線上旅游產品的網站，主營線上機票和酒店，以及其他旅游相關的產品，例如火車票，度假線路和旅游攻略，目的地生活，接送機場、景點、火車站的專車，景點門票等。發展到現在，去哪兒網已經算是一個純粹的電子商務網站了，而在網上的各種業務邏輯和操作，大部分都是用MySQL作為后臺數據庫支撐的，這也包括交易的支付業務和賬務系統。要完成這些，除了依靠強大的前端業務邏輯及豐富的流水日志外，對MySQL運維管理也是極大的挑戰，這也使得去哪兒網的MySQL DBA得到了極大的歷練。
在工作過程中，為了支撐業務的發展，圍繞著MySQL運維這個主題思想做了很多事情，大致來說，可以分為以下幾個方面。
其一，定義《去哪兒網MySQL數據庫開發規范》。這主要是針對開發人員的數據庫操作規范，定義這個規范的主要目的是為了方便我們規范地使用MySQL數據庫，在可知的情況下，充分利用數據庫的優點去解決我們的業務需求，同時最大可能地規避已知MySQL的不足之處。另外還有一些約定俗成的規范，例如表名、字段名要用小寫字母，這完全是使用習慣的規范，大家完全不必太在意，可以根據自己的習慣調整，但我建議，如果在同一家公司內部，還是統一起來比較好。
其二，開發《InceptionSQL審核系統》。為了最大程度地保障線上數據庫安全，我們規定，所有的線上SQL必須通過DBA的審核之后，才能上線執行，因為在高并發、高負載的系統中，任何一條不優化的SQL都有可能引起數據庫負載過高，從而導致數據庫實例掛掉。去哪兒網是一個快速發展的公司，各種業務需求變化多端，平時DBA審核SQL的壓力非常大，再加上我們定義了自己的開發規范，這在人工審核的過程中很可能出現一些問題，例如審核不全面，尺度不統一，判斷不正確等。為了改善這一狀況，提高DBA的工作效率，加快項目上線的速度，我們花大力氣開發了一套InceptionSQL審核系統，這套系統能完成DBA平時審核過程中的大部分人工工作，極大地提升了工作效率，也大大提高了審核的正確性，目前已經是DBA工作過程中不可或缺的有力幫手了。
其三，優化數據庫架構，提升數據庫的可用性。去哪兒網是實時的在線交易網站，它對交易數據的一致性和可用性要求非常高，在這個目標上，我們付出了極大的努力。長期以來，去哪兒網的MySQL架構是MMM，MMM是一個比較實用的MySQL集群方案，在早期的MySQL運維中，一度被很多人采用，在MySQL領域是一個使用比較廣泛的架構。但是隨著技術的發展和業務對數據庫服務能力需求的提升，MMM已經漸漸不能滿足我們的需要了，特別地，它有一些致命的缺陷，可能會導致業務完全無法使用。我們花費了巨大的精力去探索什么才是適合自身的MySQL架構方案。最終，我們選定了基于Galera同步的Percona XtraDB Cluster（PXC）方案。在此方案中，我們選定了PXC為底層數據庫存儲架構，同時加上自主開發的分布式哨兵監控系統及連接池管理模塊，形成了一套完整的數據庫高可用架構方案，這套方案在線上運行良好，極大地滿足了線上業務的高可用和高一致性的需求。
另外，由于基于PXC的數據庫方案是高一致性的，它對可用性做了必要的犧牲，但在業務中，有些地方是不太計較一致性的，或者可以接受相當程度的延時。為了滿足此類業務的需求，我們在保留PXC的同時，另起了一個新的方案QMHA，它起源于MHA，但我們不滿足MHA的監控方式及線上切換的缺陷，同時，覺得自己的分布式哨兵監控系統工作得實在太好了，所以決定在MHA的思路上，用組件來完善這個架構，它的底層是數據庫的Master-Slave
Replication，用分布式哨兵作為監控工具，同時利用MySQL 5.6之后的GTID和Semi-Sync-Replication這些特性，來保證數據的最終一致性。
第四，自動化運維。臺上一分鐘，臺下十年功。如果安全的線上運維是臺上表演的話，那么圍繞著MySQL的自動化運維和數據安全所做的工作就是臺下功了。我們在這方面做了不少工作，其中值得一提的是MySQL備份系統，完善的備份是整個數據庫系統必須要有的重要一環。它在某種意義上也是數據庫高可用的一部分，一旦有線上誤操作或其他意外，備份數據會救公司一命。我們使用Percona XtraBackup自己定制了一套完善的備份系統，可以作為一些場景需求的參考。
另外，為了在工作中能快速完成集群的部署，我們定制了自己的集群部署平臺。它可以實現分鐘級的MySQL集群部署，這里需要指出的是，我們的集群結構很復雜，它除了傳統的啟動MySQL實例外，還需要管理監控哨兵、Zookeeper資源、集群namespace資源，以及一些常規的備份和監控功能。
最后，為了方便管理我們的數據庫集群，完成復雜的線上節點切換和維護，我們實現了數據庫集群管理平臺，讓DBA在線上操作時，可以擺脫復雜的運維步驟，大大簡化了操作流程，同時也有效防止了誤操作的可能，提高了運維操作的安全性。
隨著去哪兒網DB團隊的壯大，我們的知識和技術也在慢慢積累。這些知識平時散布在各種Wiki、Doc、Blog及內部郵件中，系統性和可讀性都非常差，非常不利于知識的傳播和傳承，特別是最近新人入職，對他們的培訓也要花費很大的精力。我不禁想，如果能把這些知識整理出來，做成一本書，豈不兩全其美。如果去哪兒網之外的技術同仁們也對此感興趣，我也樂于把它分享出來，供大家在工作中參考。如果能對大家有所幫助，也算是我們對技術社區的點滴回報，真是善莫大焉。
MySQL是歷史悠久的開源數據庫，有著非常強大的社區和人數巨多的擁躉，這里面臥虎藏龍、大牛輩出。由于我們知識范圍有限，如果本書中有疏漏或不妥之處，還望見諒，我們會積極改進，不斷進步。
周彥偉
2015年7月21日于北京
親愛的讀者會發現，有很多文中提到的內容在本書中并未涉及。真實的情況是，近兩年來，我們一邊工作，一邊偷空寫作，寫寫停停，停停寫寫，隨著時間的流逝，很多內容已經不再適合放入本書，例如我們對于MMM和MHA的使用方案和運維經驗；另外，在實踐中我們也發現，有些技術和方案是緊密聯系業務的，事關公司敏感信息的內容也無法放入本書。于是，我們又有了寫寫刪刪、刪刪寫寫的痛苦經歷。技術書籍的時效性對于我們有切膚之痛，曾經有多少次，本書幾乎走到了夭折的邊緣。
這里，要衷心感謝一下我最親密的戰友王竹峰先生，與之相識、相知真乃人生一大快事。竹峰的存在，不僅幫我實現了自己諸多的技術設想，也幫我堅定了去做很多事情的信心。在本書的寫作過程中，竹峰的堅持與毅力鼓舞了大家，竹峰的貢獻是本書能夠出版的關鍵。本書的另一位作者強昌金，在工作和寫作中所表現出來的初生之犢的沖勁和孜孜不倦的精神，也極大地推動了本書的完成。
給讀者帶來最實用的內容是我們一直追求的目標。我們能力有限、學識淺薄，只能花出十二分的氣力，寫一些自己熟悉和擅長的內容呈現給讀者。對于沒有把握的內容，寧可缺失，也不能草草充數了事。這些年，我們最熟悉的東西有三種，那就是本書中介紹的MySQL、Galera和Inception。MySQL是本書的根本，我們使用了多年，而且竹峰在MySQL源碼上的鉆研心得也極大地提高了本書的含金量。我們在去哪兒網所推行的基于Galera的PXC方案，算是近年來最先進的MySQL集群化方案之一了，它的數據一致性和高可用性特別適合去哪兒網這種涉及交易和電子商務的服務型業務，經過三年的實踐，它幫我們支撐了大部分業務需求，使我們受益匪淺。而Inception，則是我們送給所有MySQL
DBA和MySQL相關開發人員的禮物，Inception的出現，把DBA審核SQL、操作SQL的效率提升了一個量級，也為數據庫操作的安全性和規范性提供了行業參考，作為Inception的設計、開發、使用及推廣者，我們不能不去提它。
而對于已經不再適應時代發展和技術潮流的內容，我們也絕不手軟。MMM和MHA的部分曾經寫得很辛苦，而臨到最后，我們還是決心把它們刪去，如果有希望了解這方面知識的讀者，請自行查找吧。但還是要奉勸大家，MySQL集群化的時代已經到來，基于Galera的Percona
XtraDB Cluster和MariaDB Cluster及最新的MySQL Group Replication才是上上之選。
MySQL已經進入了MySQL 5.7時代，并且MySQL 8.0也已經呱呱落地。我們也高度重視在這方面的匹配。雖然開始寫書的時候還在用MySQL 5.6版本，但是到了后期，除了某些原理性的源碼解析，對于版本差別沒那么敏感之外，我們還努力去兼容新版本的特性。尤為榮幸的是，來自MySQL官方資深的技術顧問杜修文先生和MySQL一線開發團隊的宋利兵先生愿意以特邀撰稿人的身份特別為我們的書寫了一部分內容，這是MySQL最新版本相關功能的權威解讀。
我們在書中努力加入了很多在平時工作過程中碰到的案例及經驗總結，也算是本書的一個特色吧，希望這些能在實戰中切切實實地幫助到讀者。
最后，還是想把上面幾年前說過的話再重復一遍：MySQL是歷史悠久的開源數據庫，有著非常強大的社區和人數巨多的擁躉，這里面臥虎藏龍、大牛輩出。由于我們知識范圍有限，如果本書中有疏漏或不妥之處，還望見諒，我們會積極改進，不斷進步。
周彥偉
2017年1月25日于北京
自序2
北漂帝都，轉眼間已四年有余。這四年間，有兩個人對我有著至關重要的影響，我必須先行致謝。
首先感謝我的好友周彥偉先生。入京以來一直是他帶領著我學習、工作，讓我有巨大的進步。一直想寫本書，但苦于知識水平有限，客觀條件也不允許，一直沒能如愿。在他的幫助下，才得此機遇，圓了這個夢，一個我們共同的夢，再次感謝。
其次要感謝我的愛人田麗芳女士。不管是生活中，還是工作中，她的秀外慧中、深明大義及勤奮嚴謹的作風，都讓我感動。在本書的寫作過程中，她也做了很大的貢獻，幫助做了內容方面的校正，這也得益于她對MySQL的熱愛，并能意志堅定地選擇加入MySQL DBA這個大的行列中來，真心感謝她。
互聯網發展至今，開源軟件已經深入人心，并且受到廣泛的支持和響應，很多公司在使用開源軟件的同時也輸出了一些好的開源產品。MySQL作為當今世界上最受歡迎的開源數據庫產品之一，在很多互聯網企業里起到了不可或缺的作用。由于MySQL的諸多特性，比如開源免費、靈活、輕量簡單且越來越多的企業開始使用MySQL，在業界誕生了一大批相關從業者，他們研究MySQL的原理，探討MySQL的架構，完善MySQL的運維，豐富MySQL的工具，促進MySQL的發展，我們稱這些人為MySQL DBA，而本人也是其中之一，深感榮幸。
怎樣才能成為一名合格的MySQL
DBA？在寫作過程中，我一直在思考這個問題。受能力和見識所限，也許本書不能很好地回答這個問題，但根據我個人的成長經歷，還是有幾點感悟可以跟大家分享。
? MySQL DBA，是一類操作型工種，必須要經常動手，想要快速成長，需要經歷很多有計劃的或真實的線上問題處理才可以。一個優秀的DBA，需要見多識廣，達到處事不驚、遇事不亂的狀態，這樣才能在問題出現時，果斷出擊，快速恢復服務。經驗是DBA最大的財富。
? MySQL DBA，也是一類服務型工種，屬于服務行業。我們的使命就是要最大程度地保證業務所依賴的后端數據庫的穩定性，并且提供最長的可服務時間。基于此，DBA都要盡力去培養一顆“為人民服務”的心，時刻做好在第一線戰斗的準備。
? 本人最初從事的是數據庫內核開發工作，相對MySQL DBA來說，這屬于兩個層面，內核開發是以MySQL內部實現原理及方法為視角的，而MySQL DBA是以如何使用好它為視角的。如果有機會，可以將這二者做一個完美結合，或者角色互換，將會有完全不同的效果，因為只有實際使用了，才可以產生實際的需求，才能促進MySQL更好地發展。而做過開發之后再做運維工作，毫無疑問會非常輕松，并且有希望發展到目無全牛的境界。
作為一名有緣既做數據庫開發又做數據庫運維的DBA，在撰寫本書的時候就是本著讓每一位對MySQL感興趣的讀者可以由表及里、深入淺出地去理解MySQL的初衷來構想的。在本書中，我會簡單介紹MySQL的運行原理、InnoDB存儲引擎包括哪些重點模塊，以及各個模塊之間又是如何很好地配合來完成用戶提交請求的等內容。但在講述這些實現原理時，我往往會更加強調方法及深層次的理解，而不局限于其本身，同時還會強調讀者自身是如何思考的，在學習過程中，必須要時刻伴隨自己的思考想象，加上MySQL的自身實現，才能不斷地對其加深理解，做到融會貫通。
本書在講述MySQL時，不會是面面俱到的，所以書名也不是類似“MySQL寶典”之類的。本書主要講述從MySQL DBA的角度來看，哪些對運維來說是重要的，哪些對業務來說是高效的，并且他們都該如何理解，比如日志、索引等章節。
本書的內容，還包括了在去哪兒網經歷了多年實踐的Galera Cluster。Galera無疑是MySQL界的福音，因為它改變了長久以來，MySQL異步復制導致經常修復數據的局面，并且因為其多點寫入的特性，給MySQL的應用和架構設計帶來了非常大的發揮空間。本書要做的，就是基于我們長達三年多的使用經驗，并且立足于對其深入的理解，來講述Galera Cluster是如何實現的，如何支持了多點寫入，沖突是如何解決的，有哪些問題且如何避免，諸如此類都會有所涉及。
很多人只聽到了Galera Cluster可能出現的問題，再加上目前使用者及相關文檔書籍比較少，導致出現了惡性循環，而本書其中的一個目的就是將這些謎團一一揭開，還原一個真正強大好用的Galera Cluster。萬事不可能完美，我想表達的觀點是，當問題不再是問題時，還有什么能阻止你對它的青睞？
本書還包括了一部分特殊的內容，即我們的開源產品Inception。根據目前的反饋，它在業界已經被廣泛使用。這也是在我從開發轉行做了DBA之后，將開發與運維結合的產物，也是我們使用開源產品之余，向業界貢獻的一款開源產品。很多DBA反映，由于它的出現，MySQL DBA的工作瞬時有了翻天覆地的變化，并且輕松了很多，是廣為傳頌的業界良心產品。作為Inception的開發者，我深感榮幸，同時也誠惶誠恐、戰戰兢兢，只能盡自己最大的努力，爭取把它做得更好、更強大，以感謝廣大支持者的厚愛。Inception已經開源，其手冊也已經在網絡上廣泛傳播，而本書所要講述的，不局限于手冊內容，更包含了對Inception的一種理解、它對我們的意義及一種設計理念。
本書還包括了很多案例，這是在長期運維工作中，我和同事不斷積累的一些我們認為值得學習的方法及知識點。
在本書中，很多章節都涉及了有關源碼的解讀和分析，由于不同章節，寫作時間不完全一樣，其中一些章節，盡量保持了與最新版本源碼同步，比如講述關于“MySQL源碼編譯方法”的章節就是，因為是編譯方法的學習，采用的是最新的源碼。
而有些涉及代碼的部分，主要是用來講述MySQL或者InnoDB的內部實現原理。在大多數情況下，即使代碼稍有改變，原理也不會有太多變化，所以很多還是使用了MySQL 5.6版本的源碼，我的寫作初衷是想要大家盡可能地去理解，做到融會貫通，并且主要講述的是學習方法，而不局限于其本身，更不是照本宣科地只是學習某個版本的源碼而已。
所以針對出現了源碼內容的部分章節，還是要根據自己的興趣，帶著自己的問題，根據相關章節中提供的思路，追根溯源，不斷地往復。對每一個問題，首先要有自己的初步想象，在這個問題解決之后，將自己的想象與其真實的實現方法對比，不斷地校正自己的想象，從而產生新的問題，循環迭代，不斷提升自己對MySQL的理解。
我熱愛學習，也熱愛分享。在生活中，不管是好的想法，還是好的資源，都喜歡去分享。能以個人微不足道之力，給周邊朋友或是業界，甚至整個社會帶來一些福利，貢獻一點力量，足矣！
最后，在學習、生活方面，我想與大家分享一段話作為結語：
蓋士人讀書，第一要有志，第二要有識，第三要有恒。有志則不甘為下流；有識則知學問無盡，不敢以一得自足，如河伯之觀海，如井蛙之窺天，皆無識者也；有恒則斷無不成之事。此三者缺一不可。
——曾國藩
王竹峰
2017年1月19日于北京
前言
MySQL是開源世界里面一顆璀璨的明珠，是最流行的關系型開源數據庫。關于MySQL的著作浩如煙海、充棟盈車。如何才能寫出一本有特色內容的書呢？本書獨辟蹊徑，從運維和實踐相結合的角度，分專題和知識點逐一講解。用源碼去解釋MySQL的知識點，分析碰到的問題，這就是本書的特色。
本書內容所涉及的知識點的選擇，建立在我們多年工作經驗的基礎之上。在平時維護MySQL的過程中，覺得需要引起注意或需要弄清楚的，就把它分享出來，希望能管中窺豹，幫助到讀者朋友。
本書總體分三個部分。
第一部分是MySQL。
在這一部分中，我們介紹了MySQL大部分常見知識點的概念和原理，以及運維經驗。所謂源碼面前，了無秘密。我們從MySQL源碼入門開始，介紹源碼結構、啟動過程、創建連接、表對象緩存等，希望讀者在研究MySQL的時候，能充分借助MySQL源碼開源的優勢，從源碼出發，深入理解MySQL的精髓。當然，限于篇幅，我們只能拋磚引玉，適可而止。期望聰明的讀者能打好基礎，登堂入室。
本部分會重點介紹InnoDB的相關概念，從源碼目錄結構，到InnoDB體系架構及其數據字典、數據存儲結構、索引的實現原理、兩次寫（DoubleWrite）、日志管理機制、InnoDB記錄格式等，都進行了深度的剖析，這塊內容比較復雜，也凝聚了我們巨大的心血，期望能幫助讀者理解其中的相關概念。
隨著MySQL 5.7的成熟及MySQL 8.0的發布，一大波MySQL新技術迎面撲來，我們也不會放過這次學習的機會。值得稱道的是，本書中包含了來自兩位MySQL官方團隊的專家特地給我們供稿的內容，分別詳細講述了MySQL對JSON的支持：MySQL Group Replication和MySQL Document Store。另外，我們也關注了MySQL的GTID、SYS Schema、Semi-Sync Replication等，通過對它們詳細的描述，相信本書能為廣大讀者在快速熟悉和掌握MySQL新版本中出現的功能的學習助上一臂之力。
在講述各個知識點的同時，也會結合工作過程中的一些經驗，跟大家分享自己的心得，例如我們詳細介紹了Percona XtraBackup，也分享了在使用它的過程中碰到的問題。類似地，還有快速刪除大表的案例、死鎖的案例、處理很多文件時碰到的問題等。
最后，值得一提的是，我們還結合各個知識點，對MySQL如何保障數據庫安全做了比較詳細的總結，希望這會改變人們對開源數據庫是否可靠這樣問題的一些有爭議的看法。
第二部分是Galera。
Galera是去哪兒網架構MySQL高可用的技術基礎，我們選擇了以Galera Cluster為基礎的Percona XtraDB Cluster為技術原型，自主研發了針對去哪兒網這種以交易為主需求的電子商務網站的MySQL高可用架構方案，目前已經在線使用了三年，可能也是國內最大的Galera集群，我們也很榮幸能成為MySQL集群化的早期踐行者。
本部分首先介紹了Galera Cluster的設計與實現，讓讀者能從宏觀層面理解它。當然，雖然說是宏觀，但是根據本書寫作的主導思想，也不免會從源碼的角度去剖析其架構、理解其精華。Galera提供了非常豐富的參數讓使用者去靈活地設置，我們也做了重點介紹和解析。
在準備工作完成之后，開始講述Galera的重要知識點：驗證方法、消息傳送、GCache實現原理、SST/IST細節、Donor/Desynced詳解、并發控制、FlowControl及grastate.dat文件揭秘等。仔細研讀了這些內容之后，相信讀者對Galera的理解會更上一層樓。
實踐是本書的另一個特色。所以在Galera部分也加入了不少的實踐案例，例如業務更新變慢的根由溯源、手動構建集群死鎖、從庫的轉移等，通過這些內容分享工作中的一些心得，希望讀者能夠從中受益。
第三部分是Inception。
這是我們從零做出來的一個開源項目。Inception已經開源，其手冊也已經在網絡上廣泛傳播，而本書所要講述的，更是對Inception的一種理解，以及它的意義和設計理念。
關于它的誕生、安裝與使用，以及支持的選項、結果集和命令集等，我們都會介紹。同時，值得注意的是，我們特地安排了一節Inception的彩蛋，里面講述了幾個Inception的特殊功能，它們已經成為了日常工作中不可或缺的重要工具。
如何閱讀本書
基于本書的目的，不是為了幫助你了解整個數據庫的所有內容，如果想要了解整個MySQL數據庫的所有內容，在線手冊無疑是最好的幫手。而本書只關注了在工作中總結出來的對工作有用的重點內容。所謂的重點內容很多，它們之間可以不相關，也可以相關，所以行文組織是比較自由的，相應的閱讀模式也可以比較自由。
書中的MySQL部分，其講到的案例都是非常獨立的，與其他章節沒有什么關系，所以可以采取跳躍式閱讀。對于一些講述原理的內容，如果不同章節中有相關聯的部分，在內容中都會有類型參照關于“某某某”的內容來引導閱讀，所以也不需要刻意遵守章節順序。
書中的Galera部分，大部分是在講述它的實現原理，對于這些內容，最好是按照書中的順序閱讀，這樣才可以最好、最快速地理解它們。而后面會講述一些操作方法及案例等內容，都是基于前面的原理的，案例之間沒有相關性，可以采取跳躍式的閱讀方法，找到自己感興趣的內容。
書中的Inception部分，講述了如何誕生、如何使用、如何設計及所支持的功能等內容，這基本也是有順序的，建議按照書中順序來閱讀。
讀者對象
如果你是一名技術管理者，期望本書能幫你建立對MySQL數據庫的信心，助你完成數據庫方向的技術體系建設，同時也能幫助你了解MySQL的原理和架構。其中的知識要點，如果在面試中使用的話，應該能幫你找到你所渴求的那
1% 的頂尖人才。
如果你是一名架構師，期望本書能幫你在MySQL架構上大顯身手，本書中介紹的MySQL
Replication、Semi-Sync Replication、Group Replication、Galera
Cluster，幾乎囊括了所有MySQL架構的基礎，一定有一款適合你。
如果你是一名開發者，期望本書能幫助你在開發過程中，充分理解MySQL的原理，設計出合理的數據庫表和索引，更好地利用MySQL的優勢，避開MySQL的劣勢，合理使用這個優秀的開源數據庫。
如果你是一名DBA，那么真心恭喜你，本書的知識能助你成為那1%的頂尖人才。
勘誤和支持
由于我們對MySQL及相關技術的認知水平有限，以及在書寫過程中可能存在一些疏忽，書中可能還存在一些不盡如人意的地方，或是不夠完美還需要改進的地方，抑或是存在一些錯誤等問題。我們希望廣大讀者朋友們能指出其中的問題并留下您的寶貴建議或意見，我們會不斷改進，不斷完善，在此先感謝大家。
如果有朋友有任何關于本書的問題，或者建議意見等，想要與我們聯系，可以發郵件到mysql@dbace.club，我們會盡己所能及時回應大家。
我們會在我們的公眾號上隨時發布本書勘誤細節和最新技術進展，同時也會把相關重要意見不定期地結集發布，為了保持隨時溝通并獲取最新的改進資料，可以掃描右側二維碼關注我們的公眾號：formysql。
致謝
感謝去哪兒網這個大平臺。有機會去實踐個人理想是一件值得慶幸的事情，而我們恰恰是幸運的。作為DBA，去哪兒網從業務和規模兩個方面給我們提供了無比寬闊的平臺。去哪兒網是典型的電子商務網站，并且業務種類繁多，場景復雜，這可以讓我們有大把的機會去實踐各種業務需求，特別是電子商務網站對數據一致性要求的嚴謹和服務可用性要求的苛刻，可以說是不斷在逼迫我們積極創新、精益求精，這無疑促進了我們自身的進步。同時，去哪兒網作為名列前茅的行業平臺，有龐大的用戶群和訪問量，這對數據庫的性能和并發都提出了很高的要求，在這種情況下，DBA工作的緊迫和艱苦表現得淋漓盡致。寶劍鋒從砥礪出，梅花香自苦寒來。多年以后我們發現，在這樣的環境下，我們進步了。
在去哪兒網，要特別感謝吳永強先生和甘泉先生。他們先后見證了去哪兒網DBA團隊的組建和成熟，是他們在背后的鼎力支持，才讓我們有機會風風火火地折騰一場，完成了DBA技術體系的實踐。同時，也要感謝去哪兒網DBA團隊。如果說我們在MySQL上還有那么一點點小小的成果的話，那么這個成果一定是屬于這個團隊每一個人的，這是大家共同努力的結果。這個團隊目前的成員有：李坤、孫凱、徐庶、鄭平奎、高巖、強昌金、樸昌俊、許子文、沈彥、蒲聰、呂尚、李勇、黃勇、王竹峰、周彥偉。
感謝我們的老朋友杜修文先生和宋利兵先生，他們也是我們眾多MySQL官方團隊朋友的代表。在我們多年使用MySQL的過程中，他們曾經給予過我們無數次的指導和幫助，是我們學好MySQL、用好MySQL的良師益友。在這本書的寫作過程中，他們又熱心相助，犧牲自己的業余時間，為我們呈現了MySQL在NoSQL和Group Replication方面的最新技術細節，無論對本書，還是對于廣大的讀者，都是意外之喜。
在我們學習和使用MySQL的過程中，個人知識和經驗的積累及解決問題的思路大部分都來自朋友們的指點和教誨，我們要感謝幫助過我們的朋友們，特別是一起參與ACMUG社區活動的朋友們，限于篇幅，我們不能點名逐一致謝，就以ACMUG代替吧，感謝ACMUG。
特別地，感謝為本書作推薦的作者：甘泉先生、王瀚漓先生、韓朱忠先生、蓋國強先生、劉啟榮先生、田發明先生、彭立勛先生、金官丁先生、葉金榮先生、祝百萬先生、姜承堯先生、陽學仕先生，諸位師長和朋友的傾情推薦給了我們巨大的信心和勇氣，我們表示衷心的感謝。
由于我們幾人出身工科，文字功底粗陋，同時在技術上也不可避免地破綻百出。這里要特別感謝參與本書校對的李坤、田麗芳、高巖，是他們不厭其煩的耐心核對和明察秋毫的細心校正，才使得本書不至于佶屈聱牙、不堪卒讀。
最后，感謝本書的讀者，你們的支持是我們最大的動力，謝謝你們！ |
內容簡介：MySQL能夠處理擁有數十億行的大型數據庫，隨著越來越多的公司和大型組織發現MySQL完全能夠滿足自己的數據庫處理需求，其用戶量一直還會持續高速增長。本書是一本介紹如何高效使用MySQL進行運維的高級實戰指導用書，除MySQL核心技術之外，更是首次披露熱門工具Galera與Inception的獨家內幕。 |
目錄：第一部分 MySQL篇
1 MySQL源代碼入門
MySQL源代碼的組織結構
Linux下的編譯
安裝MySQL庫
MySQL 5.7權限處理
2 MySQL啟動過程
3 連接的生命與使命
用戶連接線程創建
MySQL處理請求
總結
4 MySQL表對象緩存
表結構的實現原理
涉及的參數變量
優缺點總結
存在的問題
5 InnoDB初探
InnoDB的源代碼目錄結構
InnoDB存儲引擎文件組織
InnoDB體系結構
InnoDB存儲引擎啟動與關閉
InnoDB 存儲引擎的啟動
InnoDB存儲引擎的關閉
6 InnoDB數據字典
背景
系統表結構
字典表加載
Rowid管理
總結
7 InnoDB數據存儲結構
表空間文件組成結構
段
簇
頁面
段、簇、頁面組織結構
8 InnoDB索引實現原理
背景
B+樹及B樹的區別
索引的設計
聚簇索引和二級索引
二級索引指針
神奇的B+樹網絡
InnoDB索引的插入過程
一個頁面至少要存儲幾條記錄
頁面結構管理
文件管理頭信息
頁面頭信息
最小記錄和最大記錄
頁面數據空間管理
經典的槽管理
頁面尾部
頁面重組
索引頁面的回收
9 InnoDB記錄格式
背景
從源碼入手了解行格式
總結
10 揭秘獨特的兩次寫
單一頁面刷盤
批量頁面刷盤
兩次寫組織結構
批量刷盤兩次寫實現原理
兩次寫的作用
發散思維
總結
11 InnoDB日志管理機制
InnoDB Buffer Pool
REDO LOG日志文件管理的用途
MTR InnoDB物理事務
日志的意義
日志記錄格式
日志刷盤時機
REDO日志恢復
數據庫回滾
數據庫UNDO段管理
數據庫UNDO日志記錄格式
回滾時刻
總結
12 MySQL 5.7中嶄新的MySQL sys Schema
Performance Schema的改進
sys Schema介紹
sys Schema視圖摘要
sys Schema重點視圖與應用場景
使用風險
總結
13 方便的MySQL GTID
GTID 相關概念
什么是GTID
GTID集合
GTID生命周期
GTID的維護
gtid_executed表
gtid_executed表壓縮
GTID搭建主從
搭建主從時，需要注意的MySQL參數
開啟GTID
搭建主從
使用GTID案例總結
如何跳過一個GTID
利用GTID模式快速改變主從復制關系
在線將傳統模式復制改為GTID模式復制
在線將GTID模式復制改為傳統模式復制
GTID的限制
14 MySQL半同步復制
半同步特性
半同步主庫端
半同步從庫端
半同步實現
插件安裝
半同步自動開關
15 MySQL 5.7多線程復制原理
背景
行之有效的延遲優化方法
MySQL 5.6的多線程復制
MySQL 5.7的多線程復制
ordered commit
多線程復制分發原理
異常故障恢復
16 大量MySQL表導致服務變慢的問題
背景
問題分析
案例解決
總結
17 MySQL快速刪除大表
背景
問題分析
案例解決
發散思維
總結
18 兩條不同的插入語句導致的死鎖
背景
問題分析
發散思維
總結
19 MySQL在并發刪除同一行數據時導致死鎖的分析
背景
問題分析
發散思維
總結
20 參數SQL_SLAVE_SKIP_COUNTER的奧秘
21 Binlog中的時間戳
背景
問題分析
發散思維
事務中的事件順序
問題延伸
show processlist中的Time
總結
22 InnoDB中Rowid對Binlog的影響
背景
問題分析
總結
23 MySQL備份：Percona XtraBackup的原理與實踐
備份背景及類型
認識Percona XtraBackup
XtraBackup的工作流程
XtraBackup的備份原理
XtraBackup 需要的權限
innobackupex常用的備份選項說明
XtraBackup備份實踐
全量備份
增量備份
并行備份
其他備份
案例實踐與心得
建議與提醒
24 MySQL分庫分表
分庫分表的種類
分庫分表的原則
分庫分表實現
數據庫層的實現
業務層的實現
25 MySQL數據安全
單機安全
集群安全
備份安全
MySQL實例安全保證
Double Write
REDO LOG
MySQL集群安全保證
傳統的主從模式如何保證數據庫安全
Semi_Sync Replication方式的復制
MySQL集群化如何保證數據庫安全
總結
26 MySQL 性能拾遺
適當的數據文件大小
碎片空洞問題
設計問題
合理設計表結構
冗余存儲
拆分存儲
重復存儲
特別提醒
正確使用索引
MySQL系統參數
內存和CPU
磁盤的革命
云中漫步
總結
27 MySQL Group Replication
Group Replication概述
組的概念
多主復制
單獨的通信機制
Group Replication服務模式
單主模式
多主模式
服務模式的配置
Binlog Event的多線程執行
group_replication_applier通道
基于主鍵的并行執行
搭建Group Replication復制環境
MySQL的參數設置
Group Replication插件的使用
Group Replication插件的基本參數設置
Group Replication的數據庫用戶
Group Replication組初始化
新成員加入組
Group Replication的高可用性
組內成員數量的變化
強制移除故障成員
Group Replication的監控
Group Replication的基本原理
狀態機復制
分布式的狀態機復制
分布式的高可用數據庫
深入理解Group Replication中事務的執行過程
本地事務控制模塊
成員間的通信模塊
全局事務認證模塊
異地事務執行模塊
事務流程的總結
深入理解成員加入組的過程
組視圖
加入組時視圖的切換
View_change_log_event
恢復
28 MySQL Document Store面面觀
新的JSON數據類型和JSON函數
JSON數據類型
JSON函數詳解
JSON函數的運用
MySQL X Plugin 和 X Protocol
支持NoSQL所做的努力
安裝MySQL X Plugin
MySQL Shell
安裝MySQL Shell
運行MySQL Shell
在MySQL Shell中操作JSON文檔
用腳本執行MySQL Shell
X DevAPI
總結
參考資料
第二部分 Galera篇
29 Galera Cluster的設計與實現
Galera Cluster的優點
Galera的引入
Galera接口
總結
30 Galera 參數解析
狀態參數
變量參數
31 Galera的驗證方法
Binlog與Galera的關系
驗證方法
32 Galera的消息傳送
33 GCache實現原理
配置參數
實現原理
發散思維
34 大話SST/IST細節
初始化節點環境
連接到集群并且做SST/IST
如何提供增量數據
總結
35 Donor/Desynced詳解
實現方式
意義何在
問答環節
36 Galera的并發控制機制
數據復制
寫集驗證
寫集APPLY
事務Commit
37 Galera的流量控制
流量控制的定義
流量控制的實現原理及影響
兩個問題
38 Galera Cluster影響單節點執行效率的因素
單點驗證
并發控制
等待GTID
總結
39 grastate.dat文件揭秘
引子
分析研究
總結
40 Galera Cluster從庫的轉移
沒有開啟Server級GTID的情況
開啟了GTID（server級）的情況
總結
41 Galera Cluster節點與其從庫的隨意轉換
背景
從節點向PXC節點的轉換
PXC節點向異步從節點的轉換
42 業務更新慢，不是由Galera引起的
43 在線改表引發的Galera Cluster集群死鎖
背景
用Binlog來代替觸發器
表名交換
Galera Cluster中的問題
一個有趣的實驗
解決方案
總結
第三部分 Inception篇
44 Inception誕生記
關于SQL審核
半自動化方法
人肉法
不滿現狀的追求
何謂Inception
45 Inception安裝與使用
下載和編譯
啟動配置
線上配置需求
需要額外注意的點
使用方法
舉例說明
環境變量的設置
46 支持選項
選項說明
DDL與DML語句分離
小技巧
47 Inception的備份回滾
備份存儲架構
備份所需條件
48 審核規范
支持的語句類型
公共檢查項
插入語句檢查項
更新、刪除語句檢查項
表屬性檢查項
列屬性檢查項
索引屬性檢查項
修改表語句檢查項
總結
49 參數變量
語法和變量
注意事項
50 友好的結果集
結果集結構
總結
51 命令集語句
遠程信息獲取
顯示本地全部變量
顯示本地某個變量
設置本地變量
顯示OSC執行進度
查看當前processlist
52 Inception的彩蛋
對OSC的支持
可選的OSC參數
查看OSC的執行進度
中止OSC的執行
查看所有OSC執行信息
Inception對SQL執行情況的統計
打印語法樹
53 Inception設計
Inception之源
Inception執行流程 |
| 序： |
|
