高性能MySQL主從架構(gòu)的復(fù)制原理及配置詳解
點(diǎn)擊上方SQL數(shù)據(jù)庫開發(fā)，關(guān)注獲取SQL視頻教程
SQL專欄
作者：YY哥
http://www.cnblogs.com/hustcat/archive/2009/12/19/1627525.html
1、復(fù)制概述
Mysql內(nèi)建的復(fù)制功能是構(gòu)建大型，高性能應(yīng)用程序的基礎(chǔ)。將Mysql的數(shù)據(jù)分布到多個(gè)系統(tǒng)上去，這種分布的機(jī)制，是通過將Mysql的某一臺主機(jī)的 數(shù)據(jù)復(fù)制到其它主機(jī)（slaves）上，并重新執(zhí)行一遍來實(shí)現(xiàn)的。復(fù)制過程中一個(gè)服務(wù)器充當(dāng)主服務(wù)器，而一個(gè)或多個(gè)其它服務(wù)器充當(dāng)從服務(wù)器。主服務(wù)器將更 新寫入二進(jìn)制日志文件，并維護(hù)文件的一個(gè)索引以跟蹤日志循環(huán)。這些日志可以記錄發(fā)送到從服務(wù)器的更新。當(dāng)一個(gè)從服務(wù)器連接主服務(wù)器時(shí)，它通知主服務(wù)器從服 務(wù)器在日志中讀取的最后一次成功更新的位置。從服務(wù)器接收從那時(shí)起發(fā)生的任何更新，然后封鎖并等待主服務(wù)器通知新的更新。
請注意當(dāng)你進(jìn)行復(fù)制時(shí)，所有對復(fù)制中的表的更新必須在主服務(wù)器上進(jìn)行。否則，你必須要小心，以避免用戶對主服務(wù)器上的表進(jìn)行的更新與對從服務(wù)器上的表所進(jìn)行的更新之間的沖突。
1.1、復(fù)制解決的問題
數(shù)據(jù)復(fù)制技術(shù)有以下一些特點(diǎn)：
(1)?數(shù)據(jù)分布
(2)?負(fù)載平衡(load balancing)
(3)?備份
(4)?高可用性(high availability)和容錯(cuò)
1.2、復(fù)制如何工作
從高層來看，復(fù)制分成三步：
(1)??master將改變記錄到二進(jìn)制日志(binary log)中（這些記錄叫做二進(jìn)制日志事件，binary log events）；
(2)??slave將master的binary log events拷貝到它的中繼日志(relay log)；
(3)??slave重做中繼日志中的事件，將改變反映它自己的數(shù)據(jù)。
下圖描述了這一過程：
該過程的第一部分就是master記錄二進(jìn)制日志。在每個(gè)事務(wù)更新數(shù)據(jù)完成之前，master在二日志記錄這些改變。MySQL將事務(wù)串行的寫入二進(jìn)制日志，即使事務(wù)中的語句都是交叉執(zhí)行的。在事件寫入二進(jìn)制日志完成后，master通知存儲引擎提交事務(wù)。
下一步就是slave將master的binary log拷貝到它自己的中繼日志。首先，slave開始一個(gè)工作線程——I/O線程。I/O線程在master上打開一個(gè)普通的連接，然后開始binlog dump process。Binlog dump process從master的二進(jìn)制日志中讀取事件，如果已經(jīng)跟上master，它會(huì)睡眠并等待master產(chǎn)生新的事件。I/O線程將這些事件寫入中繼日志。
SQL slave thread處理該過程的最后一步。SQL線程從中繼日志讀取事件，更新slave的數(shù)據(jù)，使其與master中的數(shù)據(jù)一致。只要該線程與I/O線程保持一致，中繼日志通常會(huì)位于OS的緩存中，所以中繼日志的開銷很小。
此外，在master中也有一個(gè)工作線程：和其它MySQL的連接一樣，slave在master中打開一個(gè)連接也會(huì)使得master開始一個(gè)線程。復(fù)制過程有一個(gè)很重要的限制——復(fù)制在slave上是串行化的，也就是說master上的并行更新操作不能在slave上并行操作。
?
2、體驗(yàn)MySQL復(fù)制
MySQL開始復(fù)制是很簡單的過程，不過，根據(jù)特定的應(yīng)用場景，都會(huì)在基本的步驟上有一些變化。最簡單的場景就是一個(gè)新安裝的master和slave，從高層來看，整個(gè)過程如下：
(1)在每個(gè)服務(wù)器上創(chuàng)建一個(gè)復(fù)制帳號；
(2)配置master和slave；
(3)Slave連接master開始復(fù)制。
2.1、創(chuàng)建復(fù)制帳號
每個(gè)slave使用標(biāo)準(zhǔn)的MySQL用戶名和密碼連接master。進(jìn)行復(fù)制操作的用戶會(huì)授予REPLICATION SLAVE權(quán)限。用戶名的密碼都會(huì)存儲在文本文件master.info中。假如，你想創(chuàng)建repl用戶，如下：
mysql> GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.*-> TO repl@'192.168.0.%' IDENTIFIED BY 'p4ssword';
2.2、配置master
接下來對master進(jìn)行配置，包括打開二進(jìn)制日志，指定唯一的servr ID。例如，在配置文件加入如下值：
[mysqld]log-bin=mysql-binserver-id=10
重啟master，運(yùn)行SHOW MASTER STATUS，輸出如下：
2.3、配置slave
Slave的配置與master類似，你同樣需要重啟slave的MySQL。如下：
log_bin = mysql-binserver_id = 2relay_log = mysql-relay-binlog_slave_updates = 1read_only = 1
server_id是必須的，而且唯一。slave沒有必要開啟二進(jìn)制日志，但是在一些情況下，必須設(shè)置，例如，如果slave為其它slave的master，必須設(shè)置bin_log。在這里，我們開啟了二進(jìn)制日志，而且顯示的命名(默認(rèn)名稱為hostname，但是，如果hostname改變則會(huì)出現(xiàn)問題)。
relay_log配置中繼日志，log_slave_updates表示slave將復(fù)制事件寫進(jìn)自己的二進(jìn)制日志(后面會(huì)看到它的用處)。
有些人開啟了slave的二進(jìn)制日志，卻沒有設(shè)置log_slave_updates，然后查看slave的數(shù)據(jù)是否改變，這是一種錯(cuò)誤的配置。所以，盡量使用read_only，它防止改變數(shù)據(jù)(除了特殊的線程)。但是，read_only并是很實(shí)用，特別是那些需要在slave上創(chuàng)建表的應(yīng)用。
2.4、啟動(dòng)slave
接下來就是讓slave連接master，并開始重做master二進(jìn)制日志中的事件。你不應(yīng)該用配置文件進(jìn)行該操作，而應(yīng)該使用CHANGE MASTER TO語句，該語句可以完全取代對配置文件的修改，而且它可以為slave指定不同的master，而不需要停止服務(wù)器。如下：
='server1',='repl',='p4ssword',='mysql-bin.000001',MASTER_LOG_POS=0;--MASTER_LOG_POS的值為0，因?yàn)樗侨罩镜拈_始位置。然后，你可以用SHOW?SLAVE?STATUS語句查看slave的設(shè)置是否正確：SHOW SLAVE STATUS\G***************************?1.?row?***************************::?server1:?repl:?3306:?60:?mysql-bin.000001:?4:?mysql-relay-bin.000001:?4:?mysql-bin.000001:?No:?No?????????????????????????????...omitted...Seconds_Behind_Master: NULL
Slave_IO_State, Slave_IO_Running, 和Slave_SQL_Running表明slave還沒有開始復(fù)制過程。日志的位置為4而不是0，這是因?yàn)?只是日志文件的開始位置，并不是日志位置。實(shí)際上，MySQL知道的第一個(gè)事件的位置是4。
為了開始復(fù)制，你可以運(yùn)行：
mysql>?START?SLAVE;SLAVE STATUS查看輸出結(jié)果：mysql>?SHOW?SLAVE?STATUS\G***************************?1.?row?***************************:?Waiting?for?master?to?send?event:?server1:?repl:?3306:?60:?mysql-bin.000001:?164:?mysql-relay-bin.000001:?164:?mysql-bin.000001:?Yes:?Yes...omitted...:?0
注意，slave的I/O和SQL線程都已經(jīng)開始運(yùn)行，而且Seconds_Behind_Master不再是NULL。日志的位置增加了，意味著一些事件被獲取并執(zhí)行了。如果你在master上進(jìn)行修改，你可以在slave上看到各種日志文件的位置的變化，同樣，你也可以看到數(shù)據(jù)庫中數(shù)據(jù)的變化。
你可查看master和slave上線程的狀態(tài)。在master上，你可以看到slave的I/O線程創(chuàng)建的連接：
mysql>?show?processlist?\G***************************?1.?row?***************************?????Id:?1???User:?root???Host:?localhost:2096?????db:?testCommand:?Query???Time:?0?State:?NULLInfo: show processlist***************************?2.?row?***************************?????Id:?2???User:?repl???Host:?localhost:2144?????db:?NULLCommand:?Binlog?Dump???Time:?1838?State:?Has?sent?all?binlog?to?slave;?waiting?for?binlog?to?be?updated???Info:?NULL2 rows in set (0.00 sec)--行2為處理slave的I/O線程的連接。--在slave上運(yùn)行該語句：mysql>?show?processlist?\G***************************?1.?row?***************************?????Id:?1???User:?system?user???Host:?????db:?NULLCommand:?Connect???Time:?2291?State:?Waiting?for?master?to?send?event???Info:?NULL***************************?2.?row?***************************?????Id:?2???User:?system?user???Host:?????db:?NULLCommand:?Connect???Time:?1852?State:?Has?read?all?relay?log;?waiting?for?the?slave?I/O?thread?to?update?itInfo: NULL***************************?3.?row?***************************?????Id:?5???User:?root???Host:?localhost:2152?????db:?testCommand:?Query???Time:?0?State:?NULL???Info:?show?processlist3 rows in set (0.00 sec)
行1為I/O線程狀態(tài)，行2為SQL線程狀態(tài)。
2.5、從另一個(gè)master初始化slave
前面討論的假設(shè)你是新安裝的master和slave，所以，slave與master有相同的數(shù)據(jù)。但是，大多數(shù)情況卻不是這樣的，例如，你的master可能已經(jīng)運(yùn)行很久了，而你想對新安裝的slave進(jìn)行數(shù)據(jù)同步，甚至它沒有master的數(shù)據(jù)。
此時(shí)，有幾種方法可以使slave從另一個(gè)服務(wù)開始，例如，從master拷貝數(shù)據(jù)，從另一個(gè)slave克隆，從最近的備份開始一個(gè)slave。Slave與master同步時(shí)，需要三樣?xùn)|西：
(1)master的某個(gè)時(shí)刻的數(shù)據(jù)快照；
(2)master當(dāng)前的日志文件、以及生成快照時(shí)的字節(jié)偏移。這兩個(gè)值可以叫做日志文件坐標(biāo)(log file coordinate)，因?yàn)樗鼈兇_定了一個(gè)二進(jìn)制日志的位置，你可以用SHOW MASTER STATUS命令找到日志文件的坐標(biāo)；
(3)master的二進(jìn)制日志文件。
可以通過以下幾中方法來克隆一個(gè)slave：
(1) ?冷拷貝(cold copy)
停止master，將master的文件拷貝到slave；然后重啟master。缺點(diǎn)很明顯。
(2) ?熱拷貝(warm copy)
如果你僅使用MyISAM表，你可以使用mysqlhotcopy拷貝，即使服務(wù)器正在運(yùn)行。
(3) ?使用mysqldump
使用mysqldump來得到一個(gè)數(shù)據(jù)快照可分為以下幾步：
<1>鎖表：如果你還沒有鎖表，你應(yīng)該對表加鎖，防止其它連接修改數(shù)據(jù)庫，否則，你得到的數(shù)據(jù)可以是不一致的。如下：
mysql> FLUSH TABLES WITH READ LOCK;
<2>在另一個(gè)連接用mysqldump創(chuàng)建一個(gè)你想進(jìn)行復(fù)制的數(shù)據(jù)庫的轉(zhuǎn)儲：
shell> mysqldump --all-databases --lock-all-tables >dbdump.db
<3>對表釋放鎖。
UNLOCK TABLES;3、深入復(fù)制
已經(jīng)討論了關(guān)于復(fù)制的一些基本東西，下面深入討論一下復(fù)制。
3.1、基于語句的復(fù)制(Statement-Based Replication)
MySQL 5.0及之前的版本僅支持基于語句的復(fù)制（也叫做邏輯復(fù)制，logical replication），這在數(shù)據(jù)庫并不常見。master記錄下改變數(shù)據(jù)的查詢，然后，slave從中繼日志中讀取事件，并執(zhí)行它，這些SQL語句與master執(zhí)行的語句一樣。
這種方式的優(yōu)點(diǎn)就是實(shí)現(xiàn)簡單。此外，基于語句的復(fù)制的二進(jìn)制日志可以很好的進(jìn)行壓縮，而且日志的數(shù)據(jù)量也較小，占用帶寬少——例如，一個(gè)更新GB的數(shù)據(jù)的查詢僅需要幾十個(gè)字節(jié)的二進(jìn)制日志。而mysqlbinlog對于基于語句的日志處理十分方便。
?
但是，基于語句的復(fù)制并不是像它看起來那么簡單，因?yàn)橐恍┎樵冋Z句依賴于master的特定條件，例如，master與slave可能有不同的時(shí)間。所以，MySQL的二進(jìn)制日志的格式不僅僅是查詢語句，還包括一些元數(shù)據(jù)信息，例如，當(dāng)前的時(shí)間戳。即使如此，還是有一些語句，比如，CURRENT USER函數(shù)，不能正確的進(jìn)行復(fù)制。此外，存儲過程和觸發(fā)器也是一個(gè)問題。
另外一個(gè)問題就是基于語句的復(fù)制必須是串行化的。這要求大量特殊的代碼，配置，例如InnoDB的next-key鎖等。并不是所有的存儲引擎都支持基于語句的復(fù)制。
3.2、基于記錄的復(fù)制(Row-Based Replication)
MySQL增加基于記錄的復(fù)制，在二進(jìn)制日志中記錄下實(shí)際數(shù)據(jù)的改變，這與其它一些DBMS的實(shí)現(xiàn)方式類似。這種方式有優(yōu)點(diǎn)，也有缺點(diǎn)。優(yōu)點(diǎn)就是可以對任何語句都能正確工作，一些語句的效率更高。主要的缺點(diǎn)就是二進(jìn)制日志可能會(huì)很大，而且不直觀，所以，你不能使用mysqlbinlog來查看二進(jìn)制日志。
對于一些語句，基于記錄的復(fù)制能夠更有效的工作，如：
INSERT INTO summary_table(col1, col2, sum_col3)-> SELECT col1, col2, sum(col3)????->?FROM?enormous_table????->?GROUP?BY?col1,?col2;
假設(shè)，只有三種唯一的col1和col2的組合，但是，該查詢會(huì)掃描原表的許多行，卻僅返回三條記錄。此時(shí)，基于記錄的復(fù)制效率更高。
另一方面，下面的語句，基于語句的復(fù)制更有效：
UPDATE enormous_table SET col1 = 0;此時(shí)使用基于記錄的復(fù)制代價(jià)會(huì)非常高。由于兩種方式不能對所有情況都能很好的處理，所以，MySQL 5.1支持在基于語句的復(fù)制和基于記錄的復(fù)制之前動(dòng)態(tài)交換。你可以通過設(shè)置session變量binlog_format來進(jìn)行控制。
3.3、復(fù)制相關(guān)的文件
除了二進(jìn)制日志和中繼日志文件外，還有其它一些與復(fù)制相關(guān)的文件。如下：
(1)mysql-bin.index
服務(wù)器一旦開啟二進(jìn)制日志，會(huì)產(chǎn)生一個(gè)與二日志文件同名，但是以.index結(jié)尾的文件。它用于跟蹤磁盤上存在哪些二進(jìn)制日志文件。MySQL用它來定位二進(jìn)制日志文件。它的內(nèi)容如下(我的機(jī)器上)：
2)mysql-relay-bin.index
該文件的功能與mysql-bin.index類似，但是它是針對中繼日志，而不是二進(jìn)制日志。內(nèi)容如下：
.\mysql-02-relay-bin.000017
.\mysql-02-relay-bin.000018
(3)master.info
保存master的相關(guān)信息。不要?jiǎng)h除它，否則，slave重啟后不能連接master。內(nèi)容如下(我的機(jī)器上)：
I/O線程更新master.info文件，內(nèi)容如下(我的機(jī)器上)：
.\mysql-02-relay-bin.000019
254
mysql-01-bin.000010
286
0
52813
?(4)relay-log.info?
包含slave中當(dāng)前二進(jìn)制日志和中繼日志的信息。
3.4、發(fā)送復(fù)制事件到其它slave
當(dāng)設(shè)置log_slave_updates時(shí)，你可以讓slave扮演其它slave的master。此時(shí)，slave把SQL線程執(zhí)行的事件寫進(jìn)行自己的二進(jìn)制日志(binary log)，然后，它的slave可以獲取這些事件并執(zhí)行它。如下：
3.5、復(fù)制過濾(Replication Filters)
復(fù)制過濾可以讓你只復(fù)制服務(wù)器中的一部分?jǐn)?shù)據(jù)，有兩種復(fù)制過濾：在master上過濾二進(jìn)制日志中的事件；在slave上過濾中繼日志中的事件。如下：
4、復(fù)制的常用拓?fù)浣Y(jié)構(gòu)
復(fù)制的體系結(jié)構(gòu)有以下一些基本原則：
(1)??每個(gè)slave只能有一個(gè)master；
(2)??每個(gè)slave只能有一個(gè)唯一的服務(wù)器ID；
(3)??每個(gè)master可以有很多slave；
(4)??如果你設(shè)置log_slave_updates，slave可以是其它slave的master，從而擴(kuò)散master的更新。
MySQL不支持多主服務(wù)器復(fù)制(Multimaster Replication)——即一個(gè)slave可以有多個(gè)master。但是，通過一些簡單的組合，我們卻可以建立靈活而強(qiáng)大的復(fù)制體系結(jié)構(gòu)。
4.1、單一master和多slave
由一個(gè)master和一個(gè)slave組成復(fù)制系統(tǒng)是最簡單的情況。Slave之間并不相互通信，只能與master進(jìn)行通信。如下：
如果寫操作較少，而讀操作很時(shí)，可以采取這種結(jié)構(gòu)。你可以將讀操作分布到其它的slave，從而減小master的壓力。但是，當(dāng)slave增加到一定數(shù)量時(shí)，slave對master的負(fù)載以及網(wǎng)絡(luò)帶寬都會(huì)成為一個(gè)嚴(yán)重的問題。
這種結(jié)構(gòu)雖然簡單，但是，它卻非常靈活，足夠滿足大多數(shù)應(yīng)用需求。一些建議：
(1)??不同的slave扮演不同的作用(例如使用不同的索引，或者不同的存儲引擎)；
(2)??用一個(gè)slave作為備用master，只進(jìn)行復(fù)制；
(3)??用一個(gè)遠(yuǎn)程的slave，用于災(zāi)難恢復(fù)；
4.2、主動(dòng)模式的Master-Master(Master-Master in Active-Active Mode)
Master-Master復(fù)制的兩臺服務(wù)器，既是master，又是另一臺服務(wù)器的slave。如圖：
主動(dòng)的Master-Master復(fù)制有一些特殊的用處。例如，地理上分布的兩個(gè)部分都需要自己的可寫的數(shù)據(jù)副本。這種結(jié)構(gòu)最大的問題就是更新沖突。假設(shè)一個(gè)表只有一行(一列)的數(shù)據(jù)，其值為1，如果兩個(gè)服務(wù)器分別同時(shí)執(zhí)行如下語句：
在第一個(gè)服務(wù)器上執(zhí)行：
UPDATE tbl SET col=col + 1;在第二個(gè)服務(wù)器上執(zhí)行：
UPDATE tbl SET col=col * 2;那么結(jié)果是多少呢？一臺服務(wù)器是4，另一個(gè)服務(wù)器是3，但是，這并不會(huì)產(chǎn)生錯(cuò)誤。
實(shí)際上，MySQL并不支持其它一些DBMS支持的多主服務(wù)器復(fù)制(Multimaster Replication)，這是MySQL的復(fù)制功能很大的一個(gè)限制(多主服務(wù)器的難點(diǎn)在于解決更新沖突)，但是，如果你實(shí)在有這種需求，你可以采用MySQL Cluster，以及將Cluster和Replication結(jié)合起來，可以建立強(qiáng)大的高性能的數(shù)據(jù)庫平臺。但是，可以通過其它一些方式來模擬這種多主服務(wù)器的復(fù)制。
4.3、主動(dòng)-被動(dòng)模式的Master-Master(Master-Master in Active-Passive Mode)
這是master-master結(jié)構(gòu)變化而來的，它避免了M-M的缺點(diǎn)，實(shí)際上，這是一種具有容錯(cuò)和高可用性的系統(tǒng)。它的不同點(diǎn)在于其中一個(gè)服務(wù)只能進(jìn)行只讀操作。如圖：
4.4、帶從服務(wù)器的Master-Master結(jié)構(gòu)(Master-Master with Slaves)
這種結(jié)構(gòu)的優(yōu)點(diǎn)就是提供了冗余。在地理上分布的復(fù)制結(jié)構(gòu)，它不存在單一節(jié)點(diǎn)故障問題，而且還可以將讀密集型的請求放到slave上。
——End——
后臺回復(fù)關(guān)鍵字：1024，獲取一份精心整理的技術(shù)干貨 后臺回復(fù)關(guān)鍵字：進(jìn)群，帶你進(jìn)入高手如云的交流群。 推薦閱讀
這是一個(gè)能學(xué)到技術(shù)的公眾號，歡迎關(guān)注