數(shù)據(jù)庫高可用(HA)技術(shù)有哪些？

? ? ? 數(shù)據(jù)庫高可用是一個(gè)復(fù)雜的系統(tǒng)工程，本文主要介紹了幾種數(shù)據(jù)庫高可用的基本技術(shù)： HADR、 HACMP、 數(shù)據(jù)復(fù)制，存儲(chǔ)層容災(zāi)和DPF高可用。并結(jié)合實(shí)踐實(shí)際，分別論述了它們的適用場景和技術(shù)特征。在不同場景，不同的業(yè)務(wù)連續(xù)性級(jí)別下，我們可以組合使用這幾種技術(shù)，以實(shí)現(xiàn)從存儲(chǔ)，網(wǎng)絡(luò)，系統(tǒng)，數(shù)據(jù)庫到應(yīng)用的高可用技術(shù)。

一. DB2?HADR

? ? ? HADR全稱為High Availability Disaster Recovery ，是IBM DB2數(shù)據(jù)庫上的數(shù)據(jù)庫級(jí)別的高可用性數(shù)據(jù)復(fù)制機(jī)制，最初被應(yīng)用于Informix數(shù)據(jù)庫系統(tǒng)中，稱為High Availability Data Replication(HDR)，IBM收購Informix之后，這項(xiàng)技術(shù)就應(yīng)用到了新的DB2發(fā)行版中。HADR有一主一備數(shù)據(jù)庫，在9.7之前備機(jī)不可讀，9.7之后備機(jī)可讀可以降低主數(shù)據(jù)庫的負(fù)擔(dān)。(這個(gè)Oracle的DataGuard邏輯備機(jī)可讀做的就很好，但是為什么IBM會(huì)落后呢?)

? ? ? 在數(shù)據(jù)專線帶寬足且穩(wěn)定的情況下，在要求主備完全數(shù)據(jù)無損的時(shí)候，推薦用同步方式傳送，或者能容忍一定少量的損失，可以用準(zhǔn)同步，但是推薦在在生產(chǎn)中心和同城的災(zāi)備中心之間（LAN或者M(jìn)AN），如果在1000公里以上帶寬和時(shí)延都沒什么保障的話，比如北京和上海，最好還是用異步的方式，如果更差或者對OLTP的實(shí)時(shí)性要求較高還可以用超級(jí)異步，當(dāng)然這對流水的損失要有一定的容忍度。

? ? ? HADR一個(gè)很不好的特點(diǎn)是不能用于DPF，只能適合單分區(qū)數(shù)據(jù)庫，這就限制了數(shù)據(jù)庫在高可用下的規(guī)模以及并發(fā)性。HADR從一些實(shí)際應(yīng)用來看，切換速度要比DG要快，而且切換出現(xiàn)故障的可能性要小些。

? ? ? 談到HADR絕對不能離開DataGuard，實(shí)際上中國人民銀行對兩地三中心的規(guī)定就非常適合DataGuard的兩個(gè)備用數(shù)據(jù)庫的方式，生產(chǎn)中心用主數(shù)據(jù)庫，同城災(zāi)備中心用物理備用，異地災(zāi)備中心用邏輯備用。Oracle的DataGuard在網(wǎng)絡(luò)故障恢復(fù)之后可以自動(dòng)同步。

? ? ? HADR有一個(gè)弱點(diǎn)就是不能進(jìn)行數(shù)據(jù)壓縮和加密，如果沒有VPN就麻煩了，但是HADR可以集成第三方的SSH軟件。而DG本身就集成了SSH進(jìn)行壓縮和加密功能。HADR最要命的是不能支持異構(gòu)數(shù)據(jù)庫的復(fù)制，當(dāng)然這個(gè)也不是他的主要場景。

? ? ? DB2異地災(zāi)備用HADR的比較多，在9.7之前用HADR的話備機(jī)不可讀很麻煩，所以有的時(shí)候就要用Q復(fù)制，這樣主備都可讀，如果要零容忍和短切換時(shí)間的話，用HADR比較靠譜。

二. SQL復(fù)制和Q復(fù)制

? ? ? SQL復(fù)制主要應(yīng)用于相同局域網(wǎng)內(nèi)。Q復(fù)制遠(yuǎn)程好一點(diǎn)，因?yàn)樵诰W(wǎng)絡(luò)比較差的時(shí)候，WebSphere MQ可以緩存一段時(shí)間數(shù)據(jù)。Q復(fù)制一般結(jié)合HADR比較多，用于實(shí)現(xiàn)數(shù)據(jù)遠(yuǎn)程異地復(fù)制（比如中國煙草總公司容災(zāi)中心）。Q復(fù)制可以通過分析事務(wù)日志來獲取系統(tǒng)變化，對系統(tǒng)的性能影響比較小。是高效率的復(fù)制方案。但是Q復(fù)制只是對DB2支持的比較好，對Oracle嘛就那樣，其他的數(shù)據(jù)庫支持的都不好。Q復(fù)制也支持表級(jí)別的復(fù)制。Inforsphere CDC（原來叫Data Mirror）支持多種數(shù)據(jù)庫的表復(fù)制。

? ? ? Oracle也有GoldenGate，這個(gè)熟悉的人也知道，支持ORACLE最好，其他的嘛不好說。但是CDC在表依賴上有些復(fù)雜，會(huì)有點(diǎn)問題，需要具體處理。

三、 HACMP

? ? ? HACMP Cascading模式中，有主又備，節(jié)點(diǎn)有優(yōu)先級(jí)，資源組在優(yōu)先級(jí)搞的節(jié)點(diǎn)運(yùn)行，高優(yōu)先級(jí)節(jié)點(diǎn)故障恢復(fù)之后，資源組重新歸位。

? ? ? Cascading用于主備機(jī)硬件性能有較大差別的環(huán)境，節(jié)約成本，這個(gè)對于不差錢的運(yùn)營商、航空、銀行、政府絕對不會(huì)采用。Rotating模式中，有主有備，節(jié)點(diǎn)優(yōu)先級(jí)相同，資源組在先啟動(dòng)節(jié)點(diǎn)運(yùn)行，節(jié)點(diǎn)故障恢復(fù)后，資源組不會(huì)前移。Rotating適用于對可用性要求較高的場景，電信行業(yè)的數(shù)據(jù)業(yè)務(wù)，增值業(yè)務(wù)，彩鈴等產(chǎn)品多采用這種方式。

? ? ? Concurrent模式無主備，節(jié)點(diǎn)優(yōu)先級(jí)同，資源組在所有節(jié)點(diǎn)運(yùn)行，節(jié)點(diǎn)故障不會(huì)導(dǎo)致資源組切換，故障節(jié)點(diǎn)恢復(fù)后，資源組恢復(fù)可用，不發(fā)生前移，適合大容量據(jù)點(diǎn)。Concurrent模式一般和Oracle的RAC或者并行服務(wù)器（OPS）合用較多。

? ? ? 電信業(yè)務(wù)中，增值特服大容量據(jù)點(diǎn)采用，智能網(wǎng)、BOSS也有應(yīng)用，這種模式的結(jié)合和PureScale十分類似。但是HACMP中數(shù)據(jù)庫只有一份，如果數(shù)據(jù)庫被破壞，主機(jī)和操作系統(tǒng)還好也沒毛用，所以還要結(jié)合HADR才更安全。HACMP一般是由網(wǎng)卡和機(jī)器Down機(jī)所觸發(fā)的，軟件改動(dòng)不知道是否能夠觸發(fā)呢？我也不是很清楚。

? ? ? 其實(shí)HADR，HACMP在本地?cái)?shù)據(jù)中心的效果最好，如果是異地的話最好是使用HAGEO，或者在存儲(chǔ)層的做，因?yàn)檐浖用嫘什⒉皇呛芨叨疫€很占主機(jī)的系統(tǒng)資源和網(wǎng)絡(luò)帶寬，當(dāng)然不同公司的選擇和考慮是不一樣的。

四、DPF的高可用方案

? ? ? 關(guān)于DPF，其實(shí)DPF本身并沒有高可用性的方案。但是由于多節(jié)點(diǎn)技術(shù)，在某些條件滿足的情況下有一定程度上的容災(zāi)。要求Catalog節(jié)點(diǎn)不能Down，如果非關(guān)鍵節(jié)點(diǎn)Down，DPF數(shù)據(jù)庫還是可以訪問的。

? ? ? 但是如果你要某些表可訪問，只有在該表所在表空間所覆蓋的分區(qū)節(jié)點(diǎn)沒有Down。DPF節(jié)點(diǎn)Down有幾種情況，如果是操作系統(tǒng)或者網(wǎng)絡(luò)故障，可以通過HACMP恢復(fù)，如果是節(jié)點(diǎn)數(shù)據(jù)庫損壞，就沒有辦法了。其實(shí)DPF這么多節(jié)點(diǎn)也是引入了故障點(diǎn)的概率，所以O(shè)LTP在沒有HA保障的話，是不敢建在DPF上的。

? ? ? DPF在建庫的時(shí)候，最好規(guī)劃好關(guān)鍵節(jié)點(diǎn)的HA和備份工作，定期檢查表，表空間的分布，并記錄下來，有問題可以迅速定位和恢復(fù)。表空間級(jí)別的備份在DPF還是很重要的。

? ? ? 如果資金保障比較充足的話，建議給所有幾點(diǎn)都做HA，因?yàn)橐话銛?shù)據(jù)庫本身導(dǎo)致的可用性問題要比OS和硬件網(wǎng)絡(luò)導(dǎo)致的要少很多。DPF跨節(jié)點(diǎn)表和表空間特別多，千萬不要因?yàn)楣?jié)點(diǎn)本身的問題造成表空間不可用那個(gè)。

五、存儲(chǔ)層的容災(zāi)

? ? ? 談到高可用，不能離開存儲(chǔ)層的容災(zāi)，比如磁盤鏡像技術(shù)，和第三方的備份技術(shù)。當(dāng)然，Everyone都知道，存儲(chǔ)層的技術(shù)避免不了宕機(jī)的，要有一段切換時(shí)間。

? ? ? SRDF一種比較復(fù)雜技術(shù)。SRDF在國外應(yīng)用的非常多，國內(nèi)銀行也開始應(yīng)用。SRDF可以實(shí)現(xiàn)分層的數(shù)據(jù)備份和恢復(fù)。可以跨大樓，可以實(shí)現(xiàn)全球的數(shù)據(jù)復(fù)制。同樣的，和HADR和DG類似，也有同步，準(zhǔn)同步和異步的模式。覆蓋的距離可以多達(dá)幾千公里，但是因?yàn)闊o需考慮類似于HADR的實(shí)時(shí)性交易問題，另外SRDF支持所有的主機(jī)和數(shù)據(jù)庫系統(tǒng)。這個(gè)一般在數(shù)據(jù)中心搬遷的時(shí)候用的比較多。

? ? ? 如果在距離比較近的時(shí)候比如數(shù)公里的距離，可以使用裸光纖，如果較遠(yuǎn)的話，就要用華為或者Cisco的DWDM進(jìn)行光纖延伸，根據(jù)數(shù)據(jù)傳輸?shù)男枨笾贫ň€路的速率。SRDF非常昂貴，如果我們的數(shù)據(jù)和客戶交易不強(qiáng)相關(guān)的話，就可以使用笨笨的磁帶拷貝搬遷方法，建立應(yīng)用系統(tǒng)，然后再用SRDF傳輸實(shí)時(shí)要求高的數(shù)據(jù)，啟動(dòng)新數(shù)據(jù)中心的系統(tǒng)，切換網(wǎng)絡(luò)。

? ? ? Veritas大家也非常了解了，論壇上用過的人該很多。通過 Veritas的BMR技術(shù)，可以直接連操作系統(tǒng)帶數(shù)據(jù)全部備份到數(shù)據(jù)中心。更為強(qiáng)悍的是，無需LAN的SAN多磁盤并發(fā)備份，減少對網(wǎng)絡(luò)帶寬的影響。通過BMR可以制作啟動(dòng)光盤，進(jìn)行系統(tǒng)恢復(fù)。針對于不同的數(shù)據(jù)庫還提供相應(yīng)的agent，提供在線熱備份技術(shù)。

六、高可用的網(wǎng)絡(luò)、電力和制度方面

? ? ? 網(wǎng)絡(luò)就不用說了，網(wǎng)卡漂移，多子網(wǎng)，冗余光纖等。一般來說，生產(chǎn)中心和災(zāi)備中心之間要有四個(gè)交換機(jī)，以及四個(gè)存儲(chǔ)層主機(jī)實(shí)現(xiàn)高可用，并配備多路光纖。 電力的話，要有UPS備用電源和發(fā)電機(jī)。數(shù)據(jù)中心的電力和網(wǎng)絡(luò)一定要求運(yùn)營商提供第一流的保障級(jí)別，否則誰都付不起責(zé)任。當(dāng)然還有自來水、便利的交通等等方面。

? ? ? 大規(guī)模的電信運(yùn)營商、銀行都有非常成熟的制度和流程。中國人民銀行也有非常詳盡的規(guī)范。各銀行也制定自己的一些細(xì)節(jié)規(guī)定。制度一定要控制濫用權(quán)限、各種誤操作、以及指明應(yīng)急時(shí)候的操作。前面的兄弟也有一些闡述，比如雙保險(xiǎn)，及時(shí)進(jìn)行災(zāi)備切換演練，整體級(jí)別的，應(yīng)用軟件級(jí)別的都要有。數(shù)據(jù)中心建成的時(shí)候，要各種切換和場景都要嘗試。

? ? ? 寫的累死了，等以后有時(shí)間，補(bǔ)充一下制度方面的信息。我經(jīng)驗(yàn)不足，考慮的不是很全面和深入，很多思考也不是很準(zhǔn)確，目的就是喚醒大家的討論，糾正我的理解的偏差。歡迎交流和討論。孫揚(yáng)某運(yùn)營商BG/電信軟件與核心網(wǎng)業(yè)務(wù)部資深專家。