云災(zāi)備和容器、超融合、云計(jì)算、邊緣計(jì)算和區(qū)塊鏈有啥關(guān)系？
災(zāi)備技術(shù)并不是孤立的，作為一種在數(shù)據(jù)中心發(fā)生故障或?yàn)?zāi)難時(shí)被觸發(fā)的技術(shù)，涉及備份、復(fù)制、鏡像、虛擬化、開源架構(gòu)、超融合等多種不同技術(shù)，系統(tǒng)建設(shè)復(fù)雜程度高，好的災(zāi)備技術(shù)方案在綜合其他技術(shù)可以實(shí)現(xiàn)用戶的“故障無感知”的效果。
本文內(nèi)容參考“中國災(zāi)備行業(yè)白皮書”，原文下載：中國災(zāi)備行業(yè)白皮書(多版本)
文章來源：云災(zāi)備和容器、超融合、云計(jì)算、邊緣計(jì)算和區(qū)塊鏈有啥關(guān)系？
災(zāi)備與SDS
軟件定義存儲(chǔ)可以實(shí)現(xiàn)存儲(chǔ)資源的抽象化、池化及自動(dòng)化，同時(shí)，軟件定義與開源軟件合，從而推動(dòng)創(chuàng)新。以開源的軟件定義存儲(chǔ)Ceph為例，因?yàn)镃eph采用強(qiáng)一致性同步模型，即必須所 有副本都完成寫操作才算一次寫入成功。而如果副本在異地的話，由于網(wǎng)絡(luò)延遲的存在，那么整個(gè) 集群的寫性能就會(huì)比較差，也就無法有效支撐異地復(fù)制，較早的ZoneGroup和聯(lián)合集群概念也并沒有很好地解決這個(gè)問題。
于是從2015年開始啟動(dòng)的新功能—RBD Mirror進(jìn)入了大家的視線，用以解決兩個(gè)集群間異步備份的問題。
RBDMirror原理其實(shí)和MySQL的主從同步原理非常類似，簡單地說就是利用日進(jìn)行回放
(replay)：通過在存儲(chǔ)系統(tǒng)中增加Mirror組件，采用異步復(fù)制的方式，實(shí)現(xiàn)異地備份。
在說Mirror之前，我們需要首先了解一下Ceph的journal機(jī)制。這里說明一下，此處的journal是指CephRBD的journal，而不是OSD的journal。當(dāng)RBDJournal功能打開后，所有的數(shù)據(jù)更新請(qǐng)求會(huì)先寫入RBDJournal，然后后臺(tái)線程再把數(shù)據(jù)從Journal區(qū)域刷新到對(duì)應(yīng)的image區(qū)域。RBDjournal提供了比較完整的日志記錄、讀取、變更通知以及日志回收和空間釋放等功能，可以認(rèn)為是一個(gè)分布式的日志系統(tǒng)。
CephRBDmirror數(shù)據(jù)異步備份有具體步驟，如下：
1）I/O會(huì)寫入主集群的ImageJournal；
2）Journal寫入成功后，RBD再把數(shù)據(jù)寫入主集群回復(fù)響應(yīng)；
3）備份集群的mirror進(jìn)程發(fā)現(xiàn)主集群的Journal有更新后，從主集群的Journal讀取數(shù)據(jù)，寫入備份集群；
4）備份集群寫入成功后，會(huì)更新主集群Journal中的元數(shù)據(jù)，表示該I/O的Journal已經(jīng)同步完成；
5）主集群會(huì)定期檢查，刪除已經(jīng)寫入備份集群的Journal數(shù)據(jù)。
這種方式的優(yōu)點(diǎn)括：
1）當(dāng)副本在異地的情況下，減少了單個(gè)集群不同節(jié)點(diǎn)間的數(shù)據(jù)寫入延時(shí)；
2）減少本地集群或異地集群由于意外斷電導(dǎo)致的數(shù)據(jù)丟失。
目前社區(qū)的RBDmirror正在不斷完中，相信未來隨Ceph的不斷發(fā)展，在異地?cái)?shù)據(jù)備份領(lǐng)域上的應(yīng)用也將為更為成熟。此外，數(shù)據(jù)備份僅僅是災(zāi)備的一部分，一個(gè)完的災(zāi)備系統(tǒng)還需要有數(shù)據(jù)恢復(fù)和高可用等方，這是SDS所欠缺的。因此，SDS如果想要更好地實(shí)現(xiàn)災(zāi)備功能，還 需要在數(shù)據(jù)庫、虛擬化等層與災(zāi)備軟件共同配合使用。
災(zāi)備與容器
開源已經(jīng)成為目前IT領(lǐng)域最重要的一個(gè)趨勢，不管是大熱的以Docker為代表的容器技術(shù)，還是對(duì)標(biāo)AWS的OpenStack，都為目前的災(zāi)備行業(yè)的發(fā)展提供了借鑒意義。尤其是OpenStack在云平臺(tái)搭建中的逐步深入，正在逐成為云計(jì)算基礎(chǔ)架構(gòu)的實(shí)施標(biāo)準(zhǔn)，在生產(chǎn)環(huán)境的部署比例達(dá)到46%，而使用通用開源平臺(tái)建設(shè)的云計(jì)算基礎(chǔ)架構(gòu)，便于在雙活數(shù)據(jù)中心的異構(gòu)設(shè)備上靈活切換，并在互聯(lián)網(wǎng)、證券、電信、行、制造、醫(yī)療、能源等多個(gè)行業(yè)中得到使用。
讓災(zāi)備建設(shè)與運(yùn)維更加簡單、系統(tǒng)開放可兼容及利舊，以及讓災(zāi)備資源能夠以服務(wù)的方式自動(dòng)完成分配和發(fā)放，成為當(dāng)前災(zāi)備建設(shè)的新趨勢和訴求。與此同時(shí)，IT正在迎來以云計(jì)算為核心的第三次變革，基于OpenStack的云數(shù)據(jù)中心正在以其開放和融合的特性吸引更多企業(yè)客戶積極投入實(shí)踐。
在容器技術(shù)方，作為Docker災(zāi)備高可用的實(shí)踐，英方已經(jīng)完成對(duì)OpenVZ等容器技術(shù)高可用的完美支持，并隨業(yè)務(wù)的進(jìn)一步實(shí)踐，將與容器領(lǐng)域的企業(yè)一道推動(dòng)容器在業(yè)務(wù)上的具體應(yīng)用。
災(zāi)備與超融合
2015年初，超融合的概念開始在國內(nèi)興起，百度的新聞搜索量剛過2000，比于虛擬化、云計(jì)算、大數(shù)據(jù)等概念來說，超融合顯然還沒有形成自己的氣候。超融合基礎(chǔ)架構(gòu)（Hyper-Converged Infrastructure，簡稱HCI）也被稱為超融合架構(gòu)，是指在同一套單元設(shè)備中不僅僅具備計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)和服務(wù)器虛擬化等資源和技術(shù)，而且還括緩存加速、重復(fù)數(shù)據(jù)刪除、在線數(shù)據(jù)壓縮、備份軟件、快照技術(shù)等元素，而多節(jié)點(diǎn)可以通過網(wǎng)絡(luò)聚合起來，實(shí)現(xiàn)模塊化的無縫橫向擴(kuò)展(scale-out) ，形成統(tǒng)一的資源池。
超融合的實(shí)際案例大部分還是在虛擬化環(huán)境下的用戶群體里，由于擴(kuò)展環(huán)境的諸多限制，超融合架構(gòu)在升級(jí)靈活性和性能可預(yù)測性上會(huì)存在一些缺陷。盡管虛擬化已經(jīng)無可爭議地提升了服務(wù)器整合效率、增加了工作負(fù)載配置與遷移的靈活性，但由于是在更少的服務(wù)器上承載更多的工作負(fù)載，所以在硬件出現(xiàn)故障時(shí)也可能意味大規(guī)模的運(yùn)行中斷。對(duì)于那些虛擬化為主的超融合架構(gòu)，可能缺乏HA的支持，因此同樣有可能存在單點(diǎn)故障。因此，在超融合的“融合”體系中，災(zāi)備將是重要的一環(huán)，對(duì)于任何IT團(tuán)隊(duì)來說，都不應(yīng)該選擇沒有任何備份的生產(chǎn)系統(tǒng)。
災(zāi)備與云計(jì)算
云計(jì)算作為一種按使用量付費(fèi)的模式，可以提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問，進(jìn)入可配置的計(jì)算資源共享池（資源括網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用軟件、SaaS服務(wù)），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務(wù)供應(yīng)商進(jìn)行很少的交互。
自從云計(jì)算和大數(shù)據(jù)出現(xiàn)后，云平臺(tái)被越來越多的企業(yè)所接受和使用，因?yàn)樵破脚_(tái)的靈活性，災(zāi)備也衍生了新的概念——云災(zāi)備
云計(jì)算的使用，可以大幅度減少用戶的IT資源與人力成本的投入，同時(shí)獲得更加彈性和強(qiáng)大的計(jì)算能力，對(duì)快速拓展業(yè)務(wù)非常便捷。近些年，云計(jì)算的價(jià)格在大幅度下降，導(dǎo)致用戶上云成為趨勢。但是作為一種不可自主掌控的IT資源，用戶業(yè)務(wù)數(shù)據(jù)上云的安全存在諸多隱患，例如網(wǎng)絡(luò)攻擊。
根據(jù)某國內(nèi)大型云計(jì)算供應(yīng)商提供的數(shù)據(jù)，其每天均會(huì)遭受大量的安全攻擊——每天防御過2億次的密碼暴力破解；每天抵御2000萬次的Web入侵防御；每天抵御1000次以上的DDoS攻擊。同時(shí)，云計(jì)算內(nèi)部的安全機(jī)制也當(dāng)重要，2017年6月10日，荷蘭海牙的一家云主機(jī)商Verelox“所有客戶”的數(shù)據(jù)，被前任管理員全刪了，并且擦除了大多數(shù)服務(wù)器上的內(nèi)容，客戶數(shù)據(jù)恢復(fù)希望渺茫。
因此，云災(zāi)備正在成為一種云上安全的重要措施。在沒有任何的系統(tǒng)是百分之百安全的情況下，永遠(yuǎn)不要將所有數(shù)據(jù)放在一個(gè)“籃子”里，云備份與恢復(fù)、云端業(yè)務(wù)遷移、云端高可用這些在用戶數(shù)據(jù)中心機(jī)房的災(zāi)備場景，在云端同樣適用。
但是云計(jì)算的數(shù)據(jù)中心機(jī)房由于分布在各地，所以云端的數(shù)據(jù)復(fù)制與容災(zāi)高可用比本地的數(shù)據(jù)中心容災(zāi)要求，在用戶龐大數(shù)據(jù)量傳輸需求下對(duì)帶寬及距離有諸多的限制。因此，對(duì)災(zāi)備技術(shù)發(fā) 展趨勢的要求是能夠滿足不同云計(jì)算平臺(tái)、長距離、大數(shù)據(jù)量的數(shù)據(jù)復(fù)制、傳輸和業(yè)務(wù)從本地到云端、云端到云端的快速接管的需求。
邊緣計(jì)算和云災(zāi)備
邊緣計(jì)算的產(chǎn)生背景之一，是當(dāng)本地存在海量數(shù)據(jù)處理需求的時(shí)候，由于本地網(wǎng)絡(luò)邊緣到云數(shù)據(jù)中心網(wǎng)絡(luò)帶寬、延時(shí)的限制，無法通過遠(yuǎn)端的云計(jì)算能力對(duì)本地的海量數(shù)據(jù)進(jìn)行實(shí)時(shí)處理。
如果本地的存量和增量數(shù)據(jù)巨大，云災(zāi)備也會(huì)因?yàn)榫W(wǎng)絡(luò)帶寬的限制影響數(shù)據(jù)災(zāi)備至云端的實(shí)效性。借助邊緣計(jì)算，可以將海量數(shù)據(jù)災(zāi)備至周邊任一物聯(lián)網(wǎng)終端。同時(shí)，通過數(shù)據(jù)的分塊技術(shù)，對(duì)源端數(shù)據(jù)在本地進(jìn)行切分，切分后的數(shù)據(jù)塊在本地完成加密再傳輸至不同的“邊緣”，保證了數(shù)據(jù)災(zāi)備至“邊緣”的安全性。
伴隨數(shù)據(jù)的計(jì)算和存儲(chǔ)技術(shù)的演進(jìn)，災(zāi)備技術(shù)也在隨之發(fā)展。災(zāi)備端從本地機(jī)房到異地機(jī)房，再到云端，未來有可能又回到本地周邊的“邊緣”，回歸的是數(shù)據(jù)災(zāi)備的存儲(chǔ)介質(zhì)，升的是我們對(duì)數(shù)據(jù)和業(yè)務(wù)保護(hù)的態(tài)度和要求。
災(zāi)備與區(qū)塊鏈
區(qū)塊鏈(Blockchain)是分布式數(shù)據(jù)存儲(chǔ)、點(diǎn)對(duì)點(diǎn)傳輸、共識(shí)機(jī)制、加密算法等計(jì)算機(jī)技術(shù)的新型應(yīng)用模式。其中，共識(shí)機(jī)制是區(qū)塊鏈系統(tǒng)中實(shí)現(xiàn)不同節(jié)點(diǎn)之間建立信任、獲取權(quán)益的數(shù)學(xué)算法。
狹義來講，區(qū)塊鏈?zhǔn)且环N按照時(shí)間順序?qū)?shù)據(jù)區(qū)塊以順序連的方式組合成的一種鏈?zhǔn)綌?shù)據(jù)結(jié)構(gòu)，并以密碼學(xué)方式保證的不可篡改和不可偽造的分布式賬本。
廣義來講，區(qū)塊鏈技術(shù)是利用塊鏈?zhǔn)綌?shù)據(jù)構(gòu)來驗(yàn)證與存儲(chǔ)數(shù)據(jù)、利用分布式節(jié)點(diǎn)共識(shí)算法來生成和更新數(shù)據(jù)、利用密碼學(xué)的方式保證數(shù)據(jù)傳輸和訪問的安全、利用由自動(dòng)化腳本代碼組成的智 能合約來編程和操作數(shù)據(jù)的一種全新的分布式基礎(chǔ)架構(gòu)與計(jì)算方式。
2018年，區(qū)塊鏈技術(shù)勢頭正盛，從各種虛擬幣到各類區(qū)塊鏈應(yīng)用都非常火爆。其中，區(qū)塊鏈的特點(diǎn)與備份的需求點(diǎn)，也是非常匹配的。
首先，講一下備份的幾個(gè)基本需求點(diǎn)：
1）數(shù)據(jù)安全性，數(shù)據(jù)如果存儲(chǔ)在公有云，加密是一個(gè)非常重要的要求，因?yàn)槠髽I(yè)要嚴(yán)防數(shù)據(jù)泄露等問題的發(fā)生；
2）數(shù)據(jù)審計(jì)性，傳統(tǒng)備份方式存在被黑客攻擊或內(nèi)部人員篡改數(shù)據(jù)的可能，而且可以事后消除操作日，一旦造成損失為后期審計(jì)追蹤帶來困難；
3）數(shù)據(jù)多副本需求，在條件允許的情況下，數(shù)據(jù)分散到不同的地方存儲(chǔ)，可大幅降低數(shù)據(jù)丟失的風(fēng)險(xiǎn)，兩地三中心就是這種需求的具體實(shí)踐。
其次，就是區(qū)塊鏈的特點(diǎn)：
1）加密：區(qū)塊鏈的首要特點(diǎn)就是加密，基于區(qū)塊鏈的存儲(chǔ)應(yīng)用，也是如此，這保證了數(shù)據(jù)在存儲(chǔ)端不會(huì)被查和泄露，只有擁有了密鑰，才能進(jìn)行查；
2）無法篡改：這一特性，保證了記錄的真實(shí)性和有效性（同時(shí)目前這一特性也廣受金融領(lǐng)域的喜愛，金融領(lǐng)域在投入大量資源去發(fā)展和利用）；
3）去中心化：去中心化不僅是“賬本”記錄的去中心化，利用區(qū)塊鏈技術(shù)所實(shí)現(xiàn)的存儲(chǔ)也可以去中心化。
區(qū)塊鏈存儲(chǔ)的典型代表是Storj和Sia。區(qū)塊鏈存儲(chǔ)的典型特點(diǎn)：
1）廉價(jià)：平均而言，Sia的分散式云存儲(chǔ)比現(xiàn)有云存儲(chǔ)提供商的成本低90％。如果單純從 存儲(chǔ)價(jià)格上計(jì)算，在Sia上存儲(chǔ)1TB文件的成本大約為每月2美元，而某公有云上的價(jià)格為23美元；
2）分散式：數(shù)據(jù)存放在不同的設(shè)備中，極大避免了單一設(shè)備損壞導(dǎo)致的備份數(shù)據(jù)丟失。
目前，國內(nèi)計(jì)劃接入?yún)^(qū)塊鏈的備份類公司不多，不過也有機(jī)構(gòu)手研究，并述了區(qū)塊鏈與備份的整合方案，大概的方案步驟如下：
1）源端設(shè)定備份目錄；
2）加密發(fā)送文件數(shù)據(jù)，并且把文件名、大小、權(quán)限、目錄、MD5值提交給計(jì)算節(jié)點(diǎn)；
3）計(jì)算節(jié)點(diǎn)進(jìn)行記錄，并且分塊分配給不同的存儲(chǔ)節(jié)點(diǎn)；
4）存儲(chǔ)節(jié)點(diǎn)接收文件，并存儲(chǔ)；
5）在需要恢復(fù)時(shí)，向計(jì)算節(jié)點(diǎn)發(fā)送請(qǐng)求，計(jì)算節(jié)點(diǎn)依據(jù)記錄，獲取à合并à解密數(shù)據(jù)，最終實(shí)現(xiàn)了數(shù)據(jù)恢復(fù)。
由于數(shù)據(jù)分塊存儲(chǔ)在全球各個(gè)地方，所以增加了副本數(shù)量，提升了備份的可靠性，同時(shí)由于區(qū)塊鏈無法篡改，所以提高了可審計(jì)性和一致性。而且，因?yàn)槭羌用艿?，所以避免了?shù)據(jù)泄露的風(fēng)險(xiǎn)。
推薦閱讀：
大數(shù)據(jù)時(shí)代的商業(yè)智能（BI）
轉(zhuǎn)載申明：轉(zhuǎn)載本號(hào)文章請(qǐng)注明作者和來源，本號(hào)發(fā)布文章若存在版權(quán)等問題，請(qǐng)留言聯(lián)系處理，謝謝。
推薦閱讀
更多架構(gòu)相關(guān)技術(shù)知識(shí)總結(jié)請(qǐng)參考“架構(gòu)師技術(shù)全聯(lián)盟書店”相關(guān)電子書(35本技術(shù)資料打包匯總詳情可通過“閱讀原文”獲取)。
全店內(nèi)容持續(xù)更新，現(xiàn)下單“架構(gòu)師技術(shù)全店打包匯總(全)”，后續(xù)可享全店內(nèi)容更新“免費(fèi)”贈(zèng)閱，價(jià)格僅收188元(原總價(jià)290元)。
溫馨提示：
掃描二維碼關(guān)注公眾號(hào)，點(diǎn)擊閱讀原文鏈接獲取“架構(gòu)師技術(shù)全店資料打包匯總(全)”電子書資料詳情。
