<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          分布式存儲(chǔ)技術(shù):三副本 vs 雙重RAID

          共 1809字,需瀏覽 4分鐘

           ·

          2023-06-20 11:56

          (?三副本?VS? ?雙重RAID
          分布式技術(shù)路線對(duì)比

          當(dāng)下,分布式存儲(chǔ)應(yīng)用非常廣泛,主要用于Openstack私有云、各種共有云平臺(tái)、以及服務(wù)器虛擬化、超融合等;按接口劃分:分布式存儲(chǔ)包含塊存儲(chǔ)、對(duì)象存儲(chǔ)、文件存儲(chǔ)等。分布式存儲(chǔ)正逐漸取代傳統(tǒng)磁盤陣列,成為現(xiàn)代存儲(chǔ)平臺(tái)建設(shè)的首選。

          分布式存儲(chǔ)的主流廠商有IT大廠華為、新華三、浪潮,也有存儲(chǔ)創(chuàng)新企業(yè)如道熵、XSKY、SmartX等。

          主流布式存儲(chǔ)廠家以開源Ceph為基礎(chǔ)或參考模型,以三副本架構(gòu)為主,如華為、新華三、浪潮、XSKY;而道熵則采用雙重RAID架構(gòu),每個(gè)節(jié)點(diǎn)采用存儲(chǔ)虛擬化與本地RAID管理,節(jié)點(diǎn)間則是分布式兩副本技術(shù),架構(gòu)上更接近(分布式)磁盤陣列。

          三副本技術(shù)路線

          三副本分布式存儲(chǔ)采用網(wǎng)絡(luò)間三副本策略實(shí)現(xiàn)數(shù)據(jù)保護(hù)與故障修復(fù)。當(dāng)某個(gè)硬盤(OSD)發(fā)生故障時(shí),該硬盤OSD上的數(shù)據(jù)將自動(dòng)按CRUSH規(guī)則在其他硬盤OSD上重建。

          三副本網(wǎng)絡(luò)數(shù)據(jù)重建有以下幾個(gè)弊端:

          1






          消耗網(wǎng)絡(luò)帶寬,可能會(huì)影響到業(yè)務(wù)數(shù)據(jù)的正常工作;

          2






          TCP/IP網(wǎng)絡(luò)具有數(shù)據(jù)包丟失與重發(fā)的特性,可能導(dǎo)致網(wǎng)絡(luò)故障或網(wǎng)絡(luò)抖動(dòng),影響OSD的狀態(tài),引起OSD重建的連鎖反應(yīng);

          3






          嚴(yán)重時(shí)可導(dǎo)致業(yè)務(wù)中斷、甚至丟失數(shù)據(jù)的風(fēng)險(xiǎn)。


          三副本分布式存儲(chǔ)的另一個(gè)弊端就是“慢盤”效應(yīng),以及相關(guān)的性能及穩(wěn)定性問(wèn)題。在三副本系統(tǒng)中,每個(gè)機(jī)械磁盤(HDD)單獨(dú)作為一個(gè)OSD存儲(chǔ)單元承接用戶工作負(fù)載,而單個(gè)HDD隨機(jī)IO讀寫非常低,僅為120 次讀寫/秒,極容易成為瓶頸。


          由于分布式存儲(chǔ)采用隨機(jī)數(shù)據(jù)分布,而隨機(jī)性必然導(dǎo)致個(gè)別磁盤上的負(fù)載遠(yuǎn)超平均值(著名的正太分布效應(yīng));此外,磁盤本身的制造缺陷或故障還會(huì)加劇?“慢盤”現(xiàn)象發(fā)生的頻率。當(dāng)系統(tǒng)出現(xiàn)一個(gè)或多個(gè)慢盤時(shí),不僅會(huì)拖累總體性能與用戶體驗(yàn),甚至可能導(dǎo)致業(yè)務(wù)卡頓、中斷、甚至系統(tǒng)崩潰的嚴(yán)重事故。


          雙重RAID技術(shù)路線

          雙重RAID采用節(jié)點(diǎn)內(nèi)RAID與網(wǎng)絡(luò)兩副本策略相結(jié)合的方式,實(shí)現(xiàn)數(shù)據(jù)保護(hù)與故障修復(fù)。各節(jié)點(diǎn)采用log-structured 軟件定義技術(shù)(而不是硬件RAID卡),實(shí)現(xiàn)節(jié)點(diǎn)存儲(chǔ)資源池化、數(shù)據(jù)冗余保護(hù)(本地RAID)、ARC智能緩存、在線數(shù)據(jù)壓縮、故障自動(dòng)檢測(cè)與報(bào)警等高級(jí)管理功能,通過(guò)虛擬卷為OSD提供存儲(chǔ)服務(wù)(vOSD);在vOSD上層通過(guò)分布式兩副本策略提供跨節(jié)點(diǎn)間數(shù)據(jù)保護(hù)與業(yè)務(wù)高可用功能。當(dāng)某個(gè)硬盤發(fā)生故障時(shí),由節(jié)點(diǎn)內(nèi)RAID對(duì)數(shù)據(jù)實(shí)現(xiàn)本地?cái)?shù)據(jù)修復(fù),而上層vOSD狀態(tài)正常,毫無(wú)感知,不會(huì)觸發(fā)網(wǎng)絡(luò)數(shù)據(jù)修復(fù)。


          與網(wǎng)絡(luò)數(shù)據(jù)修復(fù)相比,本地RAID數(shù)據(jù)修復(fù)具有以下特征:

          1

          硬件故障隔離,避免了網(wǎng)絡(luò)修復(fù)可能導(dǎo)致的穩(wěn)定性問(wèn)題;

          2

          可自動(dòng)避讓業(yè)務(wù),保證業(yè)務(wù)無(wú)感知;

          3

          本地修復(fù)時(shí)數(shù)據(jù)延遲小,不消耗網(wǎng)絡(luò)帶寬;

          4

          抵御故障能力強(qiáng),每個(gè)節(jié)點(diǎn)都能抵御一個(gè)或多個(gè)硬盤故障;而三副本最多抵御兩個(gè)連續(xù)的硬盤故障。


          雙重RAID的另一個(gè)技術(shù)優(yōu)勢(shì)在于,支持在線增加NVMe固態(tài)硬盤個(gè)數(shù),或在線替換更大容量的NVMe固態(tài)硬盤,從而使得用戶活動(dòng)工作負(fù)載數(shù)據(jù)集 (Working Data Set),俗稱熱數(shù)據(jù),可幾乎全部落在兩級(jí)緩存加速層中,從而使得系統(tǒng)總體性能可逼近全閃存存儲(chǔ)系統(tǒng)。

          雙重RAID是迄今為止對(duì)付“慢盤”效應(yīng)最有效的辦法。在雙重RAID架構(gòu)中,每個(gè)節(jié)點(diǎn)不僅具備抵御磁盤故障、數(shù)據(jù)本地修復(fù)的能力,同時(shí),通過(guò)存儲(chǔ)資源池化技術(shù)將該節(jié)點(diǎn)上所有的vOSD 的工作負(fù)載平均分布到各個(gè)磁盤上。這種負(fù)載均衡技術(shù)可大幅度降低因工作負(fù)載不均勻,或個(gè)別磁盤性能下降導(dǎo)致的慢盤現(xiàn)象。此外,每個(gè)存儲(chǔ)節(jié)點(diǎn)在整合的存儲(chǔ)資源池基礎(chǔ)上,利用節(jié)點(diǎn)的內(nèi)存和大容量NVMe固態(tài)硬盤構(gòu)成一個(gè)統(tǒng)一的兩級(jí)緩存加速層,并采用自適應(yīng)算法匹配vOSD工作負(fù)載的變化,大幅度提升各個(gè)vOSD承受極端工作負(fù)載的能力。

          總結(jié):雙重RAID架構(gòu)與三副本架構(gòu)相比,在性能、穩(wěn)定性和數(shù)據(jù)可靠性方面具有明顯優(yōu)勢(shì)。特別需要指出的是,雙重RAID具備非常優(yōu)秀的硬件故障隔離特性,而三副本對(duì)硬件故障的檢查和容錯(cuò)能力較弱,因此雙重RAID可顯著降低運(yùn)維難度與運(yùn)維人工成本。

          原文鏈接:
          https://mp.weixin.qq.com/s/WE_cnWmwPCVoQG0zjJ38CA



          10T 技術(shù)資源大放送!包括但不限于:Linux、虛擬化、容器、云計(jì)算、網(wǎng)絡(luò)、Python、Go 等。在?開源Linux?公眾號(hào)內(nèi)回復(fù)?10T,即可免費(fèi)獲取!

          Linux學(xué)習(xí)指南

          有收獲,點(diǎn)個(gè)在看?

          瀏覽 42
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評(píng)論
          圖片
          表情
          推薦
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  天天狠天天插天天透 | 激情综合网站 | 在线国产福利视频 | 熟女性爱网站 | 12一14女人毛片 |