RDFS容錯(cuò)云存儲(chǔ)系統(tǒng)
我們開發(fā)實(shí)現(xiàn)了新型的基于容錯(cuò)編碼的分布文件系統(tǒng)Raid Distributed File System (RDFS)。創(chuàng)新的特色包括:高度可靠性、高可用性、低存儲(chǔ)開銷。
(1)并行編解碼:顯著提升了編碼與解碼的速率。已有的串行編碼方式通常是系統(tǒng)的讀寫瓶頸。而實(shí)驗(yàn)顯示并行優(yōu)化后的編碼方案不再成為系統(tǒng)的性能瓶頸。與串行編碼相比,并行編碼的加速比通常大于3。
(2)基于網(wǎng)絡(luò)拓?fù)涞臉浣Y(jié)構(gòu)數(shù)據(jù)修復(fù):達(dá)到低網(wǎng)絡(luò)開銷的目的。樹結(jié)構(gòu)重建降低了網(wǎng)絡(luò)資源的利用率,與傳統(tǒng)的星型修復(fù)技術(shù)相比,資源消耗降幅達(dá)20%~30%。修復(fù)速率提升了15%~20%。
(3)面向同時(shí)多數(shù)據(jù)修復(fù)的一對(duì)多修復(fù)方案:在多節(jié)點(diǎn)失效時(shí)有效修復(fù)數(shù)據(jù)。與逐個(gè)修復(fù)失效節(jié)點(diǎn)的星型結(jié)構(gòu)相比,修復(fù)速率提升了30%。
(4)基于網(wǎng)絡(luò)拓?fù)涞木€型數(shù)據(jù)修復(fù):在部分塊失效時(shí)的數(shù)據(jù)修復(fù)讀取速率得到顯著優(yōu)化。與傳統(tǒng)的星型修復(fù)相比,讀取速率增加了50%~100%。
上述技術(shù)并不要求特別的編碼方案,能夠在大多數(shù)已有的編碼方案下正常工作,因此具有較好的普遍適用性。
更多信息聯(lián)系:[email protected], [email protected], [email protected], [email protected]
