CloudStore分布式文件系統(tǒng)
CloudStore(KFS,Kosmos File System)分布式文件系統(tǒng)有著高性能,可用性和可靠性等特點(diǎn)。它的目的是用來(lái)作為后端的存儲(chǔ)基礎(chǔ)設(shè)施,密集型數(shù)據(jù)應(yīng)用,如搜索引擎,數(shù)據(jù)挖掘,網(wǎng)格計(jì)算等。
功能和特點(diǎn)
增量的可擴(kuò)展性:存儲(chǔ)需求可對(duì)節(jié)點(diǎn)增加,系統(tǒng)會(huì)自動(dòng)適應(yīng)新的節(jié)點(diǎn)。
可利用性:復(fù)制是用來(lái)提高可用性。通常情況下,文件復(fù)制有3種方式。
每個(gè)文件的復(fù)制程度:在一定程度的復(fù)制配置,最大限制為64。
機(jī)架數(shù)據(jù)放置:數(shù)據(jù)在不同的塊架上。
重新平衡:每隔一段時(shí)間,中繼服務(wù)器可以平衡塊之間。這樣做是為了幫助平衡的磁盤空間之間節(jié)點(diǎn)的利用率。
數(shù)據(jù)完整性:為了處理硬盤損壞的數(shù)據(jù)塊,校驗(yàn)核查所做的每一個(gè)閱讀,每當(dāng)有一個(gè)校驗(yàn)和不匹配,再?gòu)?fù)制是用來(lái)恢復(fù)損壞的塊。
文件寫入:該系統(tǒng)遵循的標(biāo)準(zhǔn)模式。當(dāng)應(yīng)用程序創(chuàng)建一個(gè)文件,文件名變成部分文件的命名空間。
緩存:客戶端庫(kù)使用緩存以提高性能。用于支持高速緩存的一致性。
塊的版本:版本是用來(lái)探測(cè)陳舊塊。
用戶端故障轉(zhuǎn)移:如果客戶端庫(kù)確定無(wú)法訪問(wèn),客戶端庫(kù)將故障轉(zhuǎn)移。
語(yǔ)言支持:可用C++,Java和Python訪問(wèn)客戶端庫(kù)。
工具:包含了一系列新的工具。這可以讓用戶使用命令瀏覽文件系統(tǒng),如cp, ls, mkdir, rmdir, rm, mv。
本地閱讀優(yōu)化:當(dāng)應(yīng)用程序運(yùn)行在同一節(jié)點(diǎn)是包含一個(gè)優(yōu)化的本地讀取數(shù)據(jù)。
