使用JuiceFS優(yōu)化 Kylin4.0的存儲(chǔ)性能

云端:采用云服務(wù)中的對(duì)象存儲(chǔ)作為后端,綜合性價(jià)比極高。
共享:上千臺(tái)機(jī)器同時(shí)掛載,高性能并發(fā)讀寫,共享數(shù)據(jù)。
易用:POSIX、HDFS、NFS 兼容,無(wú)門檻對(duì)接現(xiàn)有應(yīng)用。
JuiceFS 核心特性
POSIX 兼容:像本地文件系統(tǒng)一樣使用,無(wú)縫對(duì)接已有應(yīng)用,無(wú)業(yè)務(wù)侵入性;
HDFS 兼容:完整兼容 HDFS API,并提供更強(qiáng)的元數(shù)據(jù)性能,云上 Hadoop 數(shù)據(jù)存儲(chǔ)的理想選擇;
強(qiáng)一致性:所有確認(rèn)的修改會(huì)立即在所有客戶端可見,保證強(qiáng)一致性;
卓越的性能:低至幾毫秒的時(shí)延和無(wú)限的吞吐量(通過(guò)增加客戶端數(shù)量);
高可用性:元數(shù)據(jù)集群通過(guò) Raft 協(xié)議實(shí)現(xiàn)高可用;
可擴(kuò)展:為幾十 PB 級(jí)數(shù)據(jù)和幾億級(jí)文件數(shù)設(shè)計(jì),平滑擴(kuò)容,無(wú)運(yùn)維干預(yù);
跨云跨區(qū)的復(fù)制:數(shù)據(jù)可以像 RAID-1 一樣自動(dòng)復(fù)制到不同區(qū)甚至不同云平臺(tái);
數(shù)據(jù)安全:所有文件數(shù)據(jù)保存在您自己的對(duì)象存儲(chǔ)中,我們接觸不到您的數(shù)據(jù),傳輸過(guò)程中也是加密的。
高性價(jià)比:所有數(shù)據(jù)存儲(chǔ)于對(duì)象存儲(chǔ),并經(jīng)過(guò)特殊設(shè)計(jì)和壓縮,大幅降低 TCO。
JuiceFS 主體架構(gòu)
JuiceFS 元數(shù)據(jù)(Metadata)服務(wù):元數(shù)據(jù)服務(wù)是由我們負(fù)責(zé)運(yùn)維的一個(gè)集群,它們通過(guò) Raft 算法實(shí)現(xiàn)高可用并同時(shí)保證數(shù)據(jù)的強(qiáng)一致性。元數(shù)據(jù)服務(wù)是專為文件系統(tǒng)優(yōu)化的服務(wù),非常高效和穩(wěn)定。
JuiceFS 掛載客戶端:即下圖的
jfsmount, 它負(fù)責(zé)跟元數(shù)據(jù)服務(wù)和對(duì)象存儲(chǔ)通信,并通過(guò) FUSE 實(shí)現(xiàn) POSIX API。另外,我們還提供一個(gè)腳本juicefs, 用于 JuiceFS 的授權(quán)、掛載等所有操作。


jfsmount, 再請(qǐng)求元數(shù)據(jù)服務(wù)或者對(duì)象存儲(chǔ)完成操作。JuiceFS 使用場(chǎng)景
大數(shù)據(jù)分析:HDFS 兼容,沒(méi)有任何特殊 API 侵入業(yè)務(wù);與主流計(jì)算框架(Spark, Hadoop, Hive等)無(wú)縫銜接;無(wú)限擴(kuò)展的存儲(chǔ)空間;運(yùn)維成本幾乎為 0;完善的緩存機(jī)制,高于對(duì)象存儲(chǔ)性能數(shù)倍。
機(jī)器學(xué)習(xí):POSIX 兼容,可以支持所有機(jī)器學(xué)習(xí)、深度學(xué)習(xí)框架;共享能力提升團(tuán)隊(duì)管理、使用數(shù)據(jù)效率。
容器集群中的持久卷:Kubernetes CSI 支持;持久存儲(chǔ)并與容器生存期獨(dú)立;強(qiáng)一致性保證數(shù)據(jù)正確;接管數(shù)據(jù)存儲(chǔ)需求,保證服務(wù)的無(wú)狀態(tài)化。
共享工作區(qū):沒(méi)有 VPC 限制,可以在任意主機(jī)掛載;沒(méi)有客戶端并發(fā)讀寫限制;POSIX 兼容已有的數(shù)據(jù)流和腳本操作。
數(shù)據(jù)備份:POSIX 是運(yùn)維工程師最友好的接口;無(wú)限平滑擴(kuò)展的存儲(chǔ)空間;跨云跨區(qū)自動(dòng)復(fù)制;掛載不受 VPC 限制,方便所有主機(jī)訪問(wèn);快照(snapshot)可用于快速恢復(fù)和數(shù)據(jù)驗(yàn)證。
















