<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          使用JuiceFS優(yōu)化 Kylin4.0的存儲(chǔ)性能

          共 1801字,需瀏覽 4分鐘

           ·

          2021-03-01 00:11

          點(diǎn)擊上方藍(lán)色字體,選擇“設(shè)為星標(biāo)
          回復(fù)”資源“獲取更多資源

            

           JuiceFS 是什么?
          JuiceFS 是為云端設(shè)計(jì)的共享文件系統(tǒng)。
          • 云端:采用云服務(wù)中的對(duì)象存儲(chǔ)作為后端,綜合性價(jià)比極高。

          • 共享:上千臺(tái)機(jī)器同時(shí)掛載,高性能并發(fā)讀寫,共享數(shù)據(jù)。

          • 易用:POSIX、HDFS、NFS 兼容,無(wú)門檻對(duì)接現(xiàn)有應(yīng)用。

          JuiceFS 核心特性

          1. POSIX 兼容:像本地文件系統(tǒng)一樣使用,無(wú)縫對(duì)接已有應(yīng)用,無(wú)業(yè)務(wù)侵入性;

          2. HDFS 兼容:完整兼容 HDFS API,并提供更強(qiáng)的元數(shù)據(jù)性能,云上 Hadoop 數(shù)據(jù)存儲(chǔ)的理想選擇;

          3. 強(qiáng)一致性:所有確認(rèn)的修改會(huì)立即在所有客戶端可見,保證強(qiáng)一致性;

          4. 卓越的性能:低至幾毫秒的時(shí)延和無(wú)限的吞吐量(通過(guò)增加客戶端數(shù)量);

          5. 高可用性:元數(shù)據(jù)集群通過(guò) Raft 協(xié)議實(shí)現(xiàn)高可用;

          6. 可擴(kuò)展:為幾十 PB 級(jí)數(shù)據(jù)和幾億級(jí)文件數(shù)設(shè)計(jì),平滑擴(kuò)容,無(wú)運(yùn)維干預(yù);

          7. 跨云跨區(qū)的復(fù)制:數(shù)據(jù)可以像 RAID-1 一樣自動(dòng)復(fù)制到不同區(qū)甚至不同云平臺(tái);

          8. 數(shù)據(jù)安全:所有文件數(shù)據(jù)保存在您自己的對(duì)象存儲(chǔ)中,我們接觸不到您的數(shù)據(jù),傳輸過(guò)程中也是加密的。

          9. 高性價(jià)比:所有數(shù)據(jù)存儲(chǔ)于對(duì)象存儲(chǔ),并經(jīng)過(guò)特殊設(shè)計(jì)和壓縮,大幅降低 TCO。

          JuiceFS 適用于所有文件形式數(shù)據(jù)的管理、分析、歸檔、備份。 尤其可以支持大數(shù)據(jù)分析和機(jī)器學(xué)習(xí)對(duì)數(shù)據(jù)存儲(chǔ)的需求。
          POSIX、HDFS、NFS 兼容讓 JuiceFS 不會(huì)對(duì)客戶的業(yè)務(wù)系統(tǒng)帶來(lái)任何侵入性,零成本替換。運(yùn)維人員不用再為可用性、災(zāi)難恢復(fù)、監(jiān)控、擴(kuò)容等工作煩惱,專注于業(yè)務(wù)開發(fā),提升研發(fā)效率。同時(shí)運(yùn)維細(xì)節(jié)的簡(jiǎn)化,也讓研發(fā)團(tuán)隊(duì)更容易向 DevOps 團(tuán)隊(duì)轉(zhuǎn)型。

          JuiceFS 主體架構(gòu)

          JuiceFS 由兩個(gè)主要部分組成:
          • JuiceFS 元數(shù)據(jù)(Metadata)服務(wù):元數(shù)據(jù)服務(wù)是由我們負(fù)責(zé)運(yùn)維的一個(gè)集群,它們通過(guò) Raft 算法實(shí)現(xiàn)高可用并同時(shí)保證數(shù)據(jù)的強(qiáng)一致性。元數(shù)據(jù)服務(wù)是專為文件系統(tǒng)優(yōu)化的服務(wù),非常高效和穩(wěn)定。

          • JuiceFS 掛載客戶端:即下圖的 jfsmount, 它負(fù)責(zé)跟元數(shù)據(jù)服務(wù)和對(duì)象存儲(chǔ)通信,并通過(guò) FUSE 實(shí)現(xiàn) POSIX API。另外,我們還提供一個(gè)腳本 juicefs, 用于 JuiceFS 的授權(quán)、掛載等所有操作。

          注:元數(shù)據(jù)(metadata)包含文件名、文件大小、權(quán)限組、創(chuàng)建修改時(shí)間和目錄結(jié)構(gòu)。
          當(dāng) JuiceFS 掛載到主機(jī)時(shí),下圖展示了它們是如何工作的:

          當(dāng)您的應(yīng)用或者工具(可以使用任何語(yǔ)言編寫)在使用內(nèi)置的 API(open, read, write 等)訪問(wèn)數(shù)據(jù)時(shí),會(huì)在底層通過(guò)系統(tǒng)調(diào)用經(jīng)過(guò)內(nèi)核中的 VFS 以及 FUSE 模塊轉(zhuǎn)發(fā)到 jfsmount, 再請(qǐng)求元數(shù)據(jù)服務(wù)或者對(duì)象存儲(chǔ)完成操作。

          JuiceFS 使用場(chǎng)景

          JuiceFS 為海量數(shù)據(jù)存儲(chǔ)設(shè)計(jì),可以作為很多分布式文件系統(tǒng)和網(wǎng)絡(luò)文件系統(tǒng)的替代,特別是以下場(chǎng)景:
          • 大數(shù)據(jù)分析:HDFS 兼容,沒(méi)有任何特殊 API 侵入業(yè)務(wù);與主流計(jì)算框架(Spark, Hadoop, Hive等)無(wú)縫銜接;無(wú)限擴(kuò)展的存儲(chǔ)空間;運(yùn)維成本幾乎為 0;完善的緩存機(jī)制,高于對(duì)象存儲(chǔ)性能數(shù)倍。

          • 機(jī)器學(xué)習(xí):POSIX 兼容,可以支持所有機(jī)器學(xué)習(xí)、深度學(xué)習(xí)框架;共享能力提升團(tuán)隊(duì)管理、使用數(shù)據(jù)效率。

          • 容器集群中的持久卷:Kubernetes CSI 支持;持久存儲(chǔ)并與容器生存期獨(dú)立;強(qiáng)一致性保證數(shù)據(jù)正確;接管數(shù)據(jù)存儲(chǔ)需求,保證服務(wù)的無(wú)狀態(tài)化。

          • 共享工作區(qū):沒(méi)有 VPC 限制,可以在任意主機(jī)掛載;沒(méi)有客戶端并發(fā)讀寫限制;POSIX 兼容已有的數(shù)據(jù)流和腳本操作。

          • 數(shù)據(jù)備份:POSIX 是運(yùn)維工程師最友好的接口;無(wú)限平滑擴(kuò)展的存儲(chǔ)空間;跨云跨區(qū)自動(dòng)復(fù)制;掛載不受 VPC 限制,方便所有主機(jī)訪問(wèn);快照(snapshot)可用于快速恢復(fù)和數(shù)據(jù)驗(yàn)證。



          物聯(lián)網(wǎng)時(shí)代的答案 - Apache IoTDB

          我們?cè)趯W(xué)習(xí)Flink的時(shí)候,到底在學(xué)習(xí)什么?


          歡迎點(diǎn)贊+收藏+轉(zhuǎn)發(fā)朋友圈素質(zhì)三連

          文章不錯(cuò)?點(diǎn)個(gè)【在看】吧!
          瀏覽 45
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評(píng)論
          圖片
          表情
          推薦
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  国产黄色中文字幕 | 青青青草国产 | 最新后入持续输出网址 | 日韩爱爱爱 | 一级黄色片免费看 |