<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          深度:全面解析Lustre文件系統(tǒng)

          共 7922字,需瀏覽 16分鐘

           ·

          2020-12-12 01:17



          ? ? ? Lustre架構(gòu)是一種集群存儲體系結(jié)構(gòu),其核心組件就是Lustre文件系統(tǒng)。該文件系統(tǒng)可在Linux操作系統(tǒng)上運行,并提供了符合POSIX標(biāo)準(zhǔn)的UNIX文件系統(tǒng)接口。Lustre是面向集群的存儲架構(gòu),它是基于Linux平臺的開源集群(并行)文件系統(tǒng),提供與POSIX兼容的文件系統(tǒng)接口。Lustre兩個最大特征是高擴(kuò)展性和高性能,能夠支持?jǐn)?shù)萬客戶端系統(tǒng)、PB級存儲容量、數(shù)百GB的聚合I/O吞吐量。Lustre是Scale-Out存儲架構(gòu),借助強(qiáng)大的橫向擴(kuò)展能力,通過增加服務(wù)器即可方便擴(kuò)展系統(tǒng)總存儲容量和性能。


          Lustre的集群和并行架構(gòu),非常適合眾多客戶端并發(fā)進(jìn)行大文件讀寫的場合,但目前對于小文件應(yīng)用非常不適用,尤其是海量小文件應(yīng)用LOSF(Lots Of Small Files)。Lustre廣泛應(yīng)用于各種環(huán)境,目前部署最多的為高性能計算HPC,世界超級計算機(jī)TOP 10中的70%,TOP 30中的50%,TOP 100中的40%均部署了Lustre。另外,Lustre在石油、天然氣、制造、富媒體、金融等行業(yè)領(lǐng)域也被大量部署應(yīng)用。


          ? ? ?Lustre文件系統(tǒng)可運行在各種廠商的內(nèi)核上。一個Lustre文件系統(tǒng)在客戶端節(jié)點數(shù)量、磁盤存儲量、帶寬上進(jìn)行擴(kuò)大或縮小。可擴(kuò)展性和性能取決于可用磁盤、網(wǎng)絡(luò)帶寬以及系統(tǒng)中服務(wù)器的處理能力。?


          ? ? ? Lustre文件系統(tǒng)可以以多種配置進(jìn)行部署,這些配置的可擴(kuò)展性遠(yuǎn)遠(yuǎn)超出了迄今所觀察到生產(chǎn)系統(tǒng)中的規(guī)模和性能。

          ??

          Lustre文件系統(tǒng)使用改進(jìn)版的ext4日志文件系統(tǒng)來存儲數(shù)據(jù)和元數(shù)據(jù)。這個版本被命名為ldiskfs,不僅性能有所提升且提供了Lustre文件系統(tǒng)所需的附加功能。


          ? ? ? Lustre 2.4或更高版本中,可使用ZFS作為Lustre的MDT,OST和MGS存儲的后備文件系統(tǒng)。這使Lustre能夠利用ZFS的可擴(kuò)展性和數(shù)據(jù)完整性特性來實現(xiàn)單個存儲目標(biāo),Lustre文件系統(tǒng)典型特性如下。


          符合POSIX標(biāo)準(zhǔn):通過完整的POSIX測試集,像測試本地文件系統(tǒng)Ext4一樣,測試Lustre文件系統(tǒng)客戶端,只有極少量例外。在集群中,大多數(shù)操作都是原子操作,因此客戶端永遠(yuǎn)不會看到損壞的數(shù)據(jù)或元數(shù)據(jù)。Lustre軟件支持mmap()文件I / O操作。
          高性能異構(gòu)網(wǎng)絡(luò):Lustre軟件支持各種高性能低延遲的網(wǎng)絡(luò),可使用遠(yuǎn)程直接內(nèi)存訪問(RDMA)方式,實現(xiàn)在InfiniBand、Intel OmniPath等高級網(wǎng)絡(luò)上的快速高效網(wǎng)絡(luò)傳輸。可使用Lustre路由橋接多個RDMA網(wǎng)絡(luò)以獲得最佳性能。Lustre軟件同時也集成了網(wǎng)絡(luò)診斷。
          高可用性:Lustre文件系統(tǒng)通過OSTs(OSS targets)的共享存儲分區(qū)實現(xiàn)主動/主動故障切換。Lustre 2.3或更早版本通過使用MDT(MDS target)的共享存儲分區(qū)實現(xiàn)主動/被動故障切換。Lustre文件系統(tǒng)可以與各種高可用性(HA)管理器一起工作,以實現(xiàn)自動故障切換并消除了單點故障(NSPF)。這使得應(yīng)用程序透明恢復(fù)成為可能。多重掛載保護(hù)(MMP)提供了對高可用性系統(tǒng)中錯誤的綜合保護(hù),避免導(dǎo)致文件系統(tǒng)損壞。


          ? ? ? Lustre 2.4或更高版本中,可配置多個MDT的主動/主動故障切換。這允許了通過添加MDT存儲設(shè)備和MDS節(jié)點來擴(kuò)展Lustre文件系統(tǒng)的元數(shù)據(jù)性能。


          安全性:默認(rèn)情況下,TCP連接只允許授權(quán)端口通過。UNIX組成員身份在MDS上進(jìn)行驗證。
          訪問控制列表(ACL)及擴(kuò)展屬性:Lustre安全模型遵循UNIX文件系統(tǒng)原則,并使用POSIX ACL進(jìn)行增強(qiáng)。此外還有一些額外功能,如root squash。
          互操作性:Lustre文件系統(tǒng)可運行在各種CPU架構(gòu)和大小端混合的群集上,連續(xù)發(fā)布的Lustre主要軟件版本之間保持互操作性性。
          基于對象的體系結(jié)構(gòu):客戶端與磁盤文件結(jié)構(gòu)相互隔離,可在不影響客戶端的情況下升級存儲體系結(jié)構(gòu)。
          字節(jié)粒度文件鎖和細(xì)粒度元數(shù)據(jù)鎖:許多客戶端可以同時讀取和修改相同的文件或目錄。Lustre分布式鎖管理器(LDLM)確保了文件系統(tǒng)中所有客戶端和服務(wù)器之間的文件是一致的。其中,MDT鎖管理器負(fù)責(zé)管理inode權(quán)限和路徑名。每個OST都有其自己的鎖管理器,用于鎖定存儲在其上的文件條帶,其性能可隨著文件系統(tǒng)大小增長而擴(kuò)展。
          配額:用戶、組和項目配額(User、Group、Project Quota)可用于Lustre文件系統(tǒng)。
          容量增長:通過向群集添加新的OST和MDT,可以在不中斷服務(wù)的情況下增加Lustre文件系統(tǒng)的大小和集群總帶寬。
          受控文件布局:可以在每個文件,每個目錄或每個文件系統(tǒng)基礎(chǔ)上配置跨OST的文件布局。這允許了在單個文件系統(tǒng)中調(diào)整文件I/O以適應(yīng)特定的應(yīng)用程序要求。Lustre文件系統(tǒng)使用RAID-0進(jìn)行條帶化并可在OST之間調(diào)節(jié)空間使用大小。
          網(wǎng)絡(luò)數(shù)據(jù)完整性保護(hù):從客戶端發(fā)送到OSS的所有數(shù)據(jù)的校驗和可防止數(shù)據(jù)在傳輸期間被損壞。
          MPI I/O:Lustre架構(gòu)具有專用的MPI ADIO層,優(yōu)化了并行I/O以匹配基礎(chǔ)文件系統(tǒng)架構(gòu)。
          NFS和CIFS導(dǎo)出:可以使用NFS(通過Linux knfsd)或CIFS(通過Samba)將Lustre文件重新導(dǎo)出,使其可以與非Linux客戶端(如Microsoft Windows和Apple Mac OS X)共享。
          災(zāi)難恢復(fù)工具:Lustre文件系統(tǒng)提供在線分布式文件系統(tǒng)檢查(LFSCK),當(dāng)發(fā)生主要文件系統(tǒng)錯誤的情況下恢復(fù)存儲組件之間的一致性。Lustre文件系統(tǒng)在存在文件系統(tǒng)不一致的情況下也可以運行,而LFSCK可以在文件系統(tǒng)正在使用時運行,因此LFSCK不需要在文件系統(tǒng)恢復(fù)生產(chǎn)之前完成。
          性能監(jiān)視:Lustre文件系統(tǒng)提供了多種機(jī)制來檢查性能和進(jìn)行調(diào)整。
          開放源代碼:為在Linux操作系統(tǒng)上運行,Lustre軟件使用GPL 2.0許可證。


          ? ? ? 一個Lustre安裝實例包括管理服務(wù)器(MGS)和一個或多個與Lustre網(wǎng)絡(luò)(LNet)互連的Lustre文件系統(tǒng)。Lustre文件系統(tǒng)組件的基本配置如下圖所示:



          管理服務(wù)器(MGS):MGS存儲集群中所有Lustre文件系統(tǒng)的配置信息,并將此信息提供給其他Lustre組件。每個Lustre目標(biāo)(target)通過聯(lián)系MGS提供信息,而Lustre客戶通過聯(lián)系MGS獲取信息。MGS最好有自己的存儲空間,以便可以獨立管理。但同時,MGS可以與MDS放在一起,并共享存儲空間,如上圖中所示。

          元數(shù)據(jù)服務(wù)器(MDS): MDS使存儲在一個或多個MDT中的元數(shù)據(jù)可供Lustre客戶端使用。每個MDS管理Lustre文件系統(tǒng)中的名稱和目錄,并為一個或多個本地MDT提供網(wǎng)絡(luò)請求處理。
          元數(shù)據(jù)目標(biāo)(MDT): 在Lustre 2.3或更早版本中,每個文件系統(tǒng)只有一個MDT。MDT在MDS的附加存儲上存儲元數(shù)據(jù)(例如文件名,目錄,權(quán)限和文件布局)。雖然共享存儲目標(biāo)上的MDT可用于多個MDS,但一次只能有一個MDS可以訪問。如果當(dāng)前MDS發(fā)生故障,則備用MDS可以為MDT提供服務(wù),并將其提供給客戶端。這被稱為MDS故障切換。


          ? ? ? 在Lustre 2.4中,分布式命名空間環(huán)境(DNE)中可支持多個MDT。除保存文件系統(tǒng)根目錄的主MDT之外,還可以添加其他MDS節(jié)點,每個MDS節(jié)點都有自己的MDT,以保存文件系統(tǒng)的子目錄樹。在Lustre 2.8中,DNE還允許文件系統(tǒng)將單個目錄的文件分布到多個MDT節(jié)點。分布在多個MDT上的目錄稱為條帶化目錄。


          對象存儲服務(wù)器(OSS):OSS為一個或多個本地OST提供文件I / O服務(wù)和網(wǎng)絡(luò)請求處理。通常,OSS服務(wù)于兩個到八個OST,每個最多16TB;在專用節(jié)點上配置一個MDT;在每個OSS節(jié)點上配置兩個或更多OST;而在大量計算節(jié)點上配置客戶端。
          對象存儲目標(biāo)(OST):用戶文件數(shù)據(jù)存儲在一個或多個對象中,每個對象位于Lustre文件系統(tǒng)的單獨OST中。每個文件的對象數(shù)由用戶配置,并可根據(jù)工作負(fù)載情況調(diào)試到最優(yōu)性能。
          Lustre客戶端:Lustre客戶端是運行Lustre客戶端軟件的計算、可視化或桌面節(jié)點,可掛載Lustre文件系統(tǒng)。


          ? ? ? Lustre客戶端軟件為Linux虛擬文件系統(tǒng)和Lustre服務(wù)器之間提供了接口。客戶端軟件包括一個管理客戶端(MGC),一個元數(shù)據(jù)客戶端(MDC)和多個對象存儲客戶端(OSC)。每個OSC對應(yīng)于文件系統(tǒng)中的一個OST。


          ? ? ? 邏輯對象卷(LOV)通過聚合OSC以提供對所有OST的透明訪問。因此,掛載了Lustre文件系統(tǒng)的客戶端會看到一個連貫的同步名字空間。多個客戶端可以同時寫入同一文件的不同部分,而其他客戶端可以同時讀取文件。


          ? ? ? 與LOV文件訪問方式類似,邏輯元數(shù)據(jù)卷(LMV)通過聚合MDC提供一種對所有MDT透明的訪問。這使得了客戶端可將多個MDT上的目錄樹視為一個單一的連貫名字空間,并將條帶化目錄合并到客戶端形成一個單一目錄以便用戶和應(yīng)用程序查看。



          ? ? ? Lustre Networking(LNet)是一種定制網(wǎng)絡(luò)API,提供處理Lustre文件系統(tǒng)服務(wù)器和客戶端的元數(shù)據(jù)和文件I/O數(shù)據(jù)的通信基礎(chǔ)設(shè)施。


          Lustr文件系統(tǒng)在規(guī)模上,一個Lustre文件系統(tǒng)集群可以包含數(shù)百個OSS和數(shù)千個客戶端(如下圖所示)。Lustre集群中可以使用多種類型的網(wǎng)絡(luò),OSS之間的共享存儲啟用故障切換功能。



          Lustre文件系統(tǒng)存儲與I/O,在 Lustre 2.0?中引入了Lustre文件標(biāo)識符(FID)來替換用于識別文件或?qū)ο蟮腢NIX inode編號。FID是一個128位的標(biāo)識符,其中,64位用于存儲唯一的序列號,32位用于存儲對象標(biāo)識符(OID),另外32位用于存儲版本號。序列號在文件系統(tǒng)(OST和MDT)中的所有Lustre目標(biāo)中都是唯一的。這一改變使未來支持多種 MDT 和ZFS(均在Lustre 2.4中引入)成為了可能。


          ? ? ? 同時,在此版本中也引入了一個名為FID-in-dirent(也稱為Dirdata)的ldiskfs功能,F(xiàn)ID作為文件名稱的一部分存儲在父目錄中。該功能通過減少磁盤I/O顯著提高了ls命令執(zhí)行的性能。FID-in-dirent是在創(chuàng)建文件時生成的。


          ? ? ? 在 Lustre 2.4 中,LFSCK文件系統(tǒng)一致性檢查工具提供了對現(xiàn)有文件啟用FID-in-dirent的功能。具體如下:


          • 為1.8版本文件系統(tǒng)上現(xiàn)有文件生成IGIF模式的FID。

          • 驗證每個文件的FID-in-dirent,如其無效或丟失,則重新生成FID-in-dirent。

          • 驗證每個linkEA條目,如其無效或丟失,則重新生成。linkEA由文件名和父類FID組成,它作為擴(kuò)展屬性存儲在文件本身中。因此,linkEA可以用來重建文件的完整路徑名。


            ? ? ? 有關(guān)文件數(shù)據(jù)在OST上的位置信息將作為擴(kuò)展屬性布局EA,存儲在由FID標(biāo)識的MDT對象中(具體如下圖所示)。若該文件是普通文件(即不是目錄或符號鏈接),則MDT對象1對N地指向包含文件數(shù)據(jù)的OST對象。若該MDT文件指向一個對象,則所有文件數(shù)據(jù)都存儲在該對象中。若該MDT文件指向多個對象,則使用RAID 0將文件數(shù)據(jù)劃分為多個對象,將每個對象存儲在不同的OST上。



            ? ? ? 當(dāng)客戶端讀寫文件時,首先從文件的MDT對象中獲取布局EA,然后使用這個信息在文件上執(zhí)行I / O,直接與存儲對象的OSS節(jié)點進(jìn)行交互。具體過程如下圖所示。




            (1)寫性能優(yōu)于讀性能:Lustre系統(tǒng)中通常寫性能會優(yōu)于讀性能。首先,對于寫操作,客戶端是以異步方式執(zhí)行的,RPC調(diào)用分配以及寫入磁盤順序按到達(dá)順序執(zhí)行,可以實現(xiàn)聚合寫以提高效率。而對于讀,請求可能以不同的順序來自多個客戶端,需要大量的磁盤seek與read操作,顯著影響吞吐量。
            其次,目前Lustre沒有實現(xiàn)OST read cache,僅僅在客戶端實現(xiàn)了Readahead。這樣的設(shè)計也是有充分理由的,每個OST有可能會有大量客戶端并發(fā)訪問,如果進(jìn)行數(shù)據(jù)預(yù)讀,內(nèi)存消耗將會非常大,而且這個是不可控制的。Writecache是在客戶端上實現(xiàn)的,內(nèi)存占用不會太大并且是可控的。再者,對于TCP/IP網(wǎng)絡(luò)而言,讀會占用更多的CPU資源。讀操作,Lustre需要從網(wǎng)絡(luò)接口緩存進(jìn)行數(shù)據(jù)Copy而獲得所需數(shù)據(jù),而寫操作可以通過sendfile或Zero Copy避免額外的數(shù)據(jù)復(fù)制。

            (2)大文件性能表現(xiàn)好:Lustre的元數(shù)據(jù)與數(shù)據(jù)分離、數(shù)據(jù)分片策略、數(shù)據(jù)緩存和網(wǎng)絡(luò)設(shè)計非常適合大文件順序I/O訪問,大文件應(yīng)用下性能表現(xiàn)非常好。這些設(shè)計著眼于提高數(shù)據(jù)訪問的并行性,實現(xiàn)極大的聚合I/O帶寬,這其中關(guān)鍵得益于數(shù)據(jù)分片設(shè)計(具體見上面的分析)。另外,后端改進(jìn)的EXT3文件系統(tǒng)本身也非常適合大文件I/O。

            (3)小文件性能表現(xiàn)差:然而,Lustre的設(shè)計卻非常不利于小文件I/O,尤其是LOSF(Lots of small files)。Lustre在讀寫文件前需要與MDS交互,獲得相關(guān)屬性和對象位置信息。與本地文件系統(tǒng)相比,增加了一次額外的網(wǎng)絡(luò)傳輸和元數(shù)據(jù)訪問開銷,這對于小文件I/O而言,開銷是相當(dāng)大的。對于大量頻繁的小文件讀寫,Lustre客戶端Cache作用會失效,命中率大大降低。
            如果文件小于物理頁大小,則還會產(chǎn)生額外的網(wǎng)絡(luò)通信量,小文件訪問越頻繁開銷越大,對Lustre總體I/O性能影響就越大。OST后端采用改進(jìn)的EXT3文件系統(tǒng),它對小文件的讀寫性能本身就不好,其元數(shù)據(jù)訪問效率不高,磁盤尋址延遲和磁盤碎片問題嚴(yán)重。這也是大多數(shù)磁盤文件系統(tǒng)的缺點,Reiserfs是針對小文件設(shè)計的文件系統(tǒng),性能表現(xiàn)要好很多。Lustre的設(shè)計決定了它對小文件I/O性能表現(xiàn)差,實際I/O帶寬遠(yuǎn)低于所提供的最大帶寬。在4個OSS的千兆網(wǎng)絡(luò)配置下,單一客戶端小文件讀寫性能不到4MB/s。


            Lustre文件系統(tǒng)的可用帶寬如下:
            • 網(wǎng)絡(luò)帶寬等于OSS到目標(biāo)的總帶寬。

            • 磁盤帶寬等于存儲目標(biāo)(OST)的磁盤帶寬總和,受網(wǎng)絡(luò)帶寬限制。

            • 總帶寬等于磁盤帶寬和網(wǎng)絡(luò)帶寬的最小值。

            • 可用的文件系統(tǒng)空間等于所有OST的可用空間總和。


            ? ? ? Lustre文件系統(tǒng)高性能的主要原因之一是能夠以輪詢方式跨多個OST將數(shù)據(jù)條帶化。用戶可根據(jù)需要為每個文件配置條帶數(shù)量,條帶大小和OST。當(dāng)單個文件的總帶寬超過單個OST的帶寬時,可以使用條帶化來提高性能。同時,當(dāng)單個OST沒有足夠的可用空間來容納整個文件時,條帶化也能發(fā)揮它的作用。


            ? ? ? 如圖下圖所示,條帶化允許將文件中的數(shù)據(jù)段或“塊”存儲在不同的OST中。在Lustre文件系統(tǒng)中,通過RAID 0模式將數(shù)據(jù)在一定數(shù)量的對象上進(jìn)行條帶化。一個文件中處理的對象數(shù)稱為stripe_count。每個對象包含文件中的一個數(shù)據(jù)塊,當(dāng)寫入特定對象的數(shù)據(jù)塊超過stripe_size時,文件中的下一個數(shù)據(jù)塊將存儲在下一個對象上。stripe_count和stripe_size的默認(rèn)值由為文件系統(tǒng)設(shè)置的,其中,stripe_count為1,stripe_size為1MB。用戶可以在每個目錄或每個文件上更改這些值。


            ? ? ? 下圖中,文件C的stripe_size大于文件A的stripe_size,表明更多的數(shù)據(jù)被允許存儲在文件C的單個條帶中。文件A的stripe_count為3,則數(shù)據(jù)在三個對象上條帶化。文件B和文件C的stripe_count是1。OST上沒有為未寫入的數(shù)據(jù)預(yù)留空間。



            ? ? ? 最大文件大小不受單個目標(biāo)大小的限制。在Lustre文件系統(tǒng)中,文件可以跨越多個對象(最多2000個)進(jìn)行分割,每個對象可使用多達(dá)16 TB的ldiskfs,多達(dá)256PB的ZFS。也就是說,ldiskfs的最大文件大小為31.25 PB,ZFS的最大文件大小為8EB。Lustre文件系統(tǒng)上的文件大小受且僅受OST上可用空間的限制,Lustre最大可支持2 ^ 63字節(jié)(8EB)的文件。


            ? ? ? 注意: Lustre 2.2之前,單個文件的最大條帶數(shù)為160個OST。盡管一個文件只能被分割成2000個以上的對象,但是Lustre文件系統(tǒng)可以有數(shù)千個。


            ? ? ?實際上前面已經(jīng)提到,Lustre并不適合小文件I/O應(yīng)用,性能表現(xiàn)非常差。因此,建議不要將Lustre應(yīng)用于LOSF場合。不過,Lustre操作手冊仍然給出了一些針對小文件的優(yōu)化措施。?


            1、通過應(yīng)用聚合讀寫提高性能,比如對小文件進(jìn)行Tar,或創(chuàng)建大文件或通過loopback mount來存儲小文件。小文件系統(tǒng)調(diào)用開銷和額外的I/O開銷非常大,應(yīng)用聚合優(yōu)化可以顯著提高性能。另外,可以使用多節(jié)點、多進(jìn)程/多線程盡可能通過聚合來提高I/O帶寬。?
            2、應(yīng)用采用O_DIRECT方式進(jìn)行直接I/O,讀寫記錄大小設(shè)置為4KB,與文件系統(tǒng)保持一致。對輸出文件禁用locking,避免客戶端之間的競爭。?
            3、應(yīng)用程序盡量保證寫連續(xù)數(shù)據(jù),順序讀寫小文件要明顯優(yōu)于隨機(jī)小文件I/O。?
            4、OST采用SSD或更多的磁盤,提高IOPS來改善小文件性能。創(chuàng)建大容量OST,而非多個小容量OST,減少日志、連接等負(fù)載。?
            5、OST采用RAID 1+0替代RAID 5/6,避免頻繁小文件I/O引起的數(shù)據(jù)校驗開銷。


            ? ? ?Lustre提供了強(qiáng)大的系統(tǒng)監(jiān)控與控制接口用于進(jìn)行性能分析與調(diào)優(yōu),對于小文件I/O,也可以通過調(diào)整一些系統(tǒng)參數(shù)進(jìn)行優(yōu)化。


            禁用所有客戶端LNET debug功能:缺省開啟多種調(diào)試信息,sysctl -w lnet.debug=0,減少系統(tǒng)開銷,但發(fā)生錯誤時將無LOG可詢。?
            增加客戶端Dirty Cache大小:lctl set_param osc./*.max_dirty_mb=256,缺省為32MB,增大緩存將提升I/O性能,但數(shù)據(jù)丟失的風(fēng)險也隨之增大。?
            使用loopback mount文件:創(chuàng)建大Lustre文件,與loop設(shè)備關(guān)聯(lián)并創(chuàng)建文件系統(tǒng),然后將其作為文件系統(tǒng)進(jìn)行mount。小文件作用其上,則原先大量的MDS元數(shù)據(jù)操作將轉(zhuǎn)換為OSS讀寫操作,消除了元數(shù)據(jù)瓶頸,可以顯著提高小文件性能。這種方法應(yīng)用于scratch空間可行,但對于生產(chǎn)數(shù)據(jù)應(yīng)該謹(jǐn)慎使用,因為Lustre目前工作在這種模式下還存在問題。


            相關(guān)閱讀:GPFS并行文件系統(tǒng)原理解析





            轉(zhuǎn)載申明:轉(zhuǎn)載本號文章請注明作者來源,本號發(fā)布文章若存在版權(quán)等問題,請留言聯(lián)系處理,謝謝。


            推薦閱讀

            更多架構(gòu)相關(guān)技術(shù)知識總結(jié)請參考“架構(gòu)師技術(shù)全聯(lián)盟書店”相關(guān)電子書(35本技術(shù)資料打包匯總詳情可通過“閱讀原文”獲取)。

            內(nèi)容持續(xù)更新,現(xiàn)下單“架構(gòu)師技術(shù)全店打包匯總(全)”,后續(xù)可享全店內(nèi)容更新“免費”贈閱,格僅收188元(原總價270元)。



            溫馨提示:

            掃描二維碼關(guān)注公眾號,點擊閱讀原文鏈接獲取架構(gòu)師技術(shù)全店資料打包匯總(全)電子書資料詳情


            瀏覽 395
            點贊
            評論
            收藏
            分享

            手機(jī)掃一掃分享

            分享
            舉報
            評論
            圖片
            表情
            推薦
            點贊
            評論
            收藏
            分享

            手機(jī)掃一掃分享

            分享
            舉報
            <kbd id="afajh"><form id="afajh"></form></kbd>
            <strong id="afajh"><dl id="afajh"></dl></strong>
              <del id="afajh"><form id="afajh"></form></del>
                  1. <th id="afajh"><progress id="afajh"></progress></th>
                    <b id="afajh"><abbr id="afajh"></abbr></b>
                    <th id="afajh"><progress id="afajh"></progress></th>
                    日本黄在线播放 | 久久免费福利视频 | 肏屄在线看| 99在线这里只有精品 | 爆乳操逼|