“TB 級分布式持久性內(nèi)存文件系統(tǒng)[簡稱：DPFS]V1.0”是一套面向大數(shù)據(jù)典型應用場景、支持可擴展網(wǎng)絡服務的計算機系統(tǒng)軟件，系統(tǒng)遵循 POSIX 語義規(guī)范，實現(xiàn)帶寬線性可擴，系統(tǒng)故障可恢復，具備高吞吐低延遲等特性，能夠有效支持高帶寬視頻播放服務中海量小文件的存取處理需求和讀偏斜的高性能業(yè)務流。

圖1 DPFS多節(jié)點分散式PM架構(gòu)

DPFS節(jié)點分散式PM架構(gòu)，其專為配備了持久內(nèi)存和RDMA網(wǎng)絡的集群而設計，使用戶在高性能設備下體驗高效文件服務：

• 通過將文件數(shù)據(jù)放在應用程序端的持久內(nèi)存中，充分利用數(shù)據(jù)的局部性，以提高整體性能并減輕網(wǎng)絡流量負載，DPFS針對不同的通信場景，充分利用單邊和雙邊RDMA原語實現(xiàn)高效可擴展性。
• DPFS設計了RDMA請求批處理和RPC分類模式，在文件傳輸期間實現(xiàn)高吞吐量。將RPC請求分為同步和異步類型，降低網(wǎng)絡開銷。
• 實現(xiàn)低開銷文件傳輸，利用文件日志來實現(xiàn)差異文件更新以同步陳舊文件。在文件更新和節(jié)點恢復期間，本地文件通過單側(cè)RDMA讀取以差分方式同步到遠程節(jié)點的最新版本上，從而顯著提升文件傳輸效率。
• 構(gòu)建輕量級一致性機制，沒有中央元數(shù)據(jù)服務器來仲裁并發(fā)文件更新，使用鎖的方式來授權(quán)文件寫入權(quán)限，通過RDMA使用Compare-And-Swap（CAS）操作來交換token，從而最大程度地減少相關開銷。

• DPFS系統(tǒng)使用方法

DPFS使用環(huán)境包含但不限于以下環(huán)境（注：該配置為推薦配置）：

安裝流程見用戶操作文檔鏈接：https://gitee.com/ShanghaiChina/dpfs/blob/master/README.md

下圖為系統(tǒng)掛載及部分簡單操作：

圖2 系統(tǒng)掛載及操作

• 系統(tǒng)性能介紹

DPFS分布式文件系統(tǒng)的8 節(jié)點讀，寫帶寬可達到 80GB/s，64GB/s，其元數(shù)據(jù)吞吐率達到 100 萬 IOPS，高效承載高清視頻網(wǎng)絡電視服務應用。(注：該性能為環(huán)境配置表格對應軟硬件配置所得系統(tǒng)性能)。

圖3 DPFS讀性能

圖4 DPFS寫性能