自建分布式存儲新選擇，性能是Ceph的1.84倍

點(diǎn)擊上方藍(lán)色“程序猿DD”，選擇“設(shè)為星標(biāo)”

回復(fù)“資源”獲取獨(dú)家整理的學(xué)習(xí)資料！

7月16日，網(wǎng)易公司旗下云服務(wù)商網(wǎng)易數(shù)帆宣布開源一款名為 Curve 的高性能分布式存儲系統(tǒng)，官方稱其性能可達(dá) Ceph 的 1.84 倍。

官方介紹，Curve 的定位是提供一個高性能、低延遲的存儲底座，基于這個存儲底座，企業(yè)可以打造適用于不同應(yīng)用場景的存儲系統(tǒng)，如塊存儲、對象存儲、云原生數(shù)據(jù)庫等。目前，網(wǎng)易數(shù)帆已經(jīng)實(shí)現(xiàn)了高性能塊存儲系統(tǒng)。根據(jù)項(xiàng)目文檔介紹，Curve 主要具有三大特性：高性能、高可用和自治。

高性能：Curve 團(tuán)隊(duì)參考了業(yè)界一些高效的開源存儲系統(tǒng)，設(shè)計(jì)了一個新架構(gòu)以實(shí)現(xiàn)高性能低延遲的核心能力。采用 brpc 保證網(wǎng)絡(luò)數(shù)據(jù)流的高性能和低延遲，基于 braft 實(shí)現(xiàn)多副本一致性下的低延遲，并對 braft 的快照實(shí)現(xiàn)進(jìn)行了進(jìn)一步的優(yōu)化。磁盤 IO 方面，Curve 通過更細(xì)粒度的地址空間的 hash 減少 IO 碰撞，增加 IO 并發(fā)度，并采用 chunkfilepool 減小 IO 放大倍數(shù)，從而最大限度地發(fā)揮硬件的性能。

網(wǎng)易公布了 Curve 和 Ceph L 版本的測試數(shù)據(jù)對比，在單卷的場景下，核心的 4K 隨機(jī)讀/寫的IOPS 性能，Curve 分別是 Ceph 的 1.84 倍和 1.58 倍，同時(shí)延遲相比 Ceph 分別降低 48.39%和 37.50%。

圖：Curve與Ceph性能測試對比

高可用：Curve 被設(shè)計(jì)為核心組件都能容忍部分實(shí)例失敗而不影響整個集群的可用性。網(wǎng)易介紹，無論是單臺存儲故障，還是系統(tǒng)擴(kuò)容，Curve 的客戶端 IO 都不會受到影響，插拔硬盤、服務(wù)進(jìn)程中斷這些常見異常，IO 抖動也很小。當(dāng)然，故障恢復(fù)過程對上層 IO 也不會造成明顯影響。

自治：Curve 可實(shí)現(xiàn)一鍵部署、一鍵升級，運(yùn)維只要很少的人工干預(yù)，并基于 bvar、Promethues 和 Grafana 等開源項(xiàng)目打造了全面的度量標(biāo)準(zhǔn)和告警體系。

目前，基于 Curve 的高性能塊存儲系統(tǒng)已經(jīng)應(yīng)用在網(wǎng)易的一些核心業(yè)務(wù)中，支持快照克隆和恢復(fù), 支持 QEMU 虛擬機(jī)和物理機(jī) NBD 設(shè)備兩種掛載方式。網(wǎng)易介紹，系統(tǒng)上線至今 400 多天，尚未出現(xiàn)數(shù)據(jù)不一致和丟數(shù)據(jù)的情況，也沒有發(fā)生過重大故障，具備相當(dāng)?shù)目煽啃院统墒於取?/span>

網(wǎng)易透露，Curve 目前還有一些創(chuàng)新的性能優(yōu)化工作尚未完成，如細(xì)粒度哈希、io_uring 落盤方案，項(xiàng)目團(tuán)隊(duì)下一階段的主要任務(wù)就是解決這些問題，預(yù)計(jì)完成優(yōu)化之后下個版本還會有 30% 的性能提升。

鑒于目前開源領(lǐng)域還沒有足夠高性能和低延遲的分布式存儲系統(tǒng)，網(wǎng)易數(shù)帆方面表示希望把 Curve 開源出來，回饋社區(qū)，讓業(yè)界一起來使用它，也希望大家一起參與把 Curve 打造得越來越好。

歡迎加入我的知識星球，聊技術(shù)、說職場、侃社會。

我的星球是否適合你？

點(diǎn)擊閱讀原文看看我們都聊過啥？