網(wǎng)易數(shù)帆宣布：
開源一款名為Curve的高性能分布式存儲系統(tǒng)，
性能可達Ceph的1.84倍！
網(wǎng)易副總裁、網(wǎng)易杭州研究院執(zhí)行院長兼網(wǎng)易數(shù)帆總經(jīng)理汪源：
基礎(chǔ)軟件的能力對于數(shù)字化轉(zhuǎn)型非常關(guān)鍵，當前存儲領(lǐng)域需要一款性能更高、可用性/可靠性更好、自治能力更強的分布式存儲系統(tǒng)，Curve的開源不僅代表網(wǎng)易數(shù)帆在基礎(chǔ)軟件市場的堅持，也為軟件定義基礎(chǔ)設(shè)施生態(tài)的繁榮再添一把火。
采用先進架構(gòu)設(shè)計
單卷性能1.84倍于Ceph
Curve的定位，是提供一個高性能、低延遲的存儲底座，基于這個存儲底座，企業(yè)可以打造適用于不同應(yīng)用場景的存儲系統(tǒng)，如塊存儲、對象存儲、云原生數(shù)據(jù)庫等。目前，網(wǎng)易數(shù)帆已經(jīng)實現(xiàn)了高性能塊存儲系統(tǒng)。
汪源介紹，Curve主要具有三大設(shè)計特點：高性能、高可用和自治。
高性能源自先進架構(gòu)。Curve參考了業(yè)界的存儲系統(tǒng)，采用先進、高效的開源技術(shù)，設(shè)計了一個新架構(gòu)實現(xiàn)高性能低延遲的核心能力，采用高性能的RPC框架來保障網(wǎng)絡(luò)數(shù)據(jù)流的高性能和低延遲，基于Raft協(xié)議實現(xiàn)多副本一致性下的低延遲，并針對Raft協(xié)議的快照實現(xiàn)進一步優(yōu)化。磁盤IO方面，Curve通過更細粒度的地址空間的hash減少IO碰撞，增加IO并發(fā)度，并采用chunkfilepool減小IO放大倍數(shù)，從而最大限度地發(fā)揮硬件的性能。
汪源公布了Curve和CephL版本的測試數(shù)據(jù)對比，在單卷的場景下，核心的4K隨機讀/寫的IOPS性能，Curve分別是Ceph的1.84倍和1.58倍，同時延遲相比Ceph分別降低48.39%和37.50%。
他在采訪中透露，Curve還有一些創(chuàng)新的性能優(yōu)化工作尚未完成，如細粒度哈希、io_uring落盤方案，預(yù)計完成優(yōu)化之后下個版本還會有30%的性能提升。換句話說，Curve單卷性能將會達到Ceph的2倍以上。性能差異來自架構(gòu)設(shè)計的不同選擇，分布式一致性Curve采用了Quorum機制，而Ceph實現(xiàn)強一致性，前者延遲優(yōu)于后者，而且可以在不太影響IO性能的情況下能從故障中快速恢復(fù)。
Curve與Ceph性能測試對比
高可用方面，Curve被設(shè)計為核心組件都能容忍部分實例失敗而不影響整個集群的可用性。汪源介紹，無論是單臺存儲故障，還是系統(tǒng)擴容，Curve的客戶端IO都不會受到絲毫的影響，插拔硬盤、服務(wù)進程中斷這些常見異常，IO抖動也很小。當然，故障恢復(fù)過程對上層IO也不會造成明顯影響。
此外，在自治方面，Curve實現(xiàn)了一鍵部署、一鍵升級，運維只要很少的人工干預(yù)，并基于Promethues和Grafana等開源技術(shù)打造了全面的度量標準和告警體系。
回饋開源
強化軟件定義基礎(chǔ)設(shè)施短板
基于Curve的高性能塊存儲系統(tǒng)已經(jīng)作為應(yīng)用在網(wǎng)易的一些核心業(yè)務(wù)中，支持快照克隆和恢復(fù)， 支持QEMU虛擬機和物理機NBD設(shè)備兩種掛載方式。
系統(tǒng)上線至今400多天，從未出現(xiàn)數(shù)據(jù)不一致和丟數(shù)據(jù)的情況，沒有發(fā)生過重大故障，數(shù)據(jù)可靠性達到100%，服務(wù)可用率達到4個9以上。線上環(huán)境的異常演練，也證實了異常對業(yè)務(wù)的影響如上文所述。但對于網(wǎng)易數(shù)帆來說，這個成績只是Curve征途的開始。
鑒于目前開源領(lǐng)域還沒有足夠高性能和低延遲的分布式存儲系統(tǒng)，汪源宣布，把網(wǎng)易數(shù)帆Curve開源出來，回饋社區(qū)，讓業(yè)界一起來使用它，也希望大家一起參與把Curve打造得越來越好。
Curve項目的最新穩(wěn)定版本已經(jīng)上傳到Github，并提供了部署文檔。作為生長于中國本土的項目，Curve首先提供中文文檔，希望降低中文用戶嘗鮮的門檻。對Curve感興趣的朋友，可以通過opencurve.github.io獲取更多信息啦
