基于Librados的流量治理方案

1 需求背景&現(xiàn)狀

需要自己實(shí)現(xiàn)一套類似RGW的對(duì)象存儲(chǔ)服務(wù)，解耦元數(shù)據(jù)存儲(chǔ)到獨(dú)立的數(shù)據(jù)庫服務(wù)(如TiDB)，同時(shí)提供跨Ceph集群的數(shù)據(jù)讀寫能力，實(shí)現(xiàn)橫向擴(kuò)展和跨集群級(jí)別的容災(zāi)。

TCP長(zhǎng)連接數(shù)

每個(gè)LibRados客戶端會(huì)話都會(huì)與對(duì)應(yīng)的ceph集群多個(gè)服務(wù)角色建立TCP連接，而且目前這個(gè)TCP是長(zhǎng)連接，無法進(jìn)行Keep-alive一類的設(shè)置。
以寫入一個(gè)對(duì)象數(shù)據(jù)到Ceph集群為例，client會(huì)先和mgr和mon建立通信，獲取對(duì)應(yīng)的osd/pg map相關(guān)記錄，之后根據(jù)拿到的最新map記錄，使用crush算法計(jì)算出最終需要進(jìn)行數(shù)據(jù)I/O交互的主OSD，最后再與對(duì)應(yīng)的主OSD進(jìn)行通信。這里有個(gè)關(guān)鍵點(diǎn)就是OSD一旦與客戶端建立通信連接以后，這個(gè)TCP連接會(huì)一直保持，因此隨著集群內(nèi)其他OSD與客戶端不斷進(jìn)行數(shù)據(jù)交互，這樣的客戶端到OSD的TCP長(zhǎng)連接會(huì)越來越多。同理，隨著客戶端的數(shù)量越來越多，每個(gè)OSD上面維護(hù)的TCP連接也會(huì)越來越多，因此需要對(duì)整個(gè)系統(tǒng)中的客戶端到OSD的TCP連接數(shù)進(jìn)行控制，以減少OSD的開銷。

數(shù)據(jù)請(qǐng)求的跨集群路由

整個(gè)系統(tǒng)的數(shù)據(jù)寫入會(huì)分布在不同的Ceph集群，因此需要在入口側(cè)進(jìn)行數(shù)據(jù)流量的按集群拆分。但是如果每個(gè)入口Router節(jié)點(diǎn)如果都作為客戶端使用Librados連接到具體的集群，一方面會(huì)加重Router的設(shè)計(jì)復(fù)雜度，另外也會(huì)在后續(xù)的部署過程中，需要將Router就近接入到對(duì)應(yīng)的集群才能減少網(wǎng)絡(luò)波動(dòng)帶來的可靠性影響。

2 解決思路

gRPC代理模型

將全部的librados的請(qǐng)求封裝成gRPC服務(wù)，按集群維度來構(gòu)建多個(gè)gRPC連接池，每個(gè)連接池維持與Ceph集群的長(zhǎng)連接，同時(shí)提供Proxy來實(shí)現(xiàn)負(fù)載均衡和服務(wù)的冗余。客戶端請(qǐng)求一般以短連接方式與Proxy進(jìn)行通信(也可以設(shè)置keealive來實(shí)現(xiàn)長(zhǎng)連接)，客戶端通信完成以后就釋放對(duì)應(yīng)的TCP連接。

效果圖

歡迎訂閱本公眾號(hào)cephbook，干貨滿滿，專業(yè)老司機(jī)教你搞"對(duì)象"存儲(chǔ)!