TimeTunnel實(shí)時數(shù)據(jù)傳輸平臺
什么是TimeTunnel
!TimeTunnel(簡稱TT)是一個基于thrift通訊框架搭建的實(shí)時數(shù)據(jù)傳輸平臺,具有高性能、實(shí)時性、順序性、高可靠性、高可用性、可擴(kuò)展性等特點(diǎn)。
高性能
2k大小的消息,峰值每秒4w TPS的訪問。淘寶3臺服務(wù)器,每天處理2.3T(壓縮后)數(shù)據(jù),峰值每秒50MByte流入流量、130MByte流出流量
實(shí)時性
90%的消息5ms以內(nèi)送達(dá)
順序性
如果你開啟了順序傳輸功能,timetunnel保證消息的發(fā)布順序和訂閱順序是一致的
高可靠性
存儲方面,我們設(shè)計了內(nèi)存->磁盤->hadoop dfs三級緩存機(jī)制,確保數(shù)據(jù)可靠。 系統(tǒng)方面,我們將服務(wù)器節(jié)點(diǎn)組織成環(huán),在環(huán)里面每一個節(jié)點(diǎn)的后續(xù)節(jié)點(diǎn)是當(dāng)前節(jié)點(diǎn)的備份節(jié)點(diǎn),當(dāng)某節(jié)點(diǎn)故障時,后續(xù)節(jié)點(diǎn)自動接管故障節(jié)點(diǎn)數(shù)據(jù),以保證數(shù)據(jù)可靠性
高可用性
單個節(jié)點(diǎn)故障,不影響系統(tǒng)正常運(yùn)行
可擴(kuò)展性
可以對系統(tǒng)進(jìn)行橫向和縱向擴(kuò)展,橫向擴(kuò)展可以向現(xiàn)有的服務(wù)環(huán)里面增加節(jié)點(diǎn),縱向擴(kuò)展可以增加服務(wù)環(huán)
誰使用TimeTunnel
目前TimeTunnel在淘寶廣泛的應(yīng)用于日志收集、數(shù)據(jù)監(jiān)控、廣告反饋、量子統(tǒng)計、數(shù)據(jù)庫同步等領(lǐng)域。
