DTLE分布式數(shù)據(jù)傳輸中間件
DTLE是什么?
DTLE是一個開源的數(shù)據(jù)傳輸中間件,其針對的核心場景如下:
跨數(shù)據(jù)中心的數(shù)據(jù)傳輸:DTLE能在數(shù)據(jù)中心間進行可靠數(shù)據(jù)傳輸,并提供鏈路壓縮以降低傳輸成本
云間數(shù)據(jù)同步/遷移:DTLE能提供在公有云間架設(shè)數(shù)據(jù)同步通道,以支持?jǐn)?shù)據(jù)容災(zāi)等需求
數(shù)據(jù)匯聚:DTLE能將多個數(shù)據(jù)源匯聚到同一個數(shù)據(jù)源,以提供數(shù)據(jù)分析/數(shù)據(jù)轉(zhuǎn)儲的功能
數(shù)據(jù)訂閱:DTLE能將數(shù)據(jù)源的變更消息發(fā)往Kafka等消息中間件,以支持?jǐn)?shù)據(jù)訂閱通知/緩存失效通知等需求
跨數(shù)據(jù)中心的雙向復(fù)制:DTLE能在數(shù)據(jù)中心間提供雙向復(fù)制通道,以配合業(yè)務(wù)實現(xiàn)數(shù)據(jù)雙寫
DTLE的設(shè)計特點
分布式架構(gòu):DTLE在數(shù)據(jù)傳輸這個基本場景上,使用了成熟的分布式任務(wù)調(diào)度架構(gòu),可以便捷地在集群中配置大量的數(shù)據(jù)傳輸任務(wù),提供斷點續(xù)傳/故障轉(zhuǎn)移等分布式系統(tǒng)的重要特性
靈活的網(wǎng)絡(luò)適配能力:DTLE可適配復(fù)雜的網(wǎng)絡(luò)架構(gòu),提供跨數(shù)據(jù)中心的數(shù)據(jù)通道功能和公有云間的數(shù)據(jù)通道功能
多場景適配:DTLE通過組合多個原子任務(wù),可適配復(fù)雜的數(shù)據(jù)傳輸場景
