Canal

定位：基于數(shù)據(jù)庫(kù)增量日志解析，提供增量數(shù)據(jù)訂閱&消費(fèi)，目前主要支持了mysql。

原理：

canal模擬mysql slave的交互協(xié)議，偽裝自己為mysql slave，向mysql master發(fā)送dump協(xié)議
mysql master收到dump請(qǐng)求，開(kāi)始推送binary log給slave(也就是canal)
canal解析binary log對(duì)象(原始為byte流)

整個(gè)parser過(guò)程大致可分為幾步：

Connection獲取上一次解析成功的位置（如果第一次啟動(dòng)，則獲取初始制定的位置或者是當(dāng)前數(shù)據(jù)庫(kù)的binlog位點(diǎn)）
Connection建立連接，發(fā)生BINLOG_DUMP命令
Mysql開(kāi)始推送Binary Log
接收到的Binary Log通過(guò)Binlog parser進(jìn)行協(xié)議解析，補(bǔ)充一些特定信息
傳遞給EventSink模塊進(jìn)行數(shù)據(jù)存儲(chǔ)，是一個(gè)阻塞操作，直到存儲(chǔ)成功
存儲(chǔ)成功后，定時(shí)記錄Binary Log位置

數(shù)據(jù)過(guò)濾：支持通配符的過(guò)濾模式，表名，字段內(nèi)容等
數(shù)據(jù)路由/分發(fā)：解決1:n (1個(gè)parser對(duì)應(yīng)多個(gè)store的模式)
數(shù)據(jù)歸并：解決n:1 (多個(gè)parser對(duì)應(yīng)1個(gè)store)
數(shù)據(jù)加工：在進(jìn)入store之前進(jìn)行額外的處理，比如join

“
推薦一個(gè)艿艿寫(xiě)的 6000+ Star 的 SpringBoot + SpringCloud + Dubbo 教程的倉(cāng)庫(kù)：https://github.com/YunaiV/SpringBoot-Labs

Maxwell

canal 由Java開(kāi)發(fā)，分為服務(wù)端和客戶端，擁有眾多的衍生應(yīng)用，性能穩(wěn)定，功能強(qiáng)大；canal 需要自己編寫(xiě)客戶端來(lái)消費(fèi)canal解析到的數(shù)據(jù)。

maxwell相對(duì)于canal的優(yōu)勢(shì)是使用簡(jiǎn)單，它直接將數(shù)據(jù)變更輸出為json字符串，不需要再編寫(xiě)客戶端。

“
推薦一個(gè)艿艿寫(xiě)的 3000+ Star 的 SpringCloud Alibaba 電商開(kāi)源項(xiàng)目的倉(cāng)庫(kù)：https://github.com/YunaiV/onemall

Databus

Databus是一種低延遲變化捕獲系統(tǒng)，已成為L(zhǎng)inkedIn數(shù)據(jù)處理管道不可或缺的一部分。Databus解決了可靠捕獲，流動(dòng)和處理主要數(shù)據(jù)更改的基本要求。Databus提供以下功能：

源與消費(fèi)者之間的隔離
保證按順序和至少一次交付具有高可用性
從更改流中的任意時(shí)間點(diǎn)開(kāi)始消耗，包括整個(gè)數(shù)據(jù)的完全引導(dǎo)功能。
分區(qū)消費(fèi)
源一致性保存

阿里云的數(shù)據(jù)傳輸服務(wù)DTS

數(shù)據(jù)傳輸服務(wù)（Data Transmission Service，簡(jiǎn)稱DTS）是阿里云提供的一種支持 RDBMS（關(guān)系型數(shù)據(jù)庫(kù)）、NoSQL、OLAP 等多種數(shù)據(jù)源之間數(shù)據(jù)交互的數(shù)據(jù)流服務(wù)。DTS提供了數(shù)據(jù)遷移、實(shí)時(shí)數(shù)據(jù)訂閱及數(shù)據(jù)實(shí)時(shí)同步等多種數(shù)據(jù)傳輸能力，可實(shí)現(xiàn)不停服數(shù)據(jù)遷移、數(shù)據(jù)異地災(zāi)備、異地多活(單元化)、跨境數(shù)據(jù)同步、實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)、查詢報(bào)表分流、緩存更新、異步消息通知等多種業(yè)務(wù)應(yīng)用場(chǎng)景，助您構(gòu)建高安全、可擴(kuò)展、高可用的數(shù)據(jù)架構(gòu)。

優(yōu)勢(shì)：數(shù)據(jù)傳輸（Data Transmission）服務(wù) DTS 支持 RDBMS、NoSQL、OLAP 等多種數(shù)據(jù)源間的數(shù)據(jù)傳輸。它提供了數(shù)據(jù)遷移、實(shí)時(shí)數(shù)據(jù)訂閱及數(shù)據(jù)實(shí)時(shí)同步等多種數(shù)據(jù)傳輸方式。相對(duì)于第三方數(shù)據(jù)流工具，數(shù)據(jù)傳輸服務(wù) DTS 提供更豐富多樣、高性能、高安全可靠的傳輸鏈路，同時(shí)它提供了諸多便利功能，極大得方便了傳輸鏈路的創(chuàng)建及管理。

個(gè)人理解：就是一個(gè)消息隊(duì)列，會(huì)給你推送它包裝過(guò)的sql對(duì)象，可以自己做個(gè)服務(wù)去解析這些sql對(duì)象。

免去部署維護(hù)的昂貴使用成本。DTS針對(duì)阿里云RDS（在線關(guān)系型數(shù)據(jù)庫(kù)）、DRDS等產(chǎn)品進(jìn)行了適配，解決了Binlog日志回收，主備切換、VPC網(wǎng)絡(luò)切換等場(chǎng)景下的訂閱高可用問(wèn)題。同時(shí)，針對(duì)RDS進(jìn)行了針對(duì)性的性能優(yōu)化。出于穩(wěn)定性、性能及成本的考慮，推薦使用。

END

有熱門(mén)推薦?
1.?記一次 Linux 被入侵，服務(wù)器變“礦機(jī)”全過(guò)程
2.?基于 Spring Boot 的車(chē)牌識(shí)別系統(tǒng)（附項(xiàng)目地址）！
3.?在Java中異步編程，同事非要用rxJava，被我一頓吐槽！
4.?Mybatis 框架下 SQL 注入攻擊的 3 種方式，真是防不勝防！
最近面試BAT，整理一份面試資料《Java面試BATJ通關(guān)手冊(cè)》，覆蓋了Java核心技術(shù)、JVM、Java并發(fā)、SSM、微服務(wù)、數(shù)據(jù)庫(kù)、數(shù)據(jù)結(jié)構(gòu)等等。
獲取方式：點(diǎn)“在看”，關(guān)注公眾號(hào)并回復(fù)?Java?領(lǐng)取，更多內(nèi)容陸續(xù)奉上。
文章有幫助的話，在看，轉(zhuǎn)發(fā)吧。
謝謝支持喲 (*^__^*）

MySQL 的 Binlog 日志處理工具（Canal，Maxwell，Databus，DTS）對(duì)比

Canal

Maxwell

Databus

阿里云的數(shù)據(jù)傳輸服務(wù)DTS

MySQL 的 Binlog 日志處理工具（Canal，Maxwell，Databus，DTS）對(duì)比