Kafka常用監(jiān)控框架百科全書

Kafka搭建好投入使用后，為了運(yùn)維更便捷，借助一些管理工具很有必要。Kafka社區(qū)似乎一直沒有在監(jiān)控框架方面投入太多的精力，目前Kafka監(jiān)控方案看似很多，然而并沒有一個"大而全"的通用解決方案，各家框架也是各有千秋。很多公司和個人都自行著手開發(fā) Kafka 監(jiān)控框架，其中并不乏佼佼者。今天我們就來全面地梳理一下主流的監(jiān)控框架。

JMX

JMX的全稱為Java Management Extensions. 顧名思義，是管理Java的一種擴(kuò)展。這種機(jī)制可以方便的管理、監(jiān)控正在運(yùn)行中的Java程序。常用于管理線程，內(nèi)存，日志Level，服務(wù)重啟，系統(tǒng)環(huán)境等。

關(guān)于JMX的使用，讀者可以參考廝大這篇文章：

• 《如何使用JMX監(jiān)控Kafka》https://blog.csdn.net/u013256816/article/details/53524884

總體來說，JMXTool 是社區(qū)自帶的一個小工具，對于一般簡單的監(jiān)控場景，它還能應(yīng)付，但是它畢竟功能有限，復(fù)雜的監(jiān)控整體解決方案，還是要依靠監(jiān)控框架。

Kafka Manager(已更名為CMAK)

為了簡化開發(fā)者和服務(wù)工程師維護(hù)Kafka集群的工作，Yahoo構(gòu)建了一個叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。這個管理工具可以很容易地發(fā)現(xiàn)分布在集群中的哪些topic分布不均勻，或者是分區(qū)在整個集群分布不均勻的的情況。它支持管理多個集群、選擇副本、副本重新分配以及創(chuàng)建Topic。

你可以很輕松的安裝他：

#?從git上下載Kafka?manager源碼
git?clone?https://github.com/yahoo/kafka-manager

#?使用sbt進(jìn)行編譯，編譯過程中需要等待很長時間
./stb?clean?dist

你可以在 Kafka Manager 的 target/universal 目錄下找到生成的 zip 文件，把它解壓，然后修改里面的 conf/application.conf 文件中的 kafka-manager.zkhosts 項(xiàng)，讓它指向你環(huán)境中的 ZooKeeper 地址，比如：

#?默認(rèn)是localhost，將zkhosts改為自己zk集群的hosts
kafka-manager.zkhosts="localho:2181"

然后啟動Zookeeper和Kafka：

#?啟動zookeeper
zkServer?start

#?啟動kafka，JMX_PORT=9991指定Kafka的JMX端口為9991，方便對kafka監(jiān)控
JMX_PORT=9991?kafka-server-start?-daemon?/usr/local/etc/kafka/server.properties

之后，運(yùn)行以下命令啟動 Kafka Manager：

#?進(jìn)入/kafka-manager/bin
cd?../kafka-manager/bin

#?執(zhí)行kafka-manager命令
sh?kafka-manager

然后我們就可以新建Cluster，點(diǎn)擊【Cluster】>【Add Cluster】打開如下添加集群的配置界面：

輸入集群的名字（如Kafka-Cluster-1）和 Zookeeper 服務(wù)器地址（如localhost:2181），選擇最接近的Kafka版本。

然后你就可以看到當(dāng)前監(jiān)控的 Kafka 集群的主題數(shù)量、Broker 數(shù)量等信息。

一個完整的過程你可以參考：

• 《Kafka集群管理工具kafka-manager部署安裝》https://blog.csdn.net/qq_43631716/article/details/120109732

Kafka Eagle

Kafka Eagle監(jiān)控系統(tǒng)也是一款用來監(jiān)控Kafka集群的工具，支持管理多個Kafka集群、管理Kafka主題（包含查看、刪除、創(chuàng)建等）、消費(fèi)者組合消費(fèi)者實(shí)例監(jiān)控、消息阻塞告警、Kafka集群健康狀態(tài)查看等。

Kafka Eagle v1.2.3整個系統(tǒng)所包含的功能，如下圖所示：

1. 展示Kafka集群的Broker數(shù)、Topic數(shù)、Consumer數(shù)、以及Topic LogSize Top10和Topic Capacity Top10數(shù)據(jù)。
2. 主題創(chuàng)建、主題管理、主題預(yù)覽、KSQL查詢主題、主題數(shù)據(jù)寫入、主題屬性配置等
3. 監(jiān)控不同消費(fèi)者組中的Topic被消費(fèi)的詳情，例如LogSize、Offsets、以及Lag等。同時，支持查看Lag的歷史趨勢圖。
4. Kafka集群和Zookeeper集群的詳情展示，例如Kafka的IP和端口、版本號、啟動時間、Zookeeper的Leader和Follower。同時，還支持多Kafka集群切換，以及Zookeeper Client數(shù)據(jù)查看等功能。
5. 監(jiān)控Kafka集群和Zookeeper集群的核心指標(biāo)，包含Kafka的消息發(fā)送趨勢、消息大小接收與發(fā)送趨勢、Zookeeper的連接數(shù)趨勢等。同時，還支持查看Broker的瞬時指標(biāo)數(shù)據(jù)。
6. 告警集群異常和消費(fèi)者應(yīng)用Lag異常。同時，支持多種IM告警方式，例如郵件、釘釘、微信、Webhook等。
7. 包含用戶管理，例如創(chuàng)建用戶、用戶授權(quán)、資源管理等。
8. 展示消費(fèi)者和生產(chǎn)者當(dāng)日及最近7天趨勢、Kafka集群讀寫速度、Kafka集群歷史總記錄等

Kafka Eagle監(jiān)控管理系統(tǒng)，提供了一個可視化頁面，使用者可以擁有不同的角色，例如管理員、開發(fā)者、游客等。不同的角色對應(yīng)不同的使用權(quán)限。

你可以參考的網(wǎng)站：

源碼：https://github.com/smartloli/kafka-eagle/
官網(wǎng)：https://www.kafka-eagle.org/
下載：http://download.kafka-eagle.org/
安裝文檔：https://docs.kafka-eagle.org/2.env-and-instal

你可以看到 Kafka Eagle 的管理界面如下：

• 《Kafka監(jiān)控工具Kafka Eagle》https://blog.csdn.net/weixin_45367149/article/details/108398580

Logi-KafkaManager

滴滴Logi-KafkaManager脫胎于滴滴內(nèi)部多年的Kafka運(yùn)營實(shí)踐經(jīng)驗(yàn)，是面向Kafka用戶、Kafka運(yùn)維人員打造的共享多租戶Kafka云平臺。專注于Kafka運(yùn)維管控、監(jiān)控告警、資源治理等核心場景，經(jīng)歷過大規(guī)模集群、海量大數(shù)據(jù)的考驗(yàn)。內(nèi)部滿意度高達(dá)90%的同時，還與多家知名企業(yè)達(dá)成商業(yè)化合作。

功能上，和 Kafka Manager的對比如下：

你可以參考GitHub：https://github.com/didi/LogiKM

滴滴甚至提供了一個體驗(yàn)平臺：

體驗(yàn)地址 http://117.51.150.133:8080 賬號密碼 admin/admin

總結(jié)

除了我們上面介紹的Kafka Manager、Kafka Eagle等，使用JMXTrans + InfluxDB + Grafana的組合也是很多公司的選擇?？梢苑奖愕淖龅蕉ㄖ苹?。

每種監(jiān)控框架都有自己的優(yōu)勢，大家可以根據(jù)需要自行選擇。