9款日志管理工具對(duì)比，選型必備！

近期文章精選 ：

• 《JavaGuide 面試突擊版》 5.0 最新版下載
• 萬(wàn)字詳解，吃透 MongoDB！
• Spring Boot + Disruptor = 王炸！
• Spring Boot 3 步完成日志脫敏，簡(jiǎn)單實(shí)用！！
• 31.2k！這是我見過(guò)最強(qiáng)的后臺(tái)管理系統(tǒng) ！！
• 面試 30 家公司，終于拿到 Offer ！!

Java面試指南網(wǎng)站：javaguide.cn
原文：https://sourl.cn/WmX6SD

對(duì)于日志管理當(dāng)前網(wǎng)絡(luò)上提供了大量的日志工具，今天就給大家分析總結(jié)一下這些常用工具的特點(diǎn)，希望對(duì)你們?cè)谶x型時(shí)有所幫助，如果有用記得一鍵三連。

1、Filebeat

Filebeat是用于轉(zhuǎn)發(fā)和集中日志數(shù)據(jù)的輕量級(jí)傳送程序。作為服務(wù)器上的代理安裝，F(xiàn)ilebeat監(jiān)視您指定的日志文件或位置，收集日志事件，并將它們轉(zhuǎn)發(fā)到Elasticsearch或Logstash進(jìn)行索引。

Filebeat的工作方式如下：?jiǎn)?dòng)Filebeat時(shí)，它將啟動(dòng)一個(gè)或多個(gè)輸入，這些輸入將在為日志數(shù)據(jù)指定的位置中查找。對(duì)于Filebeat所找到的每個(gè)日志，F(xiàn)ilebeat都會(huì)啟動(dòng)收集器。每個(gè)收集器都讀取一個(gè)日志以獲取新內(nèi)容，并將新日志數(shù)據(jù)發(fā)送到libbeat，libbeat會(huì)匯總事件并將匯總的數(shù)據(jù)發(fā)送到您為Filebeat配置的輸出。

1.1 主要特點(diǎn)

• 輕量級(jí)并且易使用
• 模塊可用于常見用例（例如 Apache 訪問(wèn)日志）。您可以使用它們來(lái)設(shè)置 Filebeat、Ingest 和 Kibana 儀表板，只需幾個(gè)命令

1.2 價(jià)格

免費(fèi)開源

1.3 優(yōu)點(diǎn)

• 資源使用率低
• 良好的性能

1.4 缺點(diǎn)

有限的解析和豐富功能

2、Graylog

Graylog是一個(gè)開源的日志聚合、分析、審計(jì)、展現(xiàn)和預(yù)警工具。功能上和ELK類似，但又比ELK要簡(jiǎn)單，依靠著更加簡(jiǎn)潔，高效，部署使用簡(jiǎn)單的優(yōu)勢(shì)很快受到許多人的青睞。

2.1 主要特點(diǎn)

• 一個(gè)包含日志處理所有要素的軟件包：收集、解析、緩沖、索引、搜索、分析。
• 開源 ELK 堆棧無(wú)法提供的其他功能，例如基于角色的訪問(wèn)控制和警報(bào)

2.2 價(jià)格

• 免費(fèi)和開源，不過(guò)也有企業(yè)版(根據(jù)要求提供價(jià)格)

2.3 優(yōu)點(diǎn)

• 在一個(gè)軟件包中滿足大多數(shù)集中式日志管理用例的需求
• 輕松擴(kuò)展存儲(chǔ) (Elasticsearch) 和獲取通道

2.4 缺點(diǎn)

• 可視化能力是有限的，至少與ELK的Kibana相比是如此
• 不能使用整個(gè)ELK生態(tài)系統(tǒng)，因?yàn)樗麄儾荒苤苯釉L問(wèn)Elasticsearch API。相反，Graylog有自己的API

3、LogDNA

LogDNA是日志管理領(lǐng)域的新成員。LogDNA可作為SaaS和內(nèi)部使用，提供所有日志基礎(chǔ):通過(guò)syslog和HTTP(S)以及全文搜索和可視化，提供基于代理和無(wú)代理的日志收集，并提供清晰且具有競(jìng)爭(zhēng)力的價(jià)格。

3.1 主要特點(diǎn)

• 用于在組織外部共享日志的嵌入式視圖
• 自動(dòng)解析常用日志格式

3.2 價(jià)格

• 免費(fèi)：無(wú)存儲(chǔ)
• 收費(fèi)：付費(fèi)計(jì)劃起價(jià)為每月每GB 1.50 美元，保留 7 天

3.3 優(yōu)點(diǎn)

• 用于搜索日志的簡(jiǎn)單 UI，類似于 Papertrail
• 易于理解的計(jì)劃

3.4 缺點(diǎn)

• 可視化能力有限
• 保留期取決于計(jì)劃（從 7 天到 30 天）。用戶數(shù)量也是如此（最便宜的計(jì)劃只允許 5 個(gè)）

4、ELK

4.1 主要特點(diǎn)

ELK堆棧包含了日志管理解決方案所需的大多數(shù)工具:

• Log shippers：如Logstash和Filebeat
• Elasticsearch是一個(gè)可擴(kuò)展的搜索引擎
• Kibana作為搜索日志或構(gòu)建可視化的UI

它在集中日志方面非常流行，有很多關(guān)于如何在網(wǎng)絡(luò)上使用它的教程。有一個(gè)龐大的工具生態(tài)系統(tǒng)，您可以在基本設(shè)置之上使用這些工具，通過(guò)警報(bào)、基于角色的訪問(wèn)控制等來(lái)增強(qiáng)它。我們將在這篇博文中詳細(xì)介紹這些額外的附加功能，我們將在其中討論 Elastic Stack 功能的替代方案。

• Elasticsearch默認(rèn)情況下對(duì)每個(gè)字段進(jìn)行索引，使搜索速度更快
• 通過(guò)API和Kibana實(shí)現(xiàn)實(shí)時(shí)可視化
• 索引前的數(shù)據(jù)解析和充實(shí)

4.2 價(jià)格

免費(fèi)和開源。一些公司提供托管 ELK 的形式，見上文。 還有 Elastic Cloud，它是云中 ELK 的一種純粹形式，您主要需要自己管理。

4.3 優(yōu)點(diǎn)

• 可擴(kuò)展的搜索引擎作為日志存儲(chǔ)
• 成熟的log shippers
• Kibana 中的 Web UI 和可視化

4.4 缺點(diǎn)

• 在規(guī)模上，它可能變得難以維護(hù)。這就是 Sematext 提供 ELK 堆棧咨詢、生產(chǎn)支持和培訓(xùn)的原因
• ELK Stack 的開源版本缺少一些功能，例如基于角色的訪問(wèn)控制和警報(bào)。您可以通過(guò)商業(yè)“Elastic Stack 功能”或其替代品或 Visa Open Distro for Elasticsearch 獲得這些功能。

5、Grafana Loki

Loki 及其生態(tài)系統(tǒng)是 ELK 堆棧的替代方案，但它做出了不同的權(quán)衡。通過(guò)僅索引某些字段（標(biāo)簽），它可以具有完全不同的架構(gòu)。也就是說(shuō)，主要的寫入組件（Ingester）會(huì)將大量日志保存在內(nèi)存中，從而使最近的查詢速度更快。隨著塊變老，它們被寫入兩個(gè)地方：用于標(biāo)簽的鍵值存儲(chǔ)（例如 Cassandra）和用于塊數(shù)據(jù)的對(duì)象存儲(chǔ)（例如 Amazon S3）。當(dāng)您添加數(shù)據(jù)時(shí)，它們都不需要后臺(tái)維護(hù)（例如 Elasticsearch/Solr 需要合并）。
如果您查詢較舊的數(shù)據(jù)，您通常會(huì)按標(biāo)簽和時(shí)間范圍進(jìn)行過(guò)濾。這限制了必須從長(zhǎng)期存儲(chǔ)中檢索的塊的數(shù)量。

5.1 主要特點(diǎn)

• 同一 UI 中的日志和指標(biāo) (Grafana)
• Loki 標(biāo)簽可以與 Prometheus 標(biāo)簽保持一致

5.2 價(jià)格

• 免費(fèi)：免費(fèi)開源
• 收費(fèi)：還有Grafana Cloud，提供Loki的SaaS服務(wù)(也有內(nèi)部部署的選項(xiàng))。價(jià)格從49美元起，包括100GB的日志存儲(chǔ)(30天保留)和3000個(gè)度量系列

5.3 優(yōu)點(diǎn)

• 與 ELK 相比，攝取速度更快：索引更少，無(wú)需合并
• 小存儲(chǔ)占用：較小的索引，數(shù)據(jù)只寫入一次到長(zhǎng)期存儲(chǔ)（通常具有內(nèi)置復(fù)制）
• 使用更便宜的存儲(chǔ)（例如 AWS S3）

5.4 缺點(diǎn)

• 與 ELK 相比，較長(zhǎng)時(shí)間范圍內(nèi)的查詢和分析速度較慢
• 與 ELK 相比，log shippers選項(xiàng)更少（例如 Promtail 或 Fluentd）
• 不如 ELK 成熟（例如更難安裝）

6、Datadog

Datadog 是一種 SaaS，最初是作為監(jiān)控 (APM) 工具，后來(lái)還添加了日志管理功能。您可以通過(guò) HTTP(S) 或 syslog，通過(guò)現(xiàn)有的日志傳送器（rsyslog、syslog-ng、Logstash 等）或通過(guò) Datadog 自己的代理發(fā)送日志。它的特點(diǎn)是 Logging without Limits?，這是一把雙刃劍：更難預(yù)測(cè)和管理成本，但您可以獲得即用即付定價(jià)（見下文）以及您可以存檔和從存檔中恢復(fù)的事實(shí)。

6.1 主要特點(diǎn)

• 用于解析和豐富日志的服務(wù)器端處理管道
• 自動(dòng)檢測(cè)常見的日志模式
• 可以將日志歸檔到 AWS/Azure/Google Cloud 存儲(chǔ)并在以后重新使用它們

6.2 價(jià)格

• 處理起價(jià)為每月每GB 0.10 美元（例如 1GB 每天 3 美元）
• 處理也適用于從檔案中獲取，盡管這里的數(shù)據(jù)是壓縮的
• 100 萬(wàn)個(gè)事件的存儲(chǔ)起價(jià)為 1.59 美元，為期 3 天（例如，47.7 美元，1GB/天，每個(gè) 1K，存儲(chǔ) 3 天）

6.3 優(yōu)點(diǎn)

• 容易搜索，良好的自動(dòng)完成(基于facet)
• 與DataDog指標(biāo)和跟蹤的集成
• 負(fù)擔(dān)得起，特別是對(duì)于短期保留和/或如果你依靠存檔進(jìn)行一些搜索

6.4 缺點(diǎn)

現(xiàn)場(chǎng)不可用。一些用戶抱怨成本失控（由于定價(jià)靈活）。雖然您可以設(shè)置每日處理配額

7、Logstash

Logstash 是一個(gè)日志收集和處理引擎，它帶有各種各樣的插件，使您能夠輕松地從各種來(lái)源攝取數(shù)據(jù)，將其轉(zhuǎn)換并轉(zhuǎn)發(fā)到定義的目的地。它與 Elasticsearch 和 Kibana 一起是 Elastic Stack 的一部分，這就是為什么它最常用于將數(shù)據(jù)傳送到 Elasticsearch。

7.1 主要特點(diǎn)

• 許多內(nèi)置的輸入、過(guò)濾/轉(zhuǎn)換和輸出插件
• 靈活的配置格式:您可以添加內(nèi)聯(lián)腳本，包括其他配置文件等

7.2 價(jià)格

免費(fèi)開源

7.3 優(yōu)點(diǎn)

• 容易開始和移動(dòng)到復(fù)雜的配置
• 靈活:Logstash用于各種日志記錄用例，甚至用于非日志記錄數(shù)據(jù)
• 寫得很好的文檔和大量的操作指南

7.4 缺點(diǎn)

• 與其他日志shippers相比，資源使用率高
• 與替代品相比，性能較差

8、Fluentd

作為一個(gè)很好的 Logstash 替代品，F(xiàn)luentd 是 DevOps 的最愛，特別是對(duì)于 Kubernetes 部署，因?yàn)樗哂胸S富的插件庫(kù)。與 Logstash 一樣，它可以將數(shù)據(jù)結(jié)構(gòu)化為 JSON，并涉及日志數(shù)據(jù)處理的所有方面：收集、解析、緩沖和輸出跨各種來(lái)源和目的地的數(shù)據(jù)。

8.1 主要特點(diǎn)

• 與庫(kù)和Kubernetes的良好集成
• 大量的內(nèi)置插件，很容易編寫新的

8.2 價(jià)格

免費(fèi)開源

8.3 優(yōu)點(diǎn)

• 良好的性能和資源使用
• 良好的插件生態(tài)系統(tǒng)
• 易于使用的配置
• 良好的文檔

8.4 缺點(diǎn)

• 解析前沒有緩沖，可能會(huì)導(dǎo)致日志管道出現(xiàn)背壓
• 對(duì)轉(zhuǎn)換數(shù)據(jù)的支持有限，就像您可以使用 Logstash 的 mutate 過(guò)濾器或 rsyslog 的變量和模板一樣

9、Splunk

Splunk 是最早的商業(yè)日志集中工具之一，也是最受歡迎的。典型的部署是本地部署 (Splunk Enterprise)，盡管它也作為服務(wù)提供 (Splunk Cloud)。您可以將日志和指標(biāo)發(fā)送到 Splunk 并一起分析它們。

9.1 主要特點(diǎn)

• 用于搜索和分析的強(qiáng)大查詢語(yǔ)言
• 搜索時(shí)字段提取（在攝取時(shí)解析之外）
• 自動(dòng)將經(jīng)常訪問(wèn)的數(shù)據(jù)移動(dòng)到快速存儲(chǔ)，將不經(jīng)常訪問(wèn)的數(shù)據(jù)自動(dòng)移動(dòng)到慢速存儲(chǔ)

9.2 價(jià)格

• 免費(fèi)：每天 500MB 數(shù)據(jù)
• 付費(fèi)計(jì)劃可應(yīng)要求提供，但常見問(wèn)題解答建議 1GB 的起價(jià)為 150 美元/月

9.3 優(yōu)點(diǎn)

• 成熟且功能豐富
• 對(duì)于大多數(shù)用例來(lái)說(shuō)，良好的數(shù)據(jù)壓縮(假設(shè)有有限的索引，正如推薦的那樣)
• 日志和度量在一個(gè)屋檐下

9.4 缺點(diǎn)

• 貴
• 對(duì)于較長(zhǎng)的時(shí)間范圍，查詢速度較慢(建議使用有限的索引)
• 用于度量存儲(chǔ)的效率低于專注于監(jiān)控的工具