Logkit通用的日志收集工具

logkit是七牛Pandora開發(fā)的一個通用的日志收集工具，可以將不同數(shù)據(jù)源的數(shù)據(jù)方便的發(fā)送到Pandora進(jìn)行數(shù)據(jù)分析，除了基本的數(shù)據(jù)發(fā)送功能，logkit還有容錯、并發(fā)、監(jiān)控、刪除等功能。

logkit詳細(xì)的文檔可以參見WIKI頁面。

優(yōu)勢

• GO 語言編寫，性能優(yōu)良，資源消耗低，跨平臺支持。
• Web 支持，提供 頁面 對數(shù)據(jù)收集、解析、發(fā)送過程可視化
• 插件式架構(gòu)，擴(kuò)展性強(qiáng)，使用靈活，易于復(fù)用。
• 定制化能力強(qiáng)，可以僅使用部分 logkit 包，以此定制專屬收集工具。
• 配置簡單，易于上手，可通過 頁面 進(jìn)行操作管理。
• 原生中文支持，沒有漢化煩惱。
• 功能全面，涵蓋了包括 grok 解析、metric 收集、字段變化 (transform) 在內(nèi)的多種開源軟件特點。
• 生態(tài)全面，數(shù)據(jù)發(fā)送到七牛的 Pandora 大數(shù)據(jù)平臺支持包括時序數(shù)據(jù)庫、日志檢索以及壓縮永久存儲等多種數(shù)據(jù)落地方案。
• 數(shù)據(jù)收集安全穩(wěn)定，擁有磁盤隊列、內(nèi)存隊列、錯誤重試、壓縮傳輸、限速限流等多種機(jī)制，數(shù)據(jù)發(fā)送不重不漏。
• 集群化，可以通過一個logkit 作為master 在 web 管理眾多l(xiāng)ogkit，對整體集群進(jìn)行管理。

支持的數(shù)據(jù)源

• File：讀取文件中的日志數(shù)據(jù)，包括csv格式的文件，kafka-rest日志文件，nginx日志文件等,并支持以grok的方式解析日志。
• Elasticsearch：讀取ElasticSearch中的數(shù)據(jù)。
• MongoDB：讀取MongoDB中的數(shù)據(jù)。
• MySQL：讀取MySQL中的數(shù)據(jù)。
• MicroSoft SQL Server：讀取Microsoft SQL Server中的數(shù)據(jù)。
• Postgre SQL：讀取 PostgreSQL 中的數(shù)據(jù)。
• Kafka：讀取Kafka中的數(shù)據(jù)。
• Redis：讀取Redis中的數(shù)據(jù)。
• Socket：讀取tcp\udp\unixsocket協(xié)議中的數(shù)據(jù)。
• Http：作為 http 服務(wù)端，接受 POST 請求發(fā)送過來的數(shù)據(jù)。
• Script：支持執(zhí)行腳本，并獲得執(zhí)行結(jié)果中的數(shù)據(jù)。
• Snmp：主動抓取 Snmp 服務(wù)中的數(shù)據(jù)。

工作方式

logkit本身支持多種數(shù)據(jù)源，并且可以同時發(fā)送多個數(shù)據(jù)源的數(shù)據(jù)到Pandora，每個數(shù)據(jù)源對應(yīng)一個邏輯上的runner，一個runner負(fù)責(zé)一個數(shù)據(jù)源的數(shù)據(jù)推送，工作原理如下圖所示