scc-flume-pluginFlume 常用插件擴(kuò)展包

本插件是對 Flume 現(xiàn)有插件的擴(kuò)充，主要是：

    1、kafka-source，相對 flume 自帶插件，升級了 kafka 依賴版本，支持更高版本的 kafka 集群，并支持自動掃描特定 topic ，無需在配置文件指定，并且自動匹配出 timestamp、level、topic、message 等常用字段；

    2、kafka-channel，相對 flume 自帶插件，升級了 kafka 依賴版本，支持更高版本的 kafka 集群；

    3、es-sink，相對 flume 自帶插件，升級了 elasticsearch 依賴版本，支持更高版本的 elasticsearch 集群。

對應(yīng)版本如下：

• flume1.7.0+

• kafka2.12-0.10.2.1

• elasticsearch6.1.0

其他版本未試驗(yàn)過。

flume 配置如下：

• agent.sources = s1

• agent.sinks = k1

• agent.channels = c1