Apache SeaTunnel高性能分布式數(shù)據(jù)集成平臺

為什么我們需要 SeaTunnel

SeaTunnel 盡所能為您解決海量數(shù)據(jù)同步中可能遇到的問題：

• 數(shù)據(jù)丟失與重復(fù)
• 任務(wù)堆積與延遲
• 吞吐量低
• 缺少應(yīng)用運行狀態(tài)監(jiān)控

SeaTunnel使用場景

• 海量數(shù)據(jù)同步
• 海量數(shù)據(jù)集成
• 海量數(shù)據(jù)的 ELT/ETL
• 海量數(shù)據(jù)聚合
• 多源數(shù)據(jù)處理

SeaTunnel 特性

• 簡單易用，靈活配置，無需開發(fā)
• 支持 CDC 
• 離線多源數(shù)據(jù)全量和增量同步
• 超高性能、海量數(shù)據(jù)處理能力
• 模塊化和插件化，易于擴展

SeaTunnel 支持的 Connector

• Source

Fake, File, Hdfs, Kafka, S3, Socket, Cassandra, Clickhouse,Elasticsearch,FTP,Hive,Hudi,Iceberg,JDBC,Kudu,MongoDB,OSS, Pulsar, Redis,S3,Kafka 等眾多數(shù)據(jù)源，也支持自行開發(fā) Source plugin

• Transform

Copy, FieldMapper, FilterRowKind, Filter, Replace, Split, SQL Functions, SQL UDF, SQL及自行開發(fā)的 Transform plugin

• Sink

DynamoDB, Assert, Cassandra, Clickhouse, ClickhouseFile, Console, DataHub, DingTalk, Doris, Elasticsearch, Email, Enterprise WeChat, Feishu, FtpFile, GoogleFirestore, Greenplum, Hbase, HdfsFile, Hive, Http, InfluxDB, IoTDB, JDBC, Kafka, Kudu, LocalFile, Maxcompute, MongoDB, MySQL, Neo4j, OssFile, OssJindoFile, Paimon, Phoenix, Rabbitmq, Redis, RocketMQ, S3Redshift, S3File, SelectDB Cloud, Sentry, SftpFile, Slack, Snowflake, Socket, StarRocks, TDengine, Tablestore 等，也支持自行開發(fā)的 Sink plugin

環(huán)境依賴

1. java 運行環(huán)境，java >= 8

2. 如果您要在集群環(huán)境中運行 SeaTunnel，那么需要以下環(huán)境的任意一種：

• SeaTunnel Zeta
• Spark
• Flink

如果您的數(shù)據(jù)量較小或者只是做功能驗證，也可以僅使用 local 模式啟動，無需集群環(huán)境，SeaTunnel 支持單機運行。

下載

可以直接運行的軟件包下載地址：https://seatunnel.apache.org/download

快速入門

快速入門：https://seatunnel.apache.org/docs/2.3.2/start-v2/locally/quick-start-seatunnel-engine

關(guān)于 SeaTunnel 的詳細文檔

生產(chǎn)應(yīng)用案例

• 微博, 增值業(yè)務(wù)部數(shù)據(jù)平臺 微博某業(yè)務(wù)有數(shù)百個實時流式計算任務(wù)使用內(nèi)部定制版 seatunnel，以及其子項目Guardian做 seatunnel On Yarn 的任務(wù)監(jiān)控。

• 新浪, 大數(shù)據(jù)運維分析平臺 新浪運維數(shù)據(jù)分析平臺使用 seatunnel 為新浪新聞，CDN 等服務(wù)做運維大數(shù)據(jù)的實時和離線分析，并寫入 Clickhouse。

• 搜狗，搜狗奇點系統(tǒng) 搜狗奇點系統(tǒng)使用 seatunnel 作為 ETL 工具, 幫助建立實時數(shù)倉體系

更多案例參見: https://seatunnel.apache.org/user

貢獻觀點和代碼

提交問題和建議：https://github.com/apache/seatunnel/issues

貢獻代碼：https://github.com/apache/seatunnel/contribute