Apache Linkis 正式畢業(yè)成為 Apache 頂級項(xiàng)目

Apache Linkis 計(jì)算中間件項(xiàng)目,是由微眾銀行大數(shù)據(jù)平臺(tái)團(tuán)隊(duì)在2019年7月進(jìn)行開源,并于2021年8月正式捐獻(xiàn)給全球頂級開源社區(qū) Apache 軟件基金會(huì)(ASF),成為 ASF 孵化項(xiàng)目,在2022年12月03日通過孵化畢業(yè)投票。


在一年多的孵化期間,Apache Linkis 由社區(qū)開發(fā)者主導(dǎo)發(fā)布了7個(gè) Apache 版本,平均約兩個(gè)月就會(huì)發(fā)布一個(gè)版本;新加入了4個(gè) PPMC成員 和13個(gè) Committers,來自不同的公司和團(tuán)隊(duì),貢獻(xiàn)人數(shù)達(dá)到127人。Apache Linkis 社區(qū)各項(xiàng)指標(biāo)發(fā)展良好,項(xiàng)目已經(jīng)趨于成熟, Apache Linkis 順利通過 ASF 孵化器項(xiàng)目管理委員會(huì)的畢業(yè)評估和投票,并得到ASF董事會(huì)批準(zhǔn),畢業(yè)晉升為 Apache 基金會(huì)頂級項(xiàng)目。
二、Apache Linkis 的核心功能點(diǎn)以及 Roadmap
接入了 Linkis 的上層應(yīng)用工具都可以擁有以下核心功能特性:
豐富的底層計(jì)算存儲(chǔ)引擎支持:Spark、Hive、Flink、Python、Sqoop、OpenLooKeng、Presto、Trino、ElasticSearch、JDBC、SeaTunnel 和 Shell 等;
豐富的語言支持:SparkSQL、HiveQL、Python、Shell、Pyspark、Scala、JSON 和 JAVA 等;
強(qiáng)大的計(jì)算治理能力:能夠提供基于多級標(biāo)簽的任務(wù)路由、負(fù)載均衡、多租戶、流量控制、資源控制等能力;
全棧計(jì)算存儲(chǔ)引擎架構(gòu)支持:能夠接收、執(zhí)行和管理針對各種計(jì)算存儲(chǔ)引擎的任務(wù)和請求,包括離線批量任務(wù)、交互式查詢?nèi)蝿?wù)、實(shí)時(shí)流式任務(wù)和數(shù)據(jù)湖任務(wù);
統(tǒng)一上下文服務(wù):支持跨用戶、系統(tǒng)、計(jì)算引擎去關(guān)聯(lián)管理用戶和系統(tǒng)的資源文件(JAR、ZIP、Properties 等),結(jié)果集、參數(shù)變量、函數(shù)、UDF 等,一處設(shè)置,處處自動(dòng)引用;
統(tǒng)一物料:提供了系統(tǒng)和用戶級物料管理,可分享和流轉(zhuǎn),跨用戶、跨系統(tǒng)共享物料;
統(tǒng)一數(shù)據(jù)源管理:提供了 Hive、ElasticSearch、Mysql、Kafka、MongoDB 等類型數(shù)據(jù)源信息的增刪查改、版本控制、連接測試和對應(yīng)數(shù)據(jù)源的元數(shù)據(jù)信息查詢能力;
錯(cuò)誤碼能力:提供了任務(wù)常見錯(cuò)誤的錯(cuò)誤碼和解決方案,方便用戶自助定位問題;

三、Apache Linkis 生態(tài)
Linkis 作為計(jì)算中間件,也積極推動(dòng)與多個(gè)開源社區(qū)的項(xiàng)目進(jìn)行集成,以豐富 Linkis 的生態(tài)。下圖是部分已經(jīng)與 Linkis 集成的開源項(xiàng)目,涵蓋了數(shù)據(jù)分析、工作流、數(shù)據(jù)交換、數(shù)據(jù)質(zhì)量、機(jī)器學(xué)習(xí)、以及常用的計(jì)算和存儲(chǔ)引擎等。上層應(yīng)用工具通過 Linkis 提交和管理各類引擎的任務(wù),把 Linkis 當(dāng)成了一個(gè)開發(fā)基座。極大地降低了上層應(yīng)用工具在連通、擴(kuò)展、管控等計(jì)算治理方面的開發(fā)工作量,讓上層應(yīng)用工具只需專注于其自身的功能性需求。

未來我們也將進(jìn)一步引導(dǎo)和推動(dòng)更多的上層工具系統(tǒng)和底層引擎,去與 Linkis 對接集成,豐富 Linkis 的生態(tài)。歡迎越來越多的項(xiàng)目參與其中。
四、Apache Linkis 官方鏈接
官網(wǎng)主頁:
https://linkis.apache.org/
倉庫地址:
https://github.com/apache/linkis


