<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          Apache Linkis 正式畢業(yè)成為 Apache 頂級項(xiàng)目

          共 2910字,需瀏覽 6分鐘

           ·

          2023-02-10 22:47

          全網(wǎng)最全大數(shù)據(jù)面試提升手冊!

          Apache 軟件基金會(huì)(ASF)孵化器于2022年12月03日,通過了 Apache Linkis 計(jì)算中間件項(xiàng)目的孵化畢業(yè)投票。2023年01月18日,Apache 軟件基金會(huì)官方宣布 Apache Linkis 順利畢業(yè),成為 Apache 頂級項(xiàng)目(TLP)。


          以上截圖來自 Apache 官網(wǎng)

          原文鏈接:https://news.apache.org/foundation/entry/the-apache-software-foundation-announces-apache-linkis-as-a-top-level-project


          一、關(guān)于 Apache Linkis

          Apache Linkis 計(jì)算中間件項(xiàng)目,是由微眾銀行大數(shù)據(jù)平臺(tái)團(tuán)隊(duì)在2019年7月進(jìn)行開源,并于2021年8月正式捐獻(xiàn)給全球頂級開源社區(qū) Apache 軟件基金會(huì)(ASF),成為 ASF 孵化項(xiàng)目,在2022年12月03日通過孵化畢業(yè)投票。

          Apache Linkis 在上層應(yīng)用程序和底層引擎之間構(gòu)建了一層計(jì)算中間件。通過使用 Linkis 提供的 REST/JDBC/Shell 等標(biāo)準(zhǔn)接口,上層應(yīng)用可以方便地連接訪問 MySQL/Spark/Hive/Trino/Flink 等底層引擎,同時(shí)實(shí)現(xiàn)變量、腳本、函數(shù)和資源文件等用戶資源的跨上層應(yīng)用互通,以及通過 REST 標(biāo)準(zhǔn)接口提供了數(shù)據(jù)源管理和數(shù)據(jù)源對應(yīng)的元數(shù)據(jù)查詢服務(wù)。作為計(jì)算中間件,Linkis 提供了強(qiáng)大的連通、復(fù)用、編排、擴(kuò)展和治理管控能力。通過計(jì)算中間件將應(yīng)用層和引擎層解耦,簡化了復(fù)雜的網(wǎng)絡(luò)調(diào)用關(guān)系,降低了整體復(fù)雜度,同時(shí)節(jié)約了整體開發(fā)和維護(hù)成本。

          自開源以來,開源社區(qū)群用戶總數(shù)超 7600人,沙箱累計(jì)試用公司超 2600家,收到超過 110家企業(yè)已投入生產(chǎn)的反饋,生產(chǎn)環(huán)境支撐的數(shù)據(jù)量超 400PB,生產(chǎn)服務(wù)的用戶超 5000人,涉及金融、電信、制造、互聯(lián)網(wǎng)等多個(gè)行業(yè)。許多公司已經(jīng)用 Linkis 來解決大數(shù)據(jù)平臺(tái)連通、擴(kuò)展、管控、編排等計(jì)算治理問題。

          在一年多的孵化期間,Apache Linkis 由社區(qū)開發(fā)者主導(dǎo)發(fā)布了7個(gè) Apache 版本,平均約兩個(gè)月就會(huì)發(fā)布一個(gè)版本;新加入了4個(gè) PPMC成員 和13個(gè) Committers,來自不同的公司和團(tuán)隊(duì),貢獻(xiàn)人數(shù)達(dá)到127人。Apache Linkis 社區(qū)各項(xiàng)指標(biāo)發(fā)展良好,項(xiàng)目已經(jīng)趨于成熟, Apache Linkis 順利通過 ASF 孵化器項(xiàng)目管理委員會(huì)的畢業(yè)評估和投票,并得到ASF董事會(huì)批準(zhǔn),畢業(yè)晉升為 Apache 基金會(huì)頂級項(xiàng)目。


          二、Apache Linkis 的核心功能點(diǎn)以及 Roadmap

          通過使用 Linkis,上層應(yīng)用工具如批量系統(tǒng)可以把 Linkis 作為統(tǒng)一的網(wǎng)關(guān)或者 JobServer 來提交批量任務(wù);數(shù)據(jù)分析工具可以利用 Linkis 的交互式任務(wù)的能力實(shí)時(shí)獲取日志、結(jié)果集、進(jìn)度信息等能力。集成了 Linkis 的工具可以做到互聯(lián)互通,在不同的工具中可以使用同一個(gè)定義的 UDF、數(shù)據(jù)源、物料等。

          接入了 Linkis 的上層應(yīng)用工具都可以擁有以下核心功能特性:

          • 豐富的底層計(jì)算存儲(chǔ)引擎支持:Spark、Hive、Flink、Python、Sqoop、OpenLooKeng、Presto、Trino、ElasticSearch、JDBC、SeaTunnel 和 Shell 等;

          • 豐富的語言支持:SparkSQL、HiveQL、Python、Shell、Pyspark、Scala、JSON 和 JAVA 等;

          • 強(qiáng)大的計(jì)算治理能力:能夠提供基于多級標(biāo)簽的任務(wù)路由、負(fù)載均衡、多租戶、流量控制、資源控制等能力;

          • 全棧計(jì)算存儲(chǔ)引擎架構(gòu)支持:能夠接收、執(zhí)行和管理針對各種計(jì)算存儲(chǔ)引擎的任務(wù)和請求,包括離線批量任務(wù)、交互式查詢?nèi)蝿?wù)、實(shí)時(shí)流式任務(wù)和數(shù)據(jù)湖任務(wù);

          • 統(tǒng)一上下文服務(wù):支持跨用戶、系統(tǒng)、計(jì)算引擎去關(guān)聯(lián)管理用戶和系統(tǒng)的資源文件(JAR、ZIP、Properties 等),結(jié)果集、參數(shù)變量、函數(shù)、UDF 等,一處設(shè)置,處處自動(dòng)引用;

          • 統(tǒng)一物料:提供了系統(tǒng)和用戶級物料管理,可分享和流轉(zhuǎn),跨用戶、跨系統(tǒng)共享物料;

          • 統(tǒng)一數(shù)據(jù)源管理:提供了 Hive、ElasticSearch、Mysql、Kafka、MongoDB 等類型數(shù)據(jù)源信息的增刪查改、版本控制、連接測試和對應(yīng)數(shù)據(jù)源的元數(shù)據(jù)信息查詢能力;

          • 錯(cuò)誤碼能力:提供了任務(wù)常見錯(cuò)誤的錯(cuò)誤碼和解決方案,方便用戶自助定位問題;


          從孵化器畢業(yè)也證明了 Linkis 項(xiàng)目和社區(qū)進(jìn)一步走向成熟,但是要成為一個(gè)世界頂級的計(jì)算中間件項(xiàng)目還有很多的事情要做。Linkis 社區(qū)整理了一份 Roadmap ,歡迎大家參與一起貢獻(xiàn)。部分重大特性如下:

          三、Apache Linkis 生態(tài)

          Linkis 作為計(jì)算中間件,也積極推動(dòng)與多個(gè)開源社區(qū)的項(xiàng)目進(jìn)行集成,以豐富 Linkis 的生態(tài)。下圖是部分已經(jīng)與 Linkis 集成的開源項(xiàng)目,涵蓋了數(shù)據(jù)分析、工作流、數(shù)據(jù)交換、數(shù)據(jù)質(zhì)量、機(jī)器學(xué)習(xí)、以及常用的計(jì)算和存儲(chǔ)引擎等。上層應(yīng)用工具通過 Linkis 提交和管理各類引擎的任務(wù),把 Linkis 當(dāng)成了一個(gè)開發(fā)基座。極大地降低了上層應(yīng)用工具在連通、擴(kuò)展、管控等計(jì)算治理方面的開發(fā)工作量,讓上層應(yīng)用工具只需專注于其自身的功能性需求。


          未來我們也將進(jìn)一步引導(dǎo)和推動(dòng)更多的上層工具系統(tǒng)和底層引擎,去與 Linkis 對接集成,豐富 Linkis 的生態(tài)。歡迎越來越多的項(xiàng)目參與其中。


          四、Apache Linkis 官方鏈接

          官網(wǎng)主頁:

          https://linkis.apache.org/

          倉庫地址:

          https://github.com/apache/linkis


          訂閱Linkis郵件列表:[email protected](發(fā)送任意內(nèi)容到郵箱后,根據(jù)回復(fù)以訂閱郵件列表 )

          如果這個(gè)文章對你有幫助,不要忘記 「在看」 「點(diǎn)贊」 「收藏」 三連啊喂!

          2022年全網(wǎng)首發(fā)|大數(shù)據(jù)專家級技能模型與學(xué)習(xí)指南(勝天半子篇)
          互聯(lián)網(wǎng)最壞的時(shí)代可能真的來了
          我在B站讀大學(xué),大數(shù)據(jù)專業(yè)
          我們在學(xué)習(xí)Flink的時(shí)候,到底在學(xué)習(xí)什么?
          193篇文章暴揍Flink,這個(gè)合集你需要關(guān)注一下
          Flink生產(chǎn)環(huán)境TOP難題與優(yōu)化,阿里巴巴藏經(jīng)閣YYDS
          Flink CDC我吃定了耶穌也留不住他!| Flink CDC線上問題小盤點(diǎn)
          我們在學(xué)習(xí)Spark的時(shí)候,到底在學(xué)習(xí)什么?
          在所有Spark模塊中,我愿稱SparkSQL為最強(qiáng)!
          硬剛Hive | 4萬字基礎(chǔ)調(diào)優(yōu)面試小總結(jié)
          數(shù)據(jù)治理方法論和實(shí)踐小百科全書
          標(biāo)簽體系下的用戶畫像建設(shè)小指南
          4萬字長文 | ClickHouse基礎(chǔ)&實(shí)踐&調(diào)優(yōu)全視角解析
          【面試&個(gè)人成長】2021年過半,社招和校招的經(jīng)驗(yàn)之談
          大數(shù)據(jù)方向另一個(gè)十年開啟 |《硬剛系列》第一版完結(jié)
          我寫過的關(guān)于成長/面試/職場進(jìn)階的文章
          當(dāng)我們在學(xué)習(xí)Hive的時(shí)候在學(xué)習(xí)什么?「硬剛Hive續(xù)集」



          瀏覽 46
          點(diǎn)贊
          評論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評論
          圖片
          表情
          推薦
          點(diǎn)贊
          評論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  一级亚洲| 极度兴感美女黄色操逼视频 | 二区三区在线视频观看网站 | 日韩欧美三级片www麻豆 | 人人撸人人干 |