Kyuubi 版本 | Apache Kyuubi (Incubating) 1.4.0-incubating 發(fā)布

12月10日，Apache Kyuubi (Incubating) 社區(qū)發(fā)布了進入Apache 孵化器之后的第三個公開發(fā)行的正式版本, v1.4.0-incubating。非常感謝 Apache Kyuubi (Incubating) 社區(qū)成員對 Kyuubi 1.4.0-incubating 版本發(fā)布做出的貢獻。

Apache Kyuubi （Incubating）是一個 Thrift JDBC/ODBC 服務(wù)，目前對接了 Apache Spark 計算框架，支持多租戶和分布式等特性，可以滿足企業(yè)內(nèi)諸如 ETL、BI 報表等多種大數(shù)據(jù)場景的應(yīng)用。Kyuubi 可以為企業(yè)級數(shù)據(jù)湖探索提供標準化的接口，賦予用戶調(diào)動整個數(shù)據(jù)湖生態(tài)的數(shù)據(jù)的能力，使得用戶能夠像處理普通數(shù)據(jù)一樣處理大數(shù)據(jù)。它的主要方向是依托本身的架構(gòu)設(shè)計，圍繞各類主流計算框架，打造一個面向 Serverless SQL on Lakehouse 的服務(wù)。

參考鏈接：

https://github.com/apache/incubator-kyuubi/discussions/925

此次發(fā)布帶來了 Lakehouse, Serverless Spark, Unified, Performance 等方面的多項增強，主要包括:

1. 支持最新的 Spark 3.2 版本并作了充分的驗證

2. 支持 Z-Order 語法增強 Data Skipping，提升在復(fù)雜過濾條件下的查詢性能

3. 支持在不為 Spark 引擎提供 keytab 的情況下長運行

4. 支持 MySQL 協(xié)議和 MySQL client 作為 Kyuubi 的 client (experimental)

5. 支持基于 Group 的引擎分享級別

6. 更加友好的 Kyuubi engine 的 UI，支持顯示 session 狀態(tài)

7. Kyuubi 服務(wù)同時支持 Kerberos 和 PLAIN 類型的權(quán)限認證

8. 增強了 kyuubi 服務(wù)和引擎的 Zookeeper 認證和 ACL 管理

9. 在數(shù)據(jù)湖平臺 Delta Lake，Iceberg 和 Hudi 之上進行了充分的測試

10. 支持異步的建立 kyuubi 連接，提供更加用戶友好的 Kyuubi Hive JDBC 和Kyuubi BeeLine，讓 Kyuubi Engine 的啟動對用戶透明

11. 支持增量的獲取語句的執(zhí)行結(jié)果

12. 補充了一些輔助的 SQL 函數(shù)作為 Spark 內(nèi)置函數(shù)的補充

更多詳情見發(fā)布公告:

https://kyuubi.apache.org/release/1.4.0-incubating.html

最新的 Apache Kyuubi (Incubating) 1.4.0-incubating 版本保持了對上一版本的兼容，同時也兼容1.x timeline上的各個大版本。用戶可選擇至官方下載鏈接https://kyuubi.apache.org/release/1.4.0-incubating.html 完成下載后，進行原地升級。

對于新接觸 Apache Kyuubi (Incubating) 用戶，可以參考我們的 Quick Start 指南進行技能解鎖，詳見?

https://kyuubi.apache.org/docs/r1.4.0-incubating/quick_start/index.html

• 替換 HiveServer2，輕松獲得 10~100 倍性能提升

• Kyuubi 高度兼容 HiveServer2 接口及行為，支持無縫遷移

• Kyuubi 分層架構(gòu)，消除客戶端兼容性問題，支持無感升級

• Kyuubi 支持 Spark SQL 全鏈路優(yōu)化及再增強，性能卓著

• 高可用、多租戶、細粒度權(quán)限認證各種企業(yè)級特性統(tǒng)統(tǒng)都有

• 構(gòu)建 Serverless Spark 平臺

• Serverless Spark 目標絕對不是讓用戶調(diào)用Spark的API、繼續(xù)寫 Spark 作業(yè)

• 通過 Kyuubi 預(yù)置的 Engine 模塊，用戶無需理解 Spark 邏輯， 入門門檻極低

• 用戶只需通過 JDBC 及 SQL 操作數(shù)據(jù)專注自身業(yè)務(wù)開發(fā)即可，資源彈性伸縮，0 運維

• 支持資源管理器（Kubernetes, YARN 等），Engine 生命周期，Spark 動態(tài)資源分配3級不同粒度全方位的資源彈性策略

• 支持YARN/Kubernetes多種資源管理器同時調(diào)度，保障歷史作業(yè)安全遷移上云

• Spark 自適應(yīng)查詢引擎（AQE）及 Kyuubi AQE plus，提供澎湃動力

• 構(gòu)建統(tǒng)一數(shù)據(jù)湖探索分析管理平臺

• 支持 Spark 所有官方數(shù)據(jù)源及第三方數(shù)據(jù)源

• 支持 Spark DSv2 元數(shù)據(jù)管理，直觀進行數(shù)據(jù)湖構(gòu)建及管理

• 支持 Apache Iceberg, Hudi, DeltaLake等所有主流數(shù)據(jù)湖框架

• 一個接口一個引擎一份數(shù)據(jù)，提供統(tǒng)一的分析查詢、數(shù)據(jù)攝取、數(shù)據(jù)湖管理平臺

• 批流一體，支持流式作業(yè)（Upcoming）

Apache Kyuubi (Incubating) 項目是社區(qū)驅(qū)動的，我們致力于在 Apache Way 的指導(dǎo)下，為用戶提供簡單易用的大數(shù)據(jù)產(chǎn)品，我們強調(diào)社區(qū)協(xié)作，互相幫助，共同成長。

首先，如果您在下載和使用 Apache Kyuubi (Incubating) 1.4.0-incubating 中發(fā)現(xiàn)任何問題，歡迎使用 Github Issues 功能，https://github.com/apache/incubator-kyuubi/issues，將您遇到的問題和社區(qū)分享。

如果您或者您的公司正在使用 Apache Kyuubi(Incubating) 并希望能夠和社區(qū)和其他用戶共享，可以在Who is using Apache Kyuubi (Incubating) ? (https://github.com/apache/incubator-kyuubi/discussions/925) 中進行留言。

我們也接受其他任何形式的幫助，詳見 https://github.com/apache/incubator-kyuubi#contributing，歡迎通過 [email protected] 訂閱我們的郵件列表，獲取社區(qū)最新動向。

在社區(qū)驅(qū)動的模式下，Apache Kyuubi (Incubating) 1.4.0-incubating 的正式發(fā)布，真誠地感謝每一位項目導(dǎo)師、社區(qū)貢獻者及用戶的信任、支持和幫助。

特別感謝對 1.4.0-incubating 版本有直接貢獻的社區(qū)小伙伴 （按照字典序進行排列）：

AnybodyHome, Brian Yue, Cheng Pan, Fei Wang, Fu Chen, Jagadesh Adireddi, Kent Yao, Min Zhao, Guoqing Yang, h, happytofly, hongdongdong, jiaoqingbo, qiuliang, qphien, senmiaoliu, simon, sunfangbin, sychen, timothy65535, ulysses-you, wFoget, xiebo03, xiongyinke, yanghua, yanyu34946, zhang1002, zhenjiaguo, zhouyifan279, zwangsheng, 張宇翔