Kylin 性能 | 性能全面提升:Kylin4 vs Kylin3 官方性能測試報告
Kylin 社區(qū)于 2021 年 08 月 30 日發(fā)布 Apache Kylin 4.0.0，這是 Kylin 4.X (Kylin on Parquet) 的第一個正式版本。Apache Kylin 的目標是成為一個高性能、低云上 TCO 的開源 OLAP 平臺。Kylin 4 升級了架構，使 Kylin 的學習、部署、調優(yōu)更加簡單，也使得在云上的部署、擴容更加簡單。如果你對技術架構的細節(jié)感興趣的話，歡迎閱讀我們的技術文章：https://kylin.apache.org/blog/2021/07/02/Apache-Kylin4-A-new-storage-and-compute-architecture/
為了使得新老用戶能夠簡單直接地了解 Kylin 3 和 Kylin 4 的性能差別，Kylin 發(fā)布小組在一個標準的軟硬件環(huán)境，提供一個易于復現、易于觀測的性能測試方式，從而為用戶提供不同版本之間 Kylin、乃至不同 OLAP 工具之間性能比較的手段。由于我們比較熟悉 AWS 系列產品，所以這里選擇 AWS 平臺的 EMR 產品作為測試平臺。
準備
01
硬件資源一覽
備注：
什么是 vCPU？Each vCPU is a thread of either an Intel Xeon core or an AMD EPYC core, except for M6g instances, A1 instances, T2 instances, and m3.medium.
關于選用的節(jié)點（EC2）的詳細硬件信息， 請訪問 AWS 官網：https://aws.amazon.com/ec2/instance-types
Kylin 3 使用磁盤空間較多，所以 Core 節(jié)點使用數據盤尺寸為 700GB；與此相對的，Kylin 4 的集群 Core 節(jié)點數據盤尺寸為 400GB
創(chuàng)建 EMR 集群的描述文件見附件
02
Hadoop 組件版本一覽
備注：
關于AWS EMR Hadoop 的更多版本信息，請訪問官網 https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-5x.html#emr-5310-components
03
性能度量標準一覽
04
測試步驟
準備測試需要的 JMeter 文件，創(chuàng)建 EMR 集群的腳本
按照 scale factor = 10 分別創(chuàng)建 TPC-H 和 SSB 的數據文件，保存到 S3
創(chuàng)建 EMR 集群，根據不同 Kylin 的版本，對應的 Hadoop 組件有所不同，具體參考附件提供的腳本
下載 TPC-H 和 SSB 的數據文件，Hive 建表
部署和啟動 Kylin 實例
導入 TPC-H 或者 SSB 的 Kylin 元數據，觸發(fā)構建任務
記錄 “Cubing Duration” 和 “Storage Size”
下載 JMeter 文件，在三分鐘的預熱查詢后，依次執(zhí)行單線程串行查詢測試，多線程并發(fā)查詢測試，每輪測試 15 分鐘，測試完成收集保存 JMeter 的報告文件
釋放集群資源，測試結束
測試結果
01
TPC-H 基準結果
平均查詢響應時間對比
并發(fā)測試對比
對于 Kylin 4，我們做了單線程和四線程查詢性能對比測試，結果如下。
02
SSB 基準結果
平均查詢響應時間對比
結論
數據加載時間和 Cube 存儲大小
相對 Kylin 3 的 MR 構建引擎，得益于較高的資源利用率，同時減少了轉換為 HFile 的步驟，Kylin 4 大大減少構建 Cube 使用的時間，構建時間（Cubing Duration）減少了 62.6%；
由于 Kylin 3 存在兩份不同格式的 Cube 文件，并且列式存儲的 Parquet 使用的空間也較少，Kylin 4 的 Cube 磁盤空間（Storage Size）也大幅降低了 72.56%。
查詢性能
在復雜查詢場景下，Kylin 3 查詢優(yōu)化難度較大，需要對 HBase RS Server、Kylin Query Server 進行反復優(yōu)化，并且壓力測試場景下出現查詢節(jié)點不穩(wěn)定，查詢響應時間隨時間進行不斷變差的情況；Kylin 4 由于去除了Query Server 的單點瓶頸，Response Time 和 QPS 都有明顯提升，在 TPC-H 查詢集上，Kylin 4 有 5-7 倍的提升，其并發(fā)也有 4 倍的提升。
在點查詢場景下，Kylin 4 經過一些基本的調參，性能也能滿足亞秒級查詢的需求，與 Kylin 3 表現相對比較接近。
學習成本和調參難度
相對 Kylin 3 有眾多的構建步驟，同時也依賴多種組件，如 Hive、MapReduce、HBase，需要學習和了解多種技術架構，熟悉多種組件參數配置，學習成本和調參難度較大。
與此對應，Kylin 4 構建和查詢都統(tǒng)一切換到流行的 Spark 計算引擎，新用戶上手 Kylin 4，學習和調參基本只需要掌握 Spark 即可，這些學習材料可以說很容易找到，并且常用的參數項要遠遠少于 Kylin 3。
其它
由于時間原因，這里 Kylin 3 的構建過程并沒有使用 Spark 和 Flink 來進行測試，我們相信如果使用 Spark 和 Flink 作為構建引擎， Kylin 3 的構建速度會得到一定程度的提升，但是由于存在轉換為 HFile 的步驟， Kylin 3 仍會慢于 Kylin 4。
囿于精力和個人水平，這次測試過程并沒有做到百分百的發(fā)揮不同版本的最好水平，筆者在此特附上性能測試使用的配置文件、腳本、HTML 測試報告，歡迎大家多多嘗試和發(fā)現更多有趣的結論。謝謝大家。
文檔/附件 & 推薦閱讀
Kylin 4 with TPC-H: https://github.com/Kyligence/kylin-tpch/issues/6
點擊閱讀原文，查看測試報告