StarRocks開源——攜手未來，星辰大海！

（復雜的企業(yè)數據分析架構）

第一，數據分析性能不達標。

隨著數據驅動的深入，業(yè)務提出了更多的分析需求，比如多維分析，實時分析，高并發(fā)查詢和 Adhoc 查詢。在很多分析需求場景下，當前系統(tǒng)性能表現不佳，無法提供極速分析體驗。

第二，數據分析的靈活性不足。

很多時候，為了能夠提供極速分析體驗，你需要針對各類場景構建大寬表，或者做復雜的預處理，而這損失了分析靈活性。特別是在自助化BI這樣靈活的場景下，星型模型和雪花模型的價值不可替代。現有的系統(tǒng)難以同時高性能支持這些建模手段。

第三，數據架構復雜度太高。

為了滿足業(yè)務的多種分析需求，你必須搭建多套系統(tǒng)來組合使用。這讓分析層架構變得非常復雜，導致開發(fā)維護成本以及業(yè)務使用成本都很高。另外，隨著各類實時分析場景的興起，你需要同時構建離線數據鏈路和實時數據鏈路。但數據同步、數據一致性、計算邏輯同步、異常數據處理、多系統(tǒng)運維等問題馬上就接踵而至。你只能疲于應付。

第四，數據分析能力彈性不足。

你的數據規(guī)模越來越大，對應的數據分析系統(tǒng)需要不斷地擴容；不同的業(yè)務線有不同的數據分析訪問量，需要保證每個業(yè)務線的SLA；有的業(yè)務還有大促，周年慶等流量高峰，如何保證既能支持好業(yè)務，又能節(jié)省成本？相信這些問題沒少讓你頭疼。

產生這些問題的根本原因，是舊的大數據技術架構已經不能滿足當前業(yè)務高速發(fā)展的需求。在舊的底層架構上進行修修補補只能解決部分問題。要想從根本上破局，就需要一套全新的“極速統(tǒng)一”的數據架構。“極速”，意味著全面提升數據處理和分析的性能；“統(tǒng)一”意味著將復雜分散的數據架構融合為簡單統(tǒng)一的架構。

為此我們決定把我們的核心產品DorisDB升級為StarRocks，并全面開源（Github搜索“StarRocks”），和全球大數據從業(yè)者一起構建新一代極速統(tǒng)一的數據分析架構！

StarRocks 開創(chuàng)全新的極速統(tǒng)一分析

2020年初，當時還沒有人相信一個企業(yè)的數據分析架構可以統(tǒng)一，但我們相信“極速統(tǒng)一分析”一定可以實現。經過團隊近20個月夜以繼日的努力，我們攻克了諸多“不可能”的技術難題，通過自主研發(fā)新一代的技術，我們將StarRocks打造成了具有劃時代意義的產品：“新一代極速全場景MPP數據庫”

• 全新設計的全面向量化 MPP 查詢引擎，同時支持極速的單表和多表查詢性能 。

StarRocks自主打造的新一代全面向量化的MPP引擎使查詢性能大幅提高，是非原生向量化系統(tǒng)（Kylin / Druid / Elasticsearch / Impala-Kudu / Presto / Greenplum）的3～5倍以上。ClickHouse向量化引擎并不支持全面的MPP，多表查詢能力差，StarRocks的多表查詢性能是其3～5倍以上。

• 全新設計的實時列式存儲引擎，具備極致的實時更新和查詢性能。

在實時更新下，StarRocks查詢性能是其他產品的3～5倍以上。

• 全新設計的數據分布模式，具備高并發(fā)查詢能力。

其他系統(tǒng)都無法較好支持高并發(fā)查詢，StarRocks可以支持每秒上萬次的并發(fā)查詢能力。

• 全新設計的 CBO 優(yōu)化器，支持極速的秒級 AdHoc 查詢。

StarRocks性能可以做到主流AdHoc查詢系統(tǒng)Presto的5倍以上，可以做到秒級延遲。

• 全新設計的現代化物化視圖，具備靈活透明的預計算加速能力。

其他產品無法做到非常好的透明化加速，具有較高的開發(fā)和管理成本，StarRocks在可以靈活透明加速的現代化物化視圖方面進行了大量創(chuàng)新。

通過這些獨特的技術能力，StarRocks真正實現了極速統(tǒng)一分析：

• StarRocks可以同時高效支持OLAP多維分析、實時數據分析、高并發(fā)查詢、AdHoc查詢等多場景，并且比上一代同類型產品的分析能力快3～5倍以上。

• 全新的OLAP多維分析體驗，打破“只能做大寬表”的局限性，讓多種數據建模模式：預計算、大寬表、星型模型和雪花模型等都具備極速分析體驗。

• 全新的實時數據分析體驗，真正支持實時更新和刪除，并能保證極速查詢性能。

• 全新的高并發(fā)查詢體驗，突破傳統(tǒng)OLAP無法高并發(fā)的限制，支持數千人同時訪問。

• 全新極簡統(tǒng)一的OLAP架構，大大降低了使用和運維管理復雜度，提升了開發(fā)和使用效率。

“極速統(tǒng)一分析”并不是終局，而是新的起點

在當前極速統(tǒng)一的數據分析架構的基礎上，我們的下一個目標是要打造“新一代流批融合的極速湖倉（Lakehouse）”。眾所周知，在當前主流的數據處理鏈路中，實時數據處理和離線數據處理是割裂的。企業(yè)要管理好這兩種數據處理場景，往往系統(tǒng)架構復雜、難于維護。而我們要在StarRocks里實現這兩種數據處理方式的融合。

• 我們將設計全新實時和離線融合的云原生架構，可以同時高效管理實時數據和離線數據。

雖然云原生標桿Snowflake在離線數據場景下打造了先進的存儲計算分離架構，但是這個架構在實時數據分析支持上存在很大不足。我們將設計新一代云原生架構，同時高性能支持實時數據和離線數據的寫入和讀取。

• 我們還將設計全新流批融合的向量化計算引擎，可以同時進行極速的批處理和流處理。

通過打造全新的向量化批處理引擎，可以實現比Apache Spark快5～10倍以上的批處理速度。同時完美融合流式語義，利用向量化技術提升流處理性能。用戶無需再忍受使用Spark和Flink分散進行批處理和流處理帶來的復雜性！

“堅持大膽嘗試，實現不可能”是我們一直踐行的價值觀。在未來一年半左右的時間內，我們將和社區(qū)一起打造全新的StarRocks。讓企業(yè)的離線數據和實時數據可以采用同一套架構、同一種語義、同一個引擎來處理，讓數據架構實現全面的“極速統(tǒng)一”，“讓原本簡單的事情回歸簡單”！

一個人走得快，一群人走得遠

為了實現這些偉大夢想，我們將在全球范圍內構建StarRocks開源生態(tài)，吸引優(yōu)秀的有志之士一起來參與社區(qū)建設。我們將不遺余力地推動更多的全球用戶加入社區(qū)，了解和評測StarRocks，使用和改進StarRocks。我們還將推動全球的數據工程師/數據分析師與社區(qū)一起，基于StarRocks構建各類數據分析場景的新一代解決方案。

如果你也和我們一樣，心懷夢想，請現在就關注我們，參與社區(qū)建設，在Github上給StarRocks加一個星吧。讓我們一起來創(chuàng)造“極速統(tǒng)一”的大數據新時代，向不可能說不！

StarRocks——攜手未來，星辰大海！

掃碼加入StarRocks社區(qū)交流群，或關注微信公眾號回復“加群”