云原生視角下，新一代數(shù)據(jù)平臺架構(gòu)怎么演進？

過去的 20 年里，大數(shù)據(jù) & AI 系統(tǒng)的技術(shù)架構(gòu)演進由三方面推動：海量數(shù)據(jù)分析需求、開放開源的技術(shù)進步、以云為代表的軟硬件基礎(chǔ)設(shè)施升級。

云原生驅(qū)動下，新一代數(shù)據(jù)平臺的架構(gòu)迭代方向指向何方？業(yè)界數(shù)據(jù)湖與數(shù)據(jù)倉庫的爭論由來已久，數(shù)據(jù)湖的靈活性與數(shù)倉的管理能力成為大數(shù)據(jù)架構(gòu)設(shè)計的“魚”和“熊掌”，想要二者兼得是否可行？

 

2020 年，AWS、Databricks、阿里云同時提出“湖倉一體”概念，這一兩者融合演進的新方向讓業(yè)界耳目一新。

 

盡管有相同的目標，各個公司的演進路線卻不盡相同，主要分為兩種，一為湖倉融合，以 AWS 和阿里云的 MaxCompute 為代表，二為上下層結(jié)構(gòu)，以 Databricks 的 Lakehouse 為代表。

 

那么“湖倉一體”能否真正落地？這些實踐者具體的路徑是怎樣的？分別適用于什么樣的場景？MaxCompute 實際表現(xiàn)如何？Databricks 的 Photon Engine 是否能夠真正實現(xiàn)一個 Engine 解決所有問題？

 

將于 7 月 23-24 日在深圳舉辦的 ArchSummit 全球架構(gòu)師峰會邀請到阿里云計算平臺事業(yè)部研究員，阿里巴巴通用計算平臺負責人關(guān)濤（觀滔）擔任出品人，邀請 Databricks 等公司的一線專家同臺分享，試從“云原生”的視角，探討新一代數(shù)據(jù)平臺的架構(gòu)迭代方向。包括但不限于湖倉一體落地實踐、統(tǒng)一數(shù)據(jù)存儲（HDFS、OSS 等技術(shù)演進）、Caching 層（Alluxio/JindoFS 為代表）、統(tǒng)一資源管理的挑戰(zhàn) (K8s 支持大數(shù)據(jù)計算的不足、混部技術(shù)）、統(tǒng)一元數(shù)據(jù)中心的技術(shù)演進、存算分離以及分布式內(nèi)存池等等。

戳??【閱讀原文】了解更多大會內(nèi)容