新一代云原生數(shù)據(jù)庫的設(shè)計與實踐

數(shù)據(jù)庫與操作系統(tǒng)、中間件組成了基礎(chǔ)軟件的三駕馬車，也是企業(yè) IT 系統(tǒng)必不可少的核心技術(shù)。從上世紀(jì) 60 年代誕生至今，不論是互聯(lián)網(wǎng)行業(yè)還是銀行、電信、制造等傳統(tǒng)行業(yè)，都依賴著數(shù)據(jù)庫技術(shù)的演進(jìn)。

在步入云原生時代以后，傳統(tǒng)數(shù)據(jù)庫在服務(wù)可用性、數(shù)據(jù)可靠性、系統(tǒng)安全性、數(shù)據(jù)庫備份、軟硬件投入、系統(tǒng)托管、維護(hù)成本、部署擴容、資源利用率等關(guān)鍵方面都有所欠缺。在此背景下，分布式數(shù)據(jù)庫系統(tǒng)獲得了令人振奮的發(fā)展，云基礎(chǔ)設(shè)施和數(shù)據(jù)庫進(jìn)一步整合，彌補了傳統(tǒng)數(shù)據(jù)庫的痛點，帶來了高可擴展性、全面自動化、快速部署、節(jié)約成本、管理便捷等優(yōu)勢。關(guān)于數(shù)據(jù)庫技術(shù)的討論焦點已經(jīng)從上云（ On Cloud ）到如何與云原生真正結(jié)合（ In Cloud ），這是一種從外向內(nèi)的轉(zhuǎn)變，對于數(shù)據(jù)庫而言，擁抱云原生似乎是顯而易見又十分正確的道路。

業(yè)務(wù)種類繁多、數(shù)據(jù)存量大，成本居高不下；業(yè)務(wù)增速快，訴求不斷變化的挑戰(zhàn)，對數(shù)據(jù)庫底層技術(shù)能力帶來了更高的要求，如何設(shè)計一個面向未來的、云原生化的數(shù)據(jù)庫系統(tǒng)？數(shù)據(jù)湖技術(shù)帶來了怎樣的新特性？運維告警如何智能分析與診斷？這些問題都有賴數(shù)據(jù)庫與云原生工程師們的巧思妙手。

在7月22日即將舉辦的2022稀土開發(fā)者大會上，由字節(jié)跳動數(shù)據(jù)庫技術(shù)負(fù)責(zé)人張雷作為出品人的《新一代云原生數(shù)據(jù)庫》專場演講，將誠邀各個大廠的核心業(yè)務(wù)專家為開發(fā)者們帶來自身從業(yè)云原生數(shù)據(jù)庫使用探索中的寶貴經(jīng)驗分享。本屆開發(fā)者大會免費報名中，點擊文末閱讀原文或識別海報二維碼即可與各位牛人分享交流。

演講主題：云原生數(shù)據(jù)庫技術(shù)趨勢與英特爾最佳實踐

傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)基于緊耦合的設(shè)計方式，系統(tǒng)的靈活性和伸縮性受到很大的限制。隨著云原生時代的到來，資源池化，計算和存儲解耦，可以按需按量使用、彈性調(diào)度資源，云原生技術(shù)下的數(shù)據(jù)庫系統(tǒng)也成為未來技術(shù)的主流方向。云原生與分布式結(jié)合的新一代云原生數(shù)據(jù)庫具備了高擴展性、易用性、迭代快速、成本降低等特點。本演講分析了常用云原生數(shù)據(jù)庫的技術(shù)流行趨勢和技術(shù)架構(gòu)，同時也分享了用戶的云原生數(shù)據(jù)庫部署的案例分析，包括如何采用英特爾在數(shù)據(jù)庫技術(shù)上的從硬件到軟件的整體能力，來幫助用戶優(yōu)化其云原生數(shù)據(jù)庫的解決方案。

演講大綱：

1. 云原生數(shù)據(jù)庫技術(shù)發(fā)展趨勢
2. 云原生數(shù)據(jù)庫技術(shù)生態(tài)
3. 典型云原生分布式數(shù)據(jù)庫方案及英特爾最佳實踐

演講嘉賓：任曉蕾 英特爾數(shù)據(jù)中心與 AI 事業(yè)部解決方案架構(gòu)師

接近 20 年的 IT 工作經(jīng)驗，目前在英特爾公司擔(dān)任解決方案架構(gòu)師，主要的技術(shù)領(lǐng)域是大數(shù)據(jù)分析/數(shù)據(jù)庫，在數(shù)據(jù)庫和大數(shù)據(jù)類軟件的架構(gòu)設(shè)計和系統(tǒng)優(yōu)化方面具有豐富的經(jīng)驗。

演講主題：Apache Doris 的數(shù)據(jù)湖分析技術(shù)與應(yīng)用實踐

Apache Doris 是一款基于 MPP 架構(gòu)的開源分析型數(shù)據(jù)庫。依托其強大的并行處理能力和高性能算子，可以在海量數(shù)據(jù)集上提供亞秒級的交互式查詢體驗。而近年來，隨著數(shù)據(jù)湖技術(shù)飛速發(fā)展，越來越多的企業(yè)開始依托數(shù)據(jù)湖技術(shù)構(gòu)建其基礎(chǔ)數(shù)據(jù)的存儲架構(gòu)，并利用數(shù)據(jù)湖提供的批流一體，事務(wù)隔離和數(shù)據(jù)更新能力，沉淀了大量企業(yè)數(shù)據(jù)。本次分享，將介紹如何基于 Apache Doris 對數(shù)據(jù)湖中的數(shù)據(jù)進(jìn)行快速分析，以及 Doris 在多源數(shù)據(jù)聯(lián)邦查詢方面的功能和進(jìn)展。幫助聽眾了解 Apache Doris 的數(shù)據(jù)湖分析技術(shù)細(xì)節(jié)以及如何快速構(gòu)建高效的查詢分析體系。

演講大綱：

1. Apache Doris 簡介及核心功能一覽
2. Apache Doris 數(shù)據(jù)湖分析技術(shù)內(nèi)幕
3. 基于 Apache Doris 構(gòu)建統(tǒng)一的多源數(shù)據(jù)分析系統(tǒng)
4. Apache Doris 社區(qū)及未來規(guī)劃

演講嘉賓：李繼炳 SelectDB 高級軟件研發(fā)專家、Apache Doris Contributor

SelectDB 高級研發(fā)專家，主要從事 Apache Doris 查詢層優(yōu)化和數(shù)據(jù)湖相關(guān)研發(fā)工作，具有超過 10 年的大數(shù)據(jù)系統(tǒng)和數(shù)據(jù)庫內(nèi)核領(lǐng)域的設(shè)計與研發(fā)經(jīng)驗。加入 SelectDB 前，曾任百度大數(shù)據(jù)部高級研發(fā)工程師，負(fù)責(zé) Apache Doris 元數(shù)據(jù)模塊的設(shè)計與開發(fā)。后加入 AWS，負(fù)責(zé) AWS Snowmobile EB 級數(shù)據(jù)遷移服務(wù)的設(shè)計與實現(xiàn)。

演講主題：字節(jié)云原生數(shù)據(jù)庫（MySQL）的優(yōu)秀技術(shù)實踐

字節(jié)云原生數(shù)據(jù)庫（veDB for MySQL）自 2020 年 4 月推出以來，已經(jīng)在字節(jié)內(nèi)部業(yè)務(wù)大量上線并即將在火山引擎平臺正式公測，但由于內(nèi)部業(yè)務(wù)大都從 MySQL + 本地 NVME SSD 遷移而來，使用過程中也碰到了不少的問題。比較突出的是，計算存儲拉遠(yuǎn)后造成的性能問題。如何克服這些問題同時又不影響業(yè)務(wù)側(cè)體驗及口碑非常重要。本次演講會挑選幾個典型的技術(shù)案例，深入介紹 veDB （for MySQL）技術(shù)上是如何克服這些挑戰(zhàn)的。

演講大綱：

1. 字節(jié)云原生數(shù)據(jù)庫（MySQL）簡介
2. 技術(shù)案例一：Fast DDL
3. 技術(shù)案例二：Hot （Extended） Buffer Pool
4. 技術(shù)案例三：Quick Resharding
5. 技術(shù)案例四：Parallel Query
6. 未來技術(shù)發(fā)展方向

演講嘉賓：聶愿愿 字節(jié)跳動軟件工程師

畢業(yè)于武漢華中科技大學(xué)，有 10 余年的數(shù)據(jù)庫內(nèi)核開發(fā)經(jīng)歷，曾供職于IBM/Teradata/華為，2019 年加入字節(jié)跳動基礎(chǔ)架構(gòu)團隊，目前負(fù)責(zé) veDB (for MySQL) 技術(shù)方向及所在團隊。主要關(guān)注分布式數(shù)據(jù)庫、分布式存儲技術(shù)方向。加入字節(jié)跳動后，從無到有參與構(gòu)建了 veDB (for MySQL) 產(chǎn)品，并已在字節(jié)內(nèi)部大量上線應(yīng)用。

演講主題：云時代下的數(shù)據(jù)庫自治體系建設(shè)與實踐

伴隨業(yè)務(wù)的高速擴張，美團私有云數(shù)據(jù)庫出現(xiàn)井噴，伴隨而來的是大量的告警。這些告警的根因往往需要運維人員長時間的分析，并帶來了不可控的時間成本以及誤判風(fēng)險，由此造成的小故障擴大成大事故的案例數(shù)不勝數(shù)。因此，本次的主題將會介紹如何利用實時計算能力 (Flink/Spark) 構(gòu)建海量監(jiān)控數(shù)據(jù)的計算和存儲、基于海量數(shù)據(jù)豐富數(shù)據(jù)庫的可觀測性、結(jié)合專家經(jīng)驗 + AI 實現(xiàn)數(shù)據(jù)庫異常發(fā)現(xiàn)和根因定位、讓決策和處理聯(lián)動提升故障自愈的能力。

演講大綱：

1. 數(shù)據(jù)庫實例高速增長下，團隊面臨的主要矛盾
2. PB 級的海量監(jiān)控數(shù)據(jù)實時計算和存儲能力建設(shè)
3. 完善數(shù)據(jù)庫可觀測性（全量 SQL/Transaction/Lock 等）
4. 基于 AI 的數(shù)據(jù)庫異常發(fā)現(xiàn)、根因定位和故障自愈
5. 實際場景中的經(jīng)典案例展示

演講嘉賓：蔡金龍 美團基礎(chǔ)研發(fā)平臺數(shù)據(jù)庫研發(fā)主管

美團數(shù)據(jù)庫平臺研發(fā)組負(fù)責(zé)人，負(fù)責(zé)過 SRE、KV 和 DBA 相關(guān)運維團隊，主導(dǎo)了美團關(guān)系數(shù)據(jù)庫變更和管控平臺 RDS、數(shù)據(jù)庫自治服務(wù) DAS 和數(shù)據(jù)庫安全防火墻 DBSS 相關(guān)項目從 0-1 的建設(shè)。目前正在構(gòu)建新一代數(shù)據(jù)庫智能運維平臺，借助 AI 實現(xiàn)數(shù)據(jù)庫高度自治。

演講主題：Google Cloud 在云原生數(shù)據(jù)庫上的實踐和探索

云原生數(shù)據(jù)庫的發(fā)展日新月異，“向左走，還是向右走”？Google Cloud 作為全球數(shù)據(jù)庫的領(lǐng)導(dǎo)者，構(gòu)建了一個日益完整的云原生數(shù)據(jù)庫體系，通過持續(xù)創(chuàng)新、引領(lǐng)潮流，協(xié)助我們的用戶解決諸多數(shù)據(jù)計算、存儲、分析、管理所面臨的挑戰(zhàn)和問題，激發(fā)業(yè)務(wù)活力。

演講大綱：

1. 云原生數(shù)據(jù)庫的概覽
2. Spanner 數(shù)據(jù)庫帶來的創(chuàng)新
3. AlloyDB 在 Log is database 的探索

講師信息：郭斌 Google Cloud 數(shù)據(jù)庫架構(gòu)師

多年數(shù)據(jù)庫技術(shù)實踐經(jīng)驗，精通主流關(guān)系型數(shù)據(jù)庫和 NoSQL 數(shù)據(jù)庫，對各類新的數(shù)據(jù)庫技術(shù)有著深入的理解和豐富的實戰(zhàn)經(jīng)驗，特別是近兩年來和游戲公司合作較多，對游戲公司的數(shù)據(jù)庫需求吃得很準(zhǔn)，鉆得很深。加入谷歌之前，曾在 Elastic、MongoDB、Oracle 擔(dān)任架構(gòu)師、咨詢工程師等職位。

 本屆大會策劃的專題除新一代云原生數(shù)據(jù)庫以外，還包括了開源和商業(yè)化探索、大前端、低代碼、業(yè)務(wù)背后的架構(gòu)演進(jìn)、微服務(wù)和Serverless、云原生技術(shù)架構(gòu)和變革等十?dāng)?shù)個技術(shù)專場，由來自字節(jié)、阿里、騰訊、快手等公司具備技術(shù)影響力與洞察力的行業(yè)專家負(fù)責(zé)議題把控，目前大會出品人已全部集齊，講師陣容即將確認(rèn)完畢。除了為期兩天的沉浸式內(nèi)容體驗，稀土開發(fā)者大會還為萬千開發(fā)者朋友們準(zhǔn)備了豐厚的獎品，報名參會的開發(fā)者將有機會參與抽獎，贏取豐厚大獎，敬請期待。

點擊下方閱讀原文，即刻免費報名搶占最佳觀景位！