數(shù)據(jù)庫(kù)“自動(dòng)駕駛”，騰訊云原生數(shù)據(jù)庫(kù) X AI 探索與突破！

導(dǎo)語(yǔ)?|?騰訊云原生數(shù)據(jù)庫(kù)團(tuán)隊(duì)最新研究成果入選國(guó)際頂會(huì)SIGMOD，數(shù)據(jù)庫(kù)結(jié)合AI形成自治大腦，并在2022年智能調(diào)優(yōu)人機(jī)大賽中戰(zhàn)績(jī)不菲，標(biāo)志著騰訊云在數(shù)據(jù)庫(kù)自治領(lǐng)域取得重大突破，實(shí)現(xiàn)性能領(lǐng)先。

—— 周可/華中科技大學(xué)教授

周可教授表示，在海量數(shù)據(jù)的大背景下，DBA（人工運(yùn)維）的增長(zhǎng)遠(yuǎn)遠(yuǎn)跟不上數(shù)據(jù)的增長(zhǎng)，且用戶(hù)負(fù)載具有多樣性和動(dòng)態(tài)性，一成不變的運(yùn)維方式已不能夠滿(mǎn)足用戶(hù)的需求。把AI加入到數(shù)據(jù)庫(kù)，形成數(shù)據(jù)庫(kù)的自治大腦，符合數(shù)據(jù)庫(kù)自治的發(fā)展方向。

實(shí)現(xiàn)數(shù)據(jù)庫(kù)自治的基本框架包括觀察、分析、決策三個(gè)方面。用更低的成本收集負(fù)載數(shù)據(jù)，根據(jù)收集到的數(shù)據(jù)選擇合適的方法進(jìn)行分析，最后決策部分解決何時(shí)部署，量化操作以便于模型處理，進(jìn)行反饋操作使模型能夠進(jìn)行自學(xué)習(xí)，自?xún)?yōu)化，從而使自治數(shù)據(jù)庫(kù)可以在不需要人工輔助的前提下，針對(duì)特定的數(shù)據(jù)和負(fù)載自動(dòng)地進(jìn)行配置、管理和優(yōu)化。

未來(lái)，數(shù)據(jù)庫(kù)自治面臨的挑戰(zhàn)有三方面：

• 數(shù)據(jù)庫(kù)負(fù)載動(dòng)態(tài)多樣，需要保證數(shù)據(jù)庫(kù)的高效適應(yīng)性；

• 用更少的資源，保證數(shù)據(jù)庫(kù)的性能穩(wěn)定性；

• 數(shù)據(jù)庫(kù)自治操作具有可解釋性，以便幫助系統(tǒng)管理員從中學(xué)習(xí)，還可以促進(jìn)系統(tǒng)的優(yōu)化發(fā)展。

—— 邢家樹(shù)/TEG數(shù)據(jù)庫(kù)研發(fā)部/云原生數(shù)據(jù)庫(kù)研發(fā)中心/高級(jí)工程師

數(shù)據(jù)庫(kù)的參數(shù)多，調(diào)優(yōu)難度大，運(yùn)維人時(shí)成本高；現(xiàn)存工具功能有限，耗時(shí)久且效果一般；部分用戶(hù)沒(méi)有專(zhuān)職運(yùn)維團(tuán)隊(duì)，參數(shù)調(diào)優(yōu)更是難以實(shí)現(xiàn)。針對(duì)種種困難，騰訊云數(shù)據(jù)庫(kù)團(tuán)隊(duì)推出參數(shù)調(diào)優(yōu)服務(wù)，端到端地自動(dòng)調(diào)優(yōu)數(shù)據(jù)庫(kù)參數(shù)。相比于現(xiàn)存方法，CDBTune（騰訊云MySQL混合調(diào)優(yōu)系統(tǒng)）無(wú)需細(xì)分負(fù)載類(lèi)型，無(wú)需積累大量樣本，可智能學(xué)習(xí)參數(shù)調(diào)優(yōu)過(guò)程，獲得較好的參數(shù)調(diào)優(yōu)效果 。

原理上采用深度強(qiáng)化學(xué)習(xí)模型。通過(guò)對(duì)數(shù)據(jù)庫(kù)進(jìn)行壓測(cè)，記錄數(shù)據(jù)庫(kù)的內(nèi)外部指標(biāo)，生成樣本進(jìn)行學(xué)習(xí)。使用遺傳算法和專(zhuān)家經(jīng)驗(yàn)進(jìn)行快速預(yù)熱，通過(guò)并行架構(gòu)顯著提升調(diào)優(yōu)速度。實(shí)行端到端的設(shè)計(jì)，簡(jiǎn)單、高效且易于訓(xùn)練，易于實(shí)現(xiàn)服務(wù)化，能夠在盡可能少的時(shí)間里，為用戶(hù)找到最佳調(diào)優(yōu)方向。

落地到工程實(shí)踐應(yīng)用層面。分離服務(wù)調(diào)度和任務(wù)執(zhí)行工作，由worker執(zhí)行具體的任務(wù)。Learner任務(wù)負(fù)責(zé)抽取樣本，計(jì)算網(wǎng)絡(luò)梯度，更新神經(jīng)網(wǎng)絡(luò)，為Actor推薦數(shù)據(jù)庫(kù)參數(shù)。Actor則負(fù)責(zé)與訓(xùn)練實(shí)例交互，設(shè)置參數(shù)，回放流量，并收集性能數(shù)據(jù)；每完成一輪，從Learner獲取新的參數(shù)推薦，形成閉環(huán)。整體上實(shí)現(xiàn)為并行架構(gòu)，具備高可用、可擴(kuò)展、任務(wù)自動(dòng)恢復(fù)等能力。

—— 張遠(yuǎn)/TEG數(shù)據(jù)庫(kù)研發(fā)部/云原生數(shù)據(jù)庫(kù)研發(fā)中心/專(zhuān)家工程師

在數(shù)據(jù)庫(kù)服務(wù)中，數(shù)據(jù)庫(kù)資源包括內(nèi)存/IO/CPU，資源的監(jiān)控，異常的識(shí)別、檢測(cè)非常重要，只有合理地使用數(shù)據(jù)庫(kù)資源，才能保持?jǐn)?shù)據(jù)庫(kù)服務(wù)的穩(wěn)定高效。騰訊云MySQL的異常檢測(cè)能力，可自動(dòng)發(fā)現(xiàn)異常（內(nèi)存分析、內(nèi)核埋點(diǎn)、io延遲硬件資源統(tǒng)計(jì)），對(duì)異常進(jìn)行識(shí)別，實(shí)現(xiàn)異常檢測(cè)內(nèi)部閉環(huán)，降低運(yùn)維壓力。

騰訊云MySQL可設(shè)置SQL限流功能，在發(fā)現(xiàn)異常請(qǐng)求之后，對(duì)異常業(yè)務(wù)SQL進(jìn)行限流，從而保證正常SQL語(yǔ)句能夠運(yùn)行；改進(jìn)MySQL官方原有直方圖，推出Compressed直方圖，避免了因數(shù)據(jù)傾斜導(dǎo)致統(tǒng)計(jì)信息不準(zhǔn)，選錯(cuò)計(jì)劃而導(dǎo)致的問(wèn)題；推出Statment Outline功能，將用戶(hù)需要的查詢(xún)計(jì)劃固化下來(lái)，不需要修改SQL語(yǔ)句，從Outlint表中即可查詢(xún)到對(duì)應(yīng)的計(jì)劃，從而提升用戶(hù)使用體驗(yàn)；對(duì)新建索引進(jìn)行并行優(yōu)化，推出并行排序優(yōu)化，并行構(gòu)建btree，與官方mysql對(duì)比，性能更好（加速比最高可到15，是官方mysql的5倍），功能更全；優(yōu)化器自治方面，跟蹤業(yè)務(wù)SQL性能數(shù)據(jù) (SQL標(biāo)簽,性能埋點(diǎn),變化跟蹤)，自動(dòng)產(chǎn)生優(yōu)化策略(統(tǒng)計(jì)信息,虛擬索引,計(jì)劃干預(yù))，驗(yàn)證優(yōu)化策略并灰度生效，實(shí)現(xiàn)SQL調(diào)優(yōu)閉環(huán)，降低規(guī)模化運(yùn)營(yíng)壓力。

針對(duì)特定業(yè)務(wù)場(chǎng)景性能問(wèn)題，對(duì)死鎖場(chǎng)景優(yōu)化，設(shè)置死鎖檢測(cè)開(kāi)關(guān)，豐富死鎖信息，對(duì)事務(wù)鎖優(yōu)化，降低發(fā)生死鎖的概率同時(shí)減少了鎖資源占用；對(duì)電商業(yè)務(wù)的秒殺場(chǎng)景，動(dòng)態(tài)一鍵開(kāi)啟熱點(diǎn)更新保護(hù)功能，使業(yè)務(wù)無(wú)感知，秒殺場(chǎng)景性能提升50倍；遷移切換場(chǎng)景優(yōu)化，通過(guò)主備緩存同步優(yōu)化解決HA預(yù)熱時(shí)間長(zhǎng)等問(wèn)題，使HA業(yè)務(wù)平滑過(guò)度，減少抖動(dòng)。

——?程昌明/CSIG云產(chǎn)品一部/數(shù)據(jù)庫(kù)中心/高級(jí)產(chǎn)品經(jīng)理

由于業(yè)務(wù)系統(tǒng)的千差萬(wàn)別，針對(duì)業(yè)務(wù)的參數(shù)調(diào)優(yōu)是令數(shù)據(jù)庫(kù)管理者頭痛的難題，往往需要借助經(jīng)驗(yàn)去構(gòu)筑一套相對(duì)“有效”的參數(shù)模版，往往模板無(wú)法應(yīng)對(duì)所有情況。“智能”以適應(yīng)任何業(yè)務(wù)場(chǎng)景。

騰訊云MySQL在2019和2022年發(fā)表2篇SIGMOD頂級(jí)論文：

• 2019年，騰訊云數(shù)據(jù)庫(kù)產(chǎn)品團(tuán)隊(duì)首度提出基于深度強(qiáng)化學(xué)習(xí)(DRL)的端到端云數(shù)據(jù)庫(kù)參數(shù)調(diào)優(yōu)系統(tǒng)CDBTune，該研究論文“An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning”入選SIGMOD Research Full Paper（研究類(lèi)長(zhǎng)文）

• 2022年，騰訊云數(shù)據(jù)庫(kù)產(chǎn)品團(tuán)隊(duì)最新研究成果入選 SIGMOD Research Full Paper（研究類(lèi)長(zhǎng)文），論文題目為“HUNTER: An Online Cloud Database Hybrid Tuning System for Personalized Requirements”，標(biāo)志著騰訊云數(shù)據(jù)庫(kù)團(tuán)隊(duì)在數(shù)據(jù)庫(kù)AI智能化上取得進(jìn)一步突破，實(shí)現(xiàn)性能領(lǐng)先。

通過(guò)AI智能分析的方式，能夠獲得最佳的調(diào)參效果；通過(guò)“一鍵”方式，完成復(fù)雜的調(diào)參過(guò)程，獲得最佳參數(shù)設(shè)置建議。根據(jù)業(yè)務(wù)情況，業(yè)務(wù)每個(gè)階段需要的特性是不一樣的。騰訊云MySQL的最佳實(shí)踐可對(duì)應(yīng)到業(yè)務(wù)的以下三個(gè)階段：

實(shí)例新購(gòu)階段：針對(duì)每一種場(chǎng)景訓(xùn)練最優(yōu)配置，盡可能匹配業(yè)務(wù)特征，不同的工作負(fù)載上有15%-50%的提升。

業(yè)務(wù)快速迭代階段：確定業(yè)務(wù)類(lèi)型，不同的場(chǎng)景根據(jù)自身情況完全自定義，預(yù)估優(yōu)化結(jié)果，一鍵快速應(yīng)用到實(shí)例。以游戲?yàn)槔_(kāi)局時(shí)玩家瘋狂涌入；以電商為例，購(gòu)物峰值的產(chǎn)生；有預(yù)見(jiàn)性地提前設(shè)置好最佳參數(shù)以應(yīng)對(duì)即將到來(lái)的數(shù)據(jù)庫(kù)峰值壓力。

業(yè)務(wù)穩(wěn)定運(yùn)行階段：通過(guò)對(duì)數(shù)據(jù)庫(kù)的工作負(fù)載特征捕獲、重放，對(duì)監(jiān)控指標(biāo)、SQL運(yùn)行狀態(tài)進(jìn)行監(jiān)控分析，不斷通過(guò)深度學(xué)習(xí)調(diào)整參數(shù)值以最終輸出最佳參數(shù)值。

數(shù)據(jù)庫(kù)自治未來(lái)的“智能”展望 ，除了數(shù)據(jù)庫(kù)參數(shù)，還有各種各樣的因素影響著數(shù)據(jù)庫(kù)的高效運(yùn)行，SQL執(zhí)行效率、索引是否合理、鎖、資源配置等都可以通過(guò)“AI”的方式得到解決。

騰訊云MySQL“智能調(diào)參”將于5月份對(duì)外發(fā)出公測(cè)邀請(qǐng)，敬請(qǐng)期待！