數(shù)字化轉(zhuǎn)型下數(shù)據(jù)庫面臨的12個(gè)挑戰(zhàn)

數(shù)字化及數(shù)字化轉(zhuǎn)型，是近些年來非?；馃岬脑掝}。本文將從這一角度切入，談?wù)剶?shù)字化場景下對數(shù)據(jù)庫發(fā)展趨勢帶來的影響。

1. 數(shù)據(jù)、數(shù)字化、數(shù)字化轉(zhuǎn)型

數(shù)據(jù)，是數(shù)字化實(shí)現(xiàn)的新引擎。數(shù)據(jù)是企業(yè)開展數(shù)字化創(chuàng)新和構(gòu)建企業(yè)數(shù)字化基因的核心要素。通過對于服務(wù)對象、行為及相關(guān)經(jīng)營數(shù)據(jù)的分析，能夠幫助企業(yè)對業(yè)務(wù)發(fā)展形成全方位視角，進(jìn)而提升決策質(zhì)量與業(yè)績表現(xiàn)?？梢哉f，數(shù)據(jù)正在扮演的愈發(fā)重要的作用。僅僅從數(shù)據(jù)總量的發(fā)展，就可以簡單看到這一趨勢。

★ 上圖摘自IDC的預(yù)測報(bào)告

2).數(shù)字化

數(shù)字化，是指利用互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能、區(qū)塊鏈、人工智能等新一代信息技術(shù)，來對企業(yè)、政府等各類主體的戰(zhàn)略、架構(gòu)、運(yùn)營、管理、 生產(chǎn)、營銷等各個(gè)層面，進(jìn)行系統(tǒng)性的、全面的變革，強(qiáng)調(diào)的是數(shù)字技術(shù)對整個(gè)組織的重塑，數(shù)字技術(shù)能力不再只是單純的解決降本增效問題，而成為賦能模式創(chuàng)新和業(yè)務(wù)突破的核心力量。與傳統(tǒng)的信息化相比，數(shù)字化是在信息化高速發(fā)展的基礎(chǔ)上誕生和發(fā)展的，但與傳統(tǒng)信息化條塊化服務(wù)業(yè)務(wù)的方式不同，數(shù)字化更多的是對業(yè)務(wù)和商業(yè)模式的系統(tǒng)性變革、重塑。

? 數(shù)字化作用

• 數(shù)字化打通了企業(yè)信息孤島釋放了數(shù)據(jù)價(jià)值。信息化是充分利用信息系統(tǒng)，將企業(yè)的生產(chǎn)過程、事務(wù)處理、現(xiàn)金流動(dòng)、客戶交互等業(yè)務(wù)過程，加工生成相關(guān)數(shù)據(jù)、信息、知識來支持業(yè)務(wù)的效率提升，更多是一種條塊分割、煙囪式的應(yīng)用，而數(shù)字化則是利用新一代ICT技術(shù)，通過對業(yè)務(wù)數(shù)據(jù)的實(shí)時(shí)獲取、網(wǎng)絡(luò)協(xié)同、智能應(yīng)用，打通了企業(yè)數(shù)據(jù)孤島，讓數(shù)據(jù)在企業(yè)系統(tǒng)內(nèi)自由流動(dòng)，數(shù)據(jù)價(jià)值得以充分發(fā)揮。
• 數(shù)字化以數(shù)據(jù)為主要生產(chǎn)要素。數(shù)字化，以數(shù)據(jù)作為企業(yè)核心生產(chǎn)要素，要求將企業(yè)中所有的業(yè)務(wù)、生產(chǎn)、營銷、客戶等有價(jià)值的人、事、物全部轉(zhuǎn)變?yōu)閿?shù)字存儲(chǔ)的數(shù)據(jù)，形成可存儲(chǔ)、可計(jì)算、可分析的數(shù)據(jù)、信息、知識，并和企業(yè)獲取的外部數(shù)據(jù)一起，通過對這些數(shù)據(jù)的實(shí)時(shí)分析、計(jì)算、應(yīng)用來指導(dǎo)企業(yè)生產(chǎn)、運(yùn)營等各項(xiàng)業(yè)務(wù)。
• 數(shù)字化變革了企業(yè)生產(chǎn)關(guān)系，提升了企業(yè)生產(chǎn)力。數(shù)字化讓企業(yè)從傳統(tǒng)生產(chǎn)要素，轉(zhuǎn)向以數(shù)據(jù)為生產(chǎn)要素，從傳統(tǒng)部門分工轉(zhuǎn)向網(wǎng)絡(luò)協(xié)同的生產(chǎn)關(guān)系，從傳統(tǒng)層級驅(qū)動(dòng)轉(zhuǎn)向以數(shù)據(jù)智能化應(yīng)用為核心驅(qū)動(dòng)的方式，讓生產(chǎn)力得到指數(shù)級提升，使企業(yè)能夠?qū)崟r(shí)洞察各類動(dòng)態(tài)業(yè)務(wù)中的一切信息，實(shí)時(shí)做出最優(yōu)決策，使企業(yè)資源合理配置，適應(yīng)瞬息萬變的市場經(jīng)濟(jì)競爭環(huán)境，實(shí)現(xiàn)最大的經(jīng)濟(jì)效益。

? 數(shù)字化發(fā)展階段

隨著數(shù)字化技術(shù)及應(yīng)用日趨成熟，當(dāng)前全行業(yè)已經(jīng)進(jìn)入數(shù)字化全面發(fā)展的新時(shí)期，數(shù)字化在國家層面得到了前所未有的重視及推動(dòng)。但不同企業(yè)在數(shù)字化推進(jìn)發(fā)展差異較大。下圖為紅杉中國針對國內(nèi)16個(gè)行業(yè)222家企業(yè)在數(shù)字化推進(jìn)的調(diào)查。從中可見，企業(yè)間發(fā)展差異巨大，大部分企業(yè)處于探索及加速推進(jìn)階段；尚未廣泛應(yīng)用而取得成效。

? 數(shù)字經(jīng)濟(jì)發(fā)展迅速

近些年來，數(shù)字經(jīng)濟(jì)發(fā)展迅速。從總體來看，數(shù)字經(jīng)濟(jì)在整體國民經(jīng)濟(jì)中的比例不斷提升。

★ 摘自2020年艾瑞數(shù)字化報(bào)告

從發(fā)展來看，數(shù)字化進(jìn)程已經(jīng)逐步走到第二階段，從早期數(shù)字產(chǎn)業(yè)化占據(jù)主導(dǎo)，逐步過渡產(chǎn)業(yè)數(shù)字化占據(jù)主導(dǎo)。隨著不同產(chǎn)業(yè)數(shù)字化進(jìn)程深入，其必將迸發(fā)出巨大的潛能。產(chǎn)業(yè)數(shù)字化，是指基于互聯(lián)網(wǎng)技術(shù)和生態(tài)，對各個(gè)垂直產(chǎn)業(yè)的產(chǎn)業(yè)鏈和內(nèi)部的價(jià)值鏈進(jìn)行重塑和改造，從而形成的互聯(lián)網(wǎng)生態(tài)和形態(tài)，簡稱為產(chǎn)業(yè)互聯(lián)網(wǎng)。產(chǎn)業(yè)互聯(lián)網(wǎng)是一種新的經(jīng)濟(jì)形態(tài)，利用信息技術(shù)與互聯(lián)網(wǎng)平臺，充分發(fā)揮互聯(lián)網(wǎng)在生產(chǎn)要素配置中的優(yōu)化和集成作用，實(shí)現(xiàn)互聯(lián)網(wǎng)與傳統(tǒng)產(chǎn)業(yè)深度融合，將互聯(lián)網(wǎng)的創(chuàng)新應(yīng)用成果深化于國家經(jīng)濟(jì)、科技、軍事、民生等各項(xiàng)經(jīng)濟(jì)社會(huì)領(lǐng)域中，最終提升國家的生產(chǎn)力。從當(dāng)前這個(gè)產(chǎn)業(yè)來看，以金融行業(yè)為代表走到前列。但即使這樣，其數(shù)字化程度仍存在巨大空間。

3).數(shù)字化轉(zhuǎn)型

數(shù)字化轉(zhuǎn)型，是指企業(yè)利用新一代數(shù)字技術(shù)，將某個(gè)生產(chǎn)經(jīng)營環(huán)節(jié)乃至整個(gè)業(yè)務(wù)流程的物理信息鏈接起來，形成有價(jià)值的數(shù)字資產(chǎn)，通過計(jì)算反饋有效信息，最終賦能到企業(yè)商業(yè)價(jià)值的過程。

★ 摘自2020年艾瑞數(shù)字化報(bào)告

數(shù)字化轉(zhuǎn)型，是業(yè)務(wù)轉(zhuǎn)型的演變，從當(dāng)前數(shù)字化世界的技術(shù)進(jìn)步中獲益。企業(yè)能夠以全新的方式進(jìn)行價(jià)值的創(chuàng)新和創(chuàng)造，以建立可持續(xù)的競爭優(yōu)勢。其是建立在數(shù)字化轉(zhuǎn)換、數(shù)字化升級基礎(chǔ)上，進(jìn)一步觸及公司核心業(yè)務(wù)，以新建一種商業(yè)模式為目標(biāo)的高層次轉(zhuǎn)型，是開發(fā)數(shù)字化技術(shù)及支持能力以新建一個(gè)富有活力的數(shù)字化商業(yè)模式。數(shù)字化轉(zhuǎn)型表明，只有企業(yè)對其業(yè)務(wù)進(jìn)行系統(tǒng)性、徹底的（或重大和完全的）重新定義—而不僅僅是IT，而是對組織活動(dòng)、流程、業(yè)務(wù)模式和員工能力的方方面面進(jìn)行重新定義的時(shí)候，成功才會(huì)得以實(shí)現(xiàn)。

? 數(shù)字化階段

從上面描述可見，數(shù)字化是存在階段性的，通過對數(shù)據(jù)應(yīng)用層次的升級，最終達(dá)到業(yè)務(wù)全面數(shù)字化，實(shí)現(xiàn)真正的數(shù)字化轉(zhuǎn)型。

4).綜述：信息化、數(shù)字化與智能化

2. 數(shù)字化下數(shù)據(jù)庫面臨挑戰(zhàn)

在數(shù)字化轉(zhuǎn)型的大背景下，企業(yè)對數(shù)據(jù)使用呈現(xiàn)多樣化特點(diǎn)且針對特性能力提出更高要求。相應(yīng)的也對數(shù)據(jù)底層基礎(chǔ)設(shè)施之一的數(shù)據(jù)庫提出了相應(yīng)的要求。下面分析下業(yè)務(wù)場景的變化及對應(yīng)數(shù)據(jù)庫帶來的挑戰(zhàn)及發(fā)展趨勢。

1).實(shí)時(shí)性

在數(shù)字化趨勢下，數(shù)據(jù)會(huì)更多參與到企業(yè)決策、業(yè)務(wù)調(diào)整甚至驅(qū)動(dòng)業(yè)務(wù)變化。數(shù)據(jù)的鮮活性，對企業(yè)價(jià)值意義完全不同。實(shí)時(shí)的交易處理、實(shí)時(shí)的反饋、實(shí)時(shí)的匯聚、實(shí)時(shí)的洞察成為全場景數(shù)字化的必備。例如在金融場景中，金融需求與生活場景相融合，實(shí)時(shí)風(fēng)控的復(fù)雜度以及時(shí)效性要求隨場景服務(wù)的發(fā)展不斷增長，通常需要秒級完成業(yè)務(wù)流程。翻譯成技術(shù)語言，即要求支持對數(shù)據(jù)高頻實(shí)時(shí)多點(diǎn)寫入、對多類信息實(shí)時(shí)匯聚分析處理。于是近些年來，在數(shù)據(jù)流式處理、HTAP、高性能計(jì)算等領(lǐng)域的發(fā)展，正是為迎合這一訴求。

2).敏捷性

數(shù)字化轉(zhuǎn)型下，各種業(yè)務(wù)形態(tài)不斷涌現(xiàn)且單業(yè)務(wù)內(nèi)變化也很大，這對底層基礎(chǔ)設(shè)施提出了敏捷性要求。即具備快速響應(yīng)能力，滿足各類業(yè)務(wù)應(yīng)用需求。作為傳統(tǒng)的以靜態(tài)、固定資源供給方式，過渡到以動(dòng)態(tài)、可調(diào)節(jié)的資源供給方式。這其中以云、容器化、Serverless、存算分離為代表的技術(shù)能力，正是為滿足這類需求而誕生。即使是以較為傳統(tǒng)架構(gòu)的資源供給方式，也更為強(qiáng)調(diào)彈性、可定制能力，滿足客戶此方面需求。

3).安全性

數(shù)據(jù)安全，是近些年來的熱門話題。從監(jiān)管方的頻頻出臺各項(xiàng)政策，可見一斑。作為承載數(shù)據(jù)的主體，數(shù)據(jù)庫首當(dāng)其沖需要將更為重視安全問題。從數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)訪問、數(shù)據(jù)傳輸、數(shù)據(jù)應(yīng)用等多角度解決數(shù)據(jù)安全問題。特別是過去一二十年開源數(shù)據(jù)庫蓬勃發(fā)展，但開源數(shù)據(jù)庫自身在安全方面是否能達(dá)到商用標(biāo)準(zhǔn)，值得關(guān)注。此外，考慮到復(fù)雜的國際產(chǎn)業(yè)環(huán)境，開源協(xié)議本身的合法合規(guī)性也值得關(guān)注。以下摘自艾瑞報(bào)告。

4).可用性

可用性要求，一直是數(shù)據(jù)庫提供的基本能力之一。隨著數(shù)字化深入，越來越多的數(shù)據(jù)參與到企業(yè)經(jīng)營管理之中，這些對于可用性要求提出了更高的要求。從數(shù)據(jù)庫的角度來看，之前單機(jī)架構(gòu)或集中式架構(gòu)，一般是通過高可用硬件+軟件來解決；對于新興的分布式架構(gòu)來說，其組件更多也更為復(fù)雜，且對于硬件也無較多要求，這就要求軟件本身提供更高要求。

5).經(jīng)濟(jì)性

隨著數(shù)據(jù)存儲(chǔ)規(guī)模越來越大，對數(shù)據(jù)計(jì)算要求越來越高，整體數(shù)據(jù)存儲(chǔ)和計(jì)算的成本也整體提高。如何提供更具經(jīng)濟(jì)性的方案，對客戶能否大規(guī)模使用意義很大。這其中云數(shù)據(jù)庫、存算分離、數(shù)據(jù)分層等技術(shù)，正是為了應(yīng)對這一訴求。云作為一種新的資源供給方式，可以帶來更為切合需求的資源消耗。存算分離，則提供一種按計(jì)算和存儲(chǔ)獨(dú)立擴(kuò)展能力，避免冗余浪費(fèi)。數(shù)據(jù)分層，則可根據(jù)數(shù)據(jù)熱度等因素提供不同的能力，滿足個(gè)性化需求。

6).智能化

由上述變化可見，對于數(shù)據(jù)庫而言，無論從使用規(guī)模、復(fù)雜程度都會(huì)帶來很大調(diào)整。針對這一問題，一方面可以通過工具化、平臺化的方式來滿足管理問題；而更為優(yōu)雅的方式是在數(shù)據(jù)庫端提供內(nèi)置的智能管理能力，例如智能調(diào)優(yōu)、索引推薦、自我診斷、故障自愈等，可協(xié)助DBA降低運(yùn)維難度，大幅提升管理效率。

7).海量并發(fā)

這是兩個(gè)需求，一個(gè)是數(shù)據(jù)規(guī)模問題，提供海量數(shù)據(jù)支撐能力；一個(gè)是數(shù)據(jù)計(jì)算問題，提供高并發(fā)訪問支持。這些都是數(shù)字化會(huì)帶來業(yè)務(wù)變化的必然。對應(yīng)于技術(shù)而言，分布式數(shù)據(jù)庫無疑是一種很好的方式，也是其主要面對解決的場景之一。

8).統(tǒng)一管理

隨著數(shù)字化深入，對數(shù)據(jù)庫的種類與數(shù)量、企業(yè)的IT體系等都發(fā)生了不少變化。這些變化沖擊了傳統(tǒng)的數(shù)據(jù)庫生態(tài)，第一數(shù)據(jù)庫選型自身呈現(xiàn)多元化趨勢；第二隨著分布式、存算分離等新興架構(gòu)，對管理也帶來了管理難題；第三隨著對安全性、可靠性等方面的更高要求，也帶來了不少難點(diǎn)。面對上述問題，為數(shù)據(jù)庫提供統(tǒng)一管理和運(yùn)維的平臺型工具也逐漸走向臺前，變得越來越重要。

9).自主可控

對基礎(chǔ)軟件來說，自主可控非常關(guān)鍵。作為數(shù)字化的載體，數(shù)據(jù)庫的自主可控能力尤為重要。近些年國產(chǎn)化訴求日益高漲，也有著這方面的考慮。這其中值得關(guān)注的一點(diǎn)是關(guān)于開源的使用。根據(jù)近期的調(diào)研，開源數(shù)據(jù)庫份額已經(jīng)超越商業(yè)數(shù)據(jù)庫；但對于開源數(shù)據(jù)庫的把控能力，卻有著較大差異。特別是某些商業(yè)數(shù)據(jù)庫，底層也是基于開源產(chǎn)品的，尤其值得關(guān)注。

10).開放生態(tài)

數(shù)字化深入，帶來的更多的場景、更多的方案、更多的產(chǎn)品。如何能做到產(chǎn)品之間的很好的融合，發(fā)揮最大的作用，開放生態(tài)非常重要。對于數(shù)據(jù)庫而言，過去數(shù)十年來以國外商用數(shù)據(jù)庫產(chǎn)品為主，已經(jīng)培育自己的生態(tài)圈；而對于國內(nèi)產(chǎn)品而言，還需要走過這一過程。比較可喜的是，開源軟件的使用可大大加速這一過程。以MySQL、PG為代表的開源軟件，具有較為完備的生態(tài)，國內(nèi)產(chǎn)品可通過兼容開源產(chǎn)品，復(fù)用其生態(tài)，大大加速這一進(jìn)程。

11).簡化融合

如之前所說，數(shù)字化深化帶來的技術(shù)需求的多元化，與之對應(yīng)的產(chǎn)品方案也呈現(xiàn)同樣的態(tài)勢。雖然可以通過統(tǒng)一管理角度去簡化管理，但對于用戶而言仍然不得不去面對復(fù)雜的管理和使用問題。如果能通過單一平臺提供所需能力，無疑對用戶非常有吸引力。這就是簡化融合的訴求的來源。近些年來，包括混合事務(wù)與分析處理（HTAP）、湖倉一體、流批一體等，都是代表著用戶追求 “簡化、融合”技術(shù)棧的需求。此外，云也是一種簡化融合的體現(xiàn)，通過一站式的產(chǎn)品+方案，解決用戶復(fù)雜管理和使用問題。

12).消費(fèi)創(chuàng)新

數(shù)據(jù)在未來扮演著愈發(fā)重要的角色，人們對數(shù)據(jù)的消費(fèi)使用習(xí)慣也發(fā)生了很多變化。從使用角度來看，普惠性得以強(qiáng)調(diào)。數(shù)據(jù)的使用消費(fèi)者，從傳統(tǒng)的分析師、BI工程師向普通的數(shù)據(jù)消費(fèi)者轉(zhuǎn)移。越來越多的用戶能夠觸達(dá)數(shù)據(jù)，享受數(shù)據(jù)結(jié)果。當(dāng)然，這也得對數(shù)據(jù)提供方式帶來新的挑戰(zhàn)，自助式、對話式、自動(dòng)化甚至智能化的數(shù)據(jù)計(jì)算展現(xiàn)方式得到更多的使用，進(jìn)一步減低人們使用數(shù)據(jù)的門檻。這對于底層數(shù)據(jù)庫帶來包括適配能力、實(shí)時(shí)計(jì)算、多模計(jì)算、智能分析等諸多要求。