俺去啦电影网,成人免费视频国产免费麻豆网站亚洲AV秘无码一区二区三竹菊 ,京东热男人的天堂,天天爽天天爽夜夜爽毛片资源,成人欧美一区二区三区牛牛影视,成人伊人网,免费小黄片视频,免费视频三区

編者按：

從2016年誕生起，“中臺(tái)”概念就一路火熱至今，對(duì)互聯(lián)網(wǎng)與傳統(tǒng)行業(yè)數(shù)字化轉(zhuǎn)型產(chǎn)生了極為深遠(yuǎn)的影響。

作為“中臺(tái)”概念的提出者和先行者，阿里巴巴用12年的實(shí)踐探索了中臺(tái)能力建設(shè)和數(shù)據(jù)應(yīng)用。在不斷升級(jí)和重構(gòu)的過(guò)程中，阿里巴巴的中臺(tái)建設(shè)經(jīng)歷了從分散的數(shù)據(jù)分析到數(shù)據(jù)中臺(tái)化能力整合，再到全局?jǐn)?shù)據(jù)智能化的時(shí)代。

在當(dāng)下如火如荼的中臺(tái)建設(shè)浪潮中，不少企業(yè)對(duì)于中臺(tái)建設(shè)仍存諸多迷思，中臺(tái)建設(shè)將走向何方？數(shù)據(jù)資產(chǎn)到底該如何管理？阿里巴巴的中臺(tái)建設(shè)之路應(yīng)該能為企業(yè)帶來(lái)借鑒。

不就前，在阿里云舉辦的2021阿里云金融數(shù)據(jù)智能峰會(huì)上，阿里云智能計(jì)算平臺(tái)事業(yè)部研究員關(guān)濤對(duì)阿里巴巴如何構(gòu)建數(shù)據(jù)中臺(tái)核心三要素中的平臺(tái)技術(shù)部分進(jìn)行了全盤(pán)分享，其中包括數(shù)據(jù)平臺(tái)發(fā)展的四個(gè)典型階段，支持中臺(tái)業(yè)務(wù)的四大技術(shù)挑戰(zhàn)，以及數(shù)據(jù)平臺(tái)的四大技術(shù)趨勢(shì)等。

在阿里中臺(tái)的成功實(shí)踐中，方法論、組織、平臺(tái)能力是“數(shù)據(jù)中臺(tái)”的核心三要素，而其中平臺(tái)能力建設(shè)最為關(guān)鍵，難度也最大。阿里巴巴在打造強(qiáng)大的數(shù)據(jù)中臺(tái)底座方面已經(jīng)進(jìn)行了積極探索，并且還在不斷與時(shí)俱進(jìn)夯實(shí)底座，構(gòu)建面向未來(lái)的能力。

本文對(duì)其演講內(nèi)容做了精簡(jiǎn)編輯，希望能給企業(yè)構(gòu)建數(shù)據(jù)中臺(tái)帶來(lái)更多借鑒與啟發(fā)。

文/阿里云智能計(jì)算平臺(tái)事業(yè)部研究員關(guān)濤

阿里巴巴數(shù)據(jù)平臺(tái)發(fā)展的四大階段

構(gòu)建數(shù)據(jù)中臺(tái)，一個(gè)強(qiáng)大的數(shù)據(jù)平臺(tái)作為底座必不可少。

阿里巴巴數(shù)據(jù)平臺(tái)發(fā)展的四個(gè)階段，一定程度上其實(shí)也是阿里巴巴數(shù)據(jù)中臺(tái)發(fā)展的四個(gè)階段。這四個(gè)階段里，你可以看到阿里巴巴對(duì)自身數(shù)據(jù)的商業(yè)價(jià)值的萃取，對(duì)原有分而治之的數(shù)據(jù)系統(tǒng)的聚合，對(duì)計(jì)算數(shù)據(jù)資產(chǎn)化和數(shù)據(jù)高效應(yīng)用的新思路以及對(duì)數(shù)據(jù)平臺(tái)治理過(guò)程中面臨的組織變革等。

階段一：業(yè)務(wù)百花齊放，發(fā)現(xiàn)數(shù)據(jù)價(jià)值

2009年到2012年，阿里巴巴電商業(yè)務(wù)進(jìn)入爆發(fā)期，涌現(xiàn)出非常多有名的業(yè)務(wù)團(tuán)隊(duì)，比如淘寶、1688、AliExpresss、一淘等。每個(gè)業(yè)務(wù)都是基于數(shù)據(jù)驅(qū)動(dòng)的全場(chǎng)景業(yè)務(wù)，業(yè)務(wù)方對(duì)數(shù)據(jù)有著強(qiáng)烈的訴求。

那個(gè)時(shí)候，阿里巴巴技術(shù)幾乎都是IOE架構(gòu)，核心數(shù)據(jù)系統(tǒng)是Oracle。2年時(shí)間內(nèi)，阿里巴巴建成了全亞洲最大的Oracle集群。但是在2010年，Oracle已經(jīng)不能滿(mǎn)足計(jì)算的要求，有非常多數(shù)據(jù)延遲和不滿(mǎn)足性，再加上昂貴的成本，沒(méi)辦法繼續(xù)支撐業(yè)務(wù)發(fā)展。

阿里巴巴開(kāi)始認(rèn)真審視建設(shè)下一代數(shù)據(jù)平臺(tái)的重要性，同時(shí)啟動(dòng)了兩個(gè)并行項(xiàng)目：一個(gè)是“云梯1”，基于開(kāi)源Hadoop技術(shù)體系，多個(gè)業(yè)務(wù)團(tuán)隊(duì)構(gòu)建多個(gè)Hadoop集群，集群規(guī)模達(dá)到4000臺(tái)服務(wù)器。

一個(gè)是“云梯2”（ODPS，現(xiàn)MaxCompute），作為阿里巴巴自研產(chǎn)品啟動(dòng)研發(fā)，集群規(guī)模1200臺(tái)左右。螞蟻小微貸款“牧羊犬”業(yè)務(wù)是第一個(gè)吃螃蟹的業(yè)務(wù)，上線“云梯2”的過(guò)程被稱(chēng)為“人肉云計(jì)算”與“分步試計(jì)算”。王堅(jiān)院士2018年曾在央視《朗讀者》節(jié)目朗讀《進(jìn)入空氣稀薄地帶》，形容的就是自研數(shù)據(jù)平臺(tái)那時(shí)的現(xiàn)狀與信念。

兩個(gè)項(xiàng)目在阿里巴巴內(nèi)部形成競(jìng)合狀態(tài)，并行探索阿里巴巴數(shù)據(jù)平臺(tái)發(fā)展的軌跡。這個(gè)時(shí)期，所有業(yè)務(wù)方的數(shù)據(jù)幾乎都是垂直建設(shè)，以自己業(yè)務(wù)形態(tài)形成獨(dú)立小閉環(huán)的形式飛快向前奔跑。

階段二：業(yè)務(wù)垂直小閉環(huán)，數(shù)據(jù)孤島顯現(xiàn)

2012年到2015年，阿里巴巴電商業(yè)務(wù)在飛速發(fā)展的同時(shí)，涌現(xiàn)出更多的新興業(yè)務(wù)：2013年，創(chuàng)立菜鳥(niǎo)，啟動(dòng)“all-in 無(wú)線”戰(zhàn)略；2014年，投資高德，與銀泰合資，阿里旅行成立；2015年，推出釘釘/零售通、成立口碑、控股阿里健康等等。

這個(gè)時(shí)期，阿里巴巴業(yè)務(wù)蓬勃發(fā)展，形成了12個(gè)業(yè)務(wù)部門(mén)和9套不同的平臺(tái)系統(tǒng)，而且每套平臺(tái)系統(tǒng)架構(gòu)都不一樣，用戶(hù)數(shù)字化流程需要橫跨多個(gè)BU的多套數(shù)據(jù)系統(tǒng)。

數(shù)據(jù)孤島現(xiàn)象開(kāi)始日益嚴(yán)重，數(shù)據(jù)成本越來(lái)越高，統(tǒng)一的數(shù)據(jù)平臺(tái)建設(shè)已經(jīng)迫在眉睫，這也是阿里巴巴數(shù)據(jù)中臺(tái)的起點(diǎn)。

與此同時(shí)，“云梯1”和“云梯2”也正在經(jīng)歷大變革。

2013年3月28日，阿里巴巴集團(tuán)技術(shù)保障部架構(gòu)師云錚的郵件直達(dá)集團(tuán)高層：“按照數(shù)據(jù)增量與未來(lái)業(yè)務(wù)增長(zhǎng)的情況，云梯1和云梯2兩套系統(tǒng)的存儲(chǔ)和計(jì)算能力將在今年6月21日到達(dá)瓶頸。”屆時(shí)，許多的業(yè)務(wù)將因?yàn)榧夹g(shù)的限制而無(wú)法展開(kāi)。

這意味著，數(shù)據(jù)平臺(tái)已經(jīng)無(wú)法再同時(shí)并行“云梯1”與“云梯2”兩個(gè)項(xiàng)目，必須選擇其中1個(gè)。如果選擇“云梯1”，Hadoop的5000節(jié)點(diǎn)限制如何突破？涉及到金融業(yè)務(wù)，開(kāi)源體系如何保證大數(shù)據(jù)的安全與可用性？跨機(jī)房方案業(yè)界無(wú)參考如何解決？業(yè)務(wù)交互頻繁，跨機(jī)房如何保證數(shù)據(jù)穩(wěn)定交互？

一系列的技術(shù)難題都逐漸將數(shù)據(jù)平臺(tái)推向自研道路。

最終，阿里巴巴集團(tuán)多個(gè)技術(shù)部門(mén)合璧，決定選擇“云梯2”挑戰(zhàn)5K巔峰。短短幾個(gè)月時(shí)間，“云梯2”從1500臺(tái)跨入5000臺(tái)并突破單物理機(jī)房限制，通過(guò)10倍壓力測(cè)試，同時(shí)支持跨集群計(jì)算與高可用，為阿里巴巴未來(lái)多年的大數(shù)據(jù)發(fā)展奠定了堅(jiān)實(shí)的技術(shù)基礎(chǔ)。

5K項(xiàng)目完成技術(shù)突破后，新的壓力接踵而來(lái)。業(yè)務(wù)快速發(fā)展導(dǎo)致數(shù)據(jù)規(guī)模也急劇膨脹，如何統(tǒng)一管理數(shù)據(jù)、統(tǒng)一保證數(shù)據(jù)安全、具備統(tǒng)一開(kāi)放能力等問(wèn)題成為數(shù)據(jù)平臺(tái)思考的核心。

為此，阿里巴巴內(nèi)部啟動(dòng)了一個(gè)比較有名的項(xiàng)目，將所有業(yè)務(wù)部門(mén)數(shù)據(jù)都同步到統(tǒng)一的大數(shù)據(jù)平臺(tái)，統(tǒng)一進(jìn)行管理。這個(gè)項(xiàng)目經(jīng)歷了兩年，涉及阿里巴巴所有事業(yè)部，這個(gè)過(guò)程中，還逐漸推進(jìn)通用數(shù)據(jù)平臺(tái)能力產(chǎn)品化并具備金融級(jí)平臺(tái)的能力。

從當(dāng)時(shí)來(lái)看，阿里巴巴建設(shè)數(shù)據(jù)平臺(tái)的過(guò)程是全面統(tǒng)一數(shù)據(jù)的過(guò)程，也是中國(guó)第一個(gè)超大規(guī)模數(shù)據(jù)中臺(tái)建設(shè)和遷移的過(guò)程。

階段三：數(shù)據(jù)中臺(tái)支撐業(yè)務(wù)可持續(xù)發(fā)展

2015年到2018年，阿里巴巴數(shù)據(jù)中臺(tái)方法論開(kāi)始確立，拉開(kāi)了數(shù)據(jù)中臺(tái)建設(shè)的大幕。2015年，阿里巴巴集團(tuán)宣布啟動(dòng)“中臺(tái)戰(zhàn)略”后，開(kāi)始構(gòu)建符合DT時(shí)代的更靈活的“大中臺(tái)，小前臺(tái)”組織機(jī)制和業(yè)務(wù)機(jī)制。阿里巴巴每個(gè)運(yùn)營(yíng)小二都可以基于數(shù)據(jù)制定覆蓋用戶(hù)生命周期的數(shù)據(jù)化運(yùn)營(yíng)策略，生意參謀開(kāi)始探索數(shù)據(jù)業(yè)務(wù)化，更多的業(yè)務(wù)開(kāi)始走向?qū)崟r(shí)化。

但是，數(shù)據(jù)和計(jì)算的高速增長(zhǎng)、資源的高速消耗帶來(lái)了數(shù)據(jù)需要治理的問(wèn)題。阿里巴巴的團(tuán)隊(duì)們開(kāi)始思考怎么把數(shù)據(jù)中臺(tái)的方法論落實(shí)到平臺(tái)層，讓數(shù)據(jù)平臺(tái)支撐數(shù)據(jù)中臺(tái)的建設(shè)。

· 數(shù)據(jù)是誰(shuí)的? 誰(shuí)來(lái)用? 誰(shuí)來(lái)管控？數(shù)據(jù)質(zhì)量由誰(shuí)負(fù)責(zé)？

· 平臺(tái)團(tuán)隊(duì)和業(yè)務(wù)團(tuán)隊(duì)是兩個(gè)團(tuán)隊(duì)，成本關(guān)系是什么？

· 中臺(tái)方法論，如何落地在數(shù)據(jù)平臺(tái)落地？如何治理?

· 數(shù)字增長(zhǎng)很快，超過(guò)業(yè)務(wù)增長(zhǎng)，怎么辦？

· 一張核心表12PB，每個(gè)部門(mén)復(fù)制1份，一年幾千萬(wàn)就沒(méi)了怎么辦？

· 知道要?jiǎng)h除一半的數(shù)據(jù)，但到底是哪一半？

這些問(wèn)題的背后是數(shù)據(jù)的治理以及資產(chǎn)化，我們需要一套平臺(tái)系統(tǒng)把方法論承載進(jìn)來(lái)，真正形成統(tǒng)一化。在數(shù)據(jù)平臺(tái)側(cè)，DataWorks 構(gòu)建大規(guī)模協(xié)同數(shù)據(jù)開(kāi)發(fā)與治理的一站式能力，MaxCompute 支持服務(wù)器集群達(dá)到十萬(wàn)級(jí)，服務(wù)阿里集團(tuán)全部BU、20多萬(wàn)員工的日常運(yùn)營(yíng)，一起支撐各項(xiàng)業(yè)務(wù)的可持續(xù)發(fā)展。

階段四：云上數(shù)據(jù)中臺(tái)與業(yè)務(wù)伴生

2018年之后，整個(gè)阿里巴巴數(shù)據(jù)平臺(tái)系統(tǒng)已經(jīng)很成熟，平臺(tái)方和業(yè)務(wù)方達(dá)成一個(gè)非常好的配合狀態(tài)。業(yè)務(wù)方認(rèn)可數(shù)據(jù)平臺(tái)的價(jià)值，業(yè)務(wù)部門(mén)與技術(shù)部門(mén)相伴相生，數(shù)據(jù)中臺(tái)服務(wù)業(yè)務(wù)達(dá)到正循環(huán)，成為數(shù)據(jù)中臺(tái)建設(shè)成功的一個(gè)標(biāo)志。

阿里巴巴從2018年內(nèi)部所有系統(tǒng)開(kāi)始上云，到2021年實(shí)現(xiàn)了云上數(shù)據(jù)中臺(tái)與業(yè)務(wù)伴生：雙11核心系統(tǒng)100%上云，阿里巴巴全面云原生化；每秒53.8萬(wàn)筆，阿里云抗住全球最大流量洪峰；數(shù)據(jù)中臺(tái)覆蓋阿里集團(tuán)所有BU；運(yùn)營(yíng)小二及時(shí)發(fā)現(xiàn)問(wèn)題、分析問(wèn)題，實(shí)現(xiàn)實(shí)時(shí)運(yùn)營(yíng)決策；短視頻、直播等新業(yè)務(wù)繼續(xù)涌現(xiàn)……

可以看到，阿里巴巴的數(shù)據(jù)中臺(tái)建設(shè)是成功的，并且仍在高速向前發(fā)展。

MaxCompute 智能數(shù)倉(cāng)讓雙11成為日常，湖倉(cāng)一體逐步成為下一代大數(shù)據(jù)平臺(tái)架構(gòu)，DataWorks建設(shè)的數(shù)據(jù)中臺(tái)全面服務(wù)業(yè)務(wù)，支持集團(tuán)內(nèi)數(shù)百個(gè)數(shù)據(jù)應(yīng)用，通過(guò)全鏈路數(shù)據(jù)治理，以低成本增長(zhǎng)支持集團(tuán)業(yè)務(wù)高速增長(zhǎng)。

數(shù)據(jù)平臺(tái)建設(shè)的四個(gè)核心挑戰(zhàn)

一個(gè)數(shù)據(jù)中臺(tái)建設(shè)的成功與否的核心指標(biāo)，不是系統(tǒng)效率，不是平臺(tái)效率，而是“數(shù)據(jù)效率”。

阿里巴巴主要從規(guī)模與彈性、數(shù)據(jù)的成本、數(shù)據(jù)的正確性與可維護(hù)性、數(shù)據(jù)利用率4個(gè)方面來(lái)衡量“數(shù)據(jù)效率”。

在這個(gè)核心指標(biāo)下，方法論、組織、平臺(tái)能力則是數(shù)據(jù)中臺(tái)成功的核心三要素。那么，數(shù)據(jù)平臺(tái)要想建設(shè)好，背后究竟有哪些方法，建設(shè)過(guò)程中有哪些難點(diǎn)需要注意？背后要做的工作其實(shí)非常多，本次僅從面向業(yè)務(wù)的4個(gè)切面做介紹，暫未涉及存儲(chǔ)、計(jì)算引擎等層面的挑戰(zhàn)。

挑戰(zhàn)一：數(shù)據(jù)資產(chǎn)管理體系

對(duì)于數(shù)據(jù)資產(chǎn)來(lái)說(shuō)，首先要解決的一個(gè)問(wèn)題是：什么叫企業(yè)的數(shù)據(jù)資產(chǎn)？阿里巴巴的每個(gè)BU都有一個(gè)自己事業(yè)部的數(shù)據(jù)資產(chǎn)全景圖，我們通過(guò)一張圖統(tǒng)管阿里巴巴99.9%計(jì)算數(shù)據(jù)資產(chǎn)，每個(gè)部門(mén)的存儲(chǔ)計(jì)算成本將全部量化，直接展現(xiàn)在管理者的面前。

第二個(gè)問(wèn)題：如何看資產(chǎn)？對(duì)于企業(yè)而言，資產(chǎn)難道就是一個(gè)個(gè)成本的數(shù)字嗎？阿里巴巴通過(guò)數(shù)據(jù)資產(chǎn)的透視，讓管理者知道我自己的數(shù)據(jù)來(lái)源于哪，服務(wù)給誰(shuí)，誰(shuí)又是我最好的合作伙伴，同時(shí)又可以滿(mǎn)足數(shù)據(jù)流動(dòng)審計(jì)的需求。

第三個(gè)問(wèn)題：如何進(jìn)行資產(chǎn)的規(guī)模化？新的業(yè)務(wù)合并/收購(gòu)/創(chuàng)新，如何將這套資產(chǎn)體系快速地復(fù)制？在DataWorks等工具中提供數(shù)據(jù)中臺(tái)建模工具，能夠?yàn)閿?shù)據(jù)中臺(tái)建設(shè)提供規(guī)范化圖紙，針對(duì)不同的業(yè)務(wù)域進(jìn)行劃分，進(jìn)行智能建模，讓新業(yè)務(wù)快速?gòu)?fù)用之前成熟的數(shù)據(jù)架構(gòu)，達(dá)到資產(chǎn)規(guī)模化的能力。

挑戰(zhàn)二：數(shù)據(jù)質(zhì)量體系

對(duì)于數(shù)據(jù)質(zhì)量來(lái)說(shuō)，首先要先解決的一個(gè)問(wèn)題是：事前質(zhì)量如何定義？金融行業(yè)經(jīng)常提到一個(gè)概念叫對(duì)賬，阿里巴巴數(shù)據(jù)也要對(duì)賬，針對(duì)超過(guò)千萬(wàn)級(jí)別數(shù)據(jù)表的對(duì)賬問(wèn)題，我們提了“質(zhì)量規(guī)則”的概念。700多萬(wàn)質(zhì)量規(guī)則，每天新增1萬(wàn)多條，人工要怎么配？阿里巴巴建設(shè)了37種規(guī)則模板，通過(guò)智能規(guī)則推薦匹配，采納率達(dá)到75%。

第二個(gè)問(wèn)題：事中質(zhì)量如何執(zhí)行？700多萬(wàn)條質(zhì)量規(guī)則需要耗費(fèi)大量計(jì)算資源怎么辦？通過(guò)什么方式來(lái)降低成本？我們通過(guò)智能化技術(shù)建設(shè)了數(shù)據(jù)質(zhì)量調(diào)度引擎、ETL引擎，數(shù)據(jù)變更后實(shí)時(shí)觸發(fā)質(zhì)量監(jiān)控，采用優(yōu)先級(jí)策略，進(jìn)行空閑運(yùn)行。

第三個(gè)問(wèn)題：事后質(zhì)量如何自動(dòng)化？規(guī)則寫(xiě)死了，但數(shù)據(jù)是活的，遇到周期性波動(dòng)和變化怎么辦？我們?cè)跀?shù)據(jù)質(zhì)量建設(shè)的時(shí)候融入很多人工智能的技術(shù)，通過(guò)機(jī)器學(xué)習(xí)方式學(xué)習(xí)數(shù)據(jù)生成的樣子，能夠?qū)?dòng)態(tài)閾值進(jìn)行智能預(yù)測(cè)，通過(guò)算法匹配周期性波動(dòng)。

挑戰(zhàn)三：數(shù)據(jù)安全體系

對(duì)于數(shù)據(jù)安全來(lái)說(shuō)，要解決如何降低使用成本，提高易用性；如何覆蓋數(shù)據(jù)全生命周期；如何做權(quán)限管控；如何數(shù)據(jù)脫敏，如何識(shí)別敏感行為進(jìn)行數(shù)據(jù)溯源等問(wèn)題，阿里巴巴內(nèi)部沉淀了超過(guò)20項(xiàng)不同的安全治理規(guī)則，這些規(guī)則最終能夠幫助平臺(tái)在滿(mǎn)足業(yè)務(wù)高速增長(zhǎng)的情況下同時(shí)滿(mǎn)足個(gè)人合規(guī)的要求。

挑戰(zhàn)四：數(shù)據(jù)治理體系

當(dāng)數(shù)據(jù)治理進(jìn)入深水區(qū)，數(shù)據(jù)成本增速如何不超過(guò)業(yè)務(wù)增速；如何調(diào)動(dòng)全員治理的積極性，培養(yǎng)成本意識(shí)，在阿里巴巴，數(shù)據(jù)治理是引擎、平臺(tái)和人的互相配合，引擎對(duì)算力和成本極致追求，持續(xù)打破快速增長(zhǎng)的數(shù)據(jù)計(jì)算與成本增長(zhǎng)的線性關(guān)系，平臺(tái)通過(guò)存儲(chǔ)健康分、計(jì)算健康分成為集團(tuán)各團(tuán)隊(duì)數(shù)據(jù)治理戰(zhàn)役的核心指標(biāo)，推動(dòng)人做數(shù)據(jù)治理和管理，利用平臺(tái)全鏈路工具，構(gòu)建數(shù)據(jù)治理技術(shù)運(yùn)營(yíng)體系。通過(guò)這樣的成本報(bào)表的方式把平臺(tái)層的成本和價(jià)值展示清楚。

可以看出，在12年數(shù)據(jù)平臺(tái)建設(shè)期間，阿里巴巴從數(shù)據(jù)的資產(chǎn)、質(zhì)量、安全、治理等多個(gè)緯度沉淀出了數(shù)據(jù)中臺(tái)產(chǎn)品化的能力。

作為中臺(tái)底座，數(shù)據(jù)平臺(tái)下一站走向何方

未來(lái)，作為中臺(tái)的底座，數(shù)據(jù)中臺(tái)將從數(shù)據(jù)智能到智能數(shù)據(jù)，“湖倉(cāng)一體”滿(mǎn)足架構(gòu)靈活升級(jí)、“智能數(shù)倉(cāng)”解決超大規(guī)模下的數(shù)據(jù)管理難題、“智能查詢(xún)”極大降低數(shù)據(jù)分析門(mén)檻、AI的云原生化/規(guī)模化/標(biāo)準(zhǔn)化與普惠化讓其成為大數(shù)據(jù)的終極出口，不斷加速大數(shù)據(jù)與AI一體化的融合。

趨勢(shì)一：一體兩面的湖倉(cāng)一體

作為下一代數(shù)據(jù)平臺(tái)架構(gòu)，湖倉(cāng)一體滿(mǎn)足復(fù)雜現(xiàn)狀下架構(gòu)的靈活升級(jí)。數(shù)據(jù)倉(cāng)庫(kù)主打企業(yè)級(jí)數(shù)據(jù)，處理更精細(xì)、更經(jīng)濟(jì)、更高效。企業(yè)可以建設(shè)自己的數(shù)據(jù)中臺(tái)，無(wú)論是引擎優(yōu)化，還是數(shù)據(jù)管理，有一整套方法論以及支撐的工具。但是進(jìn)入門(mén)檻很高，成本又貴，還有使用門(mén)檻。數(shù)據(jù)湖是脫胎于開(kāi)源體系的技術(shù)，進(jìn)入門(mén)檻和成本較低，比較靈活，企業(yè)容易實(shí)現(xiàn)自建數(shù)據(jù)湖，只是數(shù)據(jù)統(tǒng)一存儲(chǔ)之外，企業(yè)需要進(jìn)一步做各種精細(xì)化管理，希望數(shù)據(jù)能治理，能管理，成本低，還可運(yùn)維。

如何打通數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)割裂的體系，架構(gòu)上融合數(shù)據(jù)湖的靈活性以及數(shù)據(jù)倉(cāng)庫(kù)的企業(yè)級(jí)能力，阿里巴巴提出的湖倉(cāng)一體架構(gòu)，統(tǒng)一存儲(chǔ)和元數(shù)據(jù)，打通數(shù)據(jù)體系，利用智能數(shù)倉(cāng)技術(shù)針對(duì)不同的數(shù)據(jù)和義務(wù)，做自動(dòng)分類(lèi)存儲(chǔ)和處理。

趨勢(shì)二：數(shù)據(jù)倉(cāng)庫(kù)進(jìn)入“自動(dòng)駕駛”時(shí)代

超大規(guī)模數(shù)據(jù)帶來(lái)管理難題，傳統(tǒng)的“DBA模式”已經(jīng)很難勝任。阿里巴巴有超過(guò)千萬(wàn)級(jí)別的表，很多核心數(shù)據(jù)開(kāi)發(fā)工程師，一個(gè)人負(fù)責(zé)上萬(wàn)張表，沒(méi)有辦法做精細(xì)化的治理和建模，這樣的系統(tǒng)不能隨人的方式擴(kuò)展，所以未來(lái)，越來(lái)越多的AI技術(shù)會(huì)融合進(jìn)大數(shù)據(jù)系統(tǒng)，進(jìn)入“自動(dòng)駕駛”時(shí)代。

趨勢(shì)三：所查即所得，基于自然語(yǔ)言的智能數(shù)據(jù)查詢(xún)

阿里巴巴正在數(shù)據(jù)之上嘗試構(gòu)建一個(gè)超大規(guī)模的知識(shí)圖譜，通過(guò)知識(shí)圖譜的方式做數(shù)據(jù)到語(yǔ)義層的翻譯，再通過(guò)NLP(自然語(yǔ)言處理)等技術(shù)跟用戶(hù)做結(jié)合，形成一個(gè)橋梁。比如用戶(hù)輸入北京市互聯(lián)網(wǎng)客戶(hù)有哪些，就可以自動(dòng)生成得到一份數(shù)據(jù)。阿里巴巴正試圖把通過(guò)自然語(yǔ)言的智能查詢(xún)?cè)诤Ａ繑?shù)據(jù)上用起來(lái)，規(guī)模化起來(lái)，讓更多的非專(zhuān)業(yè)數(shù)據(jù)人員也可以獨(dú)立完成數(shù)據(jù)分析工作。

趨勢(shì)四：數(shù)據(jù)即智能，AI工程化的基礎(chǔ)能力

數(shù)據(jù)需要智能的加速，AI是大數(shù)據(jù)的終極出口。我們知道，真正想把AI用起來(lái)是一個(gè)非常難的事情，從最初的數(shù)據(jù)興起、數(shù)據(jù)提煉、模型訓(xùn)練、模型調(diào)優(yōu)，再到模型部署和服務(wù)，整個(gè)鏈路非常長(zhǎng)。如果我們有5萬(wàn)人可以直接使用數(shù)據(jù)，可能真正能用AI的人可能不超過(guò)5000人，那如何把AI技術(shù)隨著數(shù)據(jù)賦能給業(yè)務(wù)方，這就是所謂的AI工程化。

最后總結(jié)一下，上述內(nèi)容只是泛泛地提到了阿里數(shù)據(jù)中臺(tái)底座建設(shè)的四個(gè)典型階段，遇到的四大技術(shù)挑戰(zhàn)，以及數(shù)據(jù)平臺(tái)的四大技術(shù)趨勢(shì)等話題，這些內(nèi)容還不是阿里巴巴數(shù)據(jù)中臺(tái)的全部。通過(guò)12年時(shí)間，阿里巴巴數(shù)據(jù)平臺(tái)建設(shè)已經(jīng)有了非常多的技術(shù)積累，這些平臺(tái)能力也在不斷推動(dòng)數(shù)據(jù)中臺(tái)向智能化進(jìn)化，并且還會(huì)一直向前演進(jìn)，服務(wù)阿里巴巴并輸出給全社會(huì)。

本文轉(zhuǎn)載/共生視界

阿里巴巴數(shù)據(jù)中臺(tái)12年建設(shè)與實(shí)踐