青青草在线视频黄色,午夜精品少妇,日爽夜爽,黄色片在线免费观看,太黄三级在线观看破处,一级黄色日必网站,一级黄片乱伦,给我播放欧洲成人在线

大數(shù)據(jù)文摘出品

作者：劉俊寰

2020騰訊全球數(shù)字生態(tài)大會(huì)如約而至。

在今年的騰訊全球數(shù)字生態(tài)大會(huì)上，騰訊介紹了AI、5G等技術(shù)領(lǐng)域的最新進(jìn)展，還請(qǐng)出了Hadoop創(chuàng)始人Doug Cutting站臺(tái)，講述了他對(duì)于數(shù)字化變革的看法。

此外，在剛剛結(jié)束的大數(shù)據(jù)專場(chǎng)中，騰訊云公布了大數(shù)據(jù)平臺(tái)的相關(guān)數(shù)據(jù)。目前，騰訊的算力彈性資源池達(dá)20萬(wàn)，每日分析任務(wù)數(shù)達(dá)1500萬(wàn)，每日實(shí)時(shí)計(jì)算次數(shù)超過30萬(wàn)億次，每日接入數(shù)據(jù)條數(shù)超過35萬(wàn)億條，訓(xùn)練數(shù)據(jù)維度達(dá)1萬(wàn)億。

之后，騰訊還重磅發(fā)布了全鏈路數(shù)據(jù)開發(fā)平臺(tái)WeData，同時(shí)發(fā)布和升級(jí)了流計(jì)算服務(wù)、云數(shù)據(jù)倉(cāng)庫(kù)、ES、企業(yè)畫像等6款核心產(chǎn)品。進(jìn)一步優(yōu)化和提升了騰訊云大數(shù)據(jù)的全托管能力，助力企業(yè)從基礎(chǔ)設(shè)施層、場(chǎng)景開發(fā)層以及行業(yè)應(yīng)用層快速構(gòu)建一站式大數(shù)據(jù)平臺(tái)能力。

Doug Cutting：不能從管理層著手，要從更低層次細(xì)節(jié)，“小步迭代”推動(dòng)

騰訊云副總裁劉煜宏在發(fā)布會(huì)上提到，疫情加速了企業(yè)的數(shù)字化進(jìn)程的發(fā)展。

其中，大數(shù)據(jù)作為基礎(chǔ)能力，支持了所有騰訊云業(yè)務(wù)的發(fā)展，比如我們每天都在使用的健康碼。

Hadoop創(chuàng)建人Doug Cutting對(duì)此表示認(rèn)同，他認(rèn)為，隨著社會(huì)數(shù)據(jù)量級(jí)的不斷增加，我們的社會(huì)正在經(jīng)歷具有重大意義的數(shù)字化轉(zhuǎn)型階段。

“軟件成為進(jìn)步的主要來(lái)源?！?/span>

Doug Cutting也基于自己的一些經(jīng)驗(yàn)，提出了幾點(diǎn)建議。

首先是創(chuàng)新。我們需要加快創(chuàng)新的步伐，要實(shí)現(xiàn)創(chuàng)新，我們就需要尋找最能讓我們快速創(chuàng)新的技術(shù)和工具，在這里我們不應(yīng)該忽略了開源的力量。

比如，2000年，Doug Cutting開發(fā)了Lucene，經(jīng)過二十年發(fā)展，Lucene已經(jīng)成為當(dāng)前最完善最受歡迎的檢索引擎。可能Lucene不是業(yè)界最好的，很大一部分原因是因?yàn)镃utting在一開始就確定了開源的發(fā)展路線，用戶可以加入整個(gè)項(xiàng)目的建設(shè)，實(shí)現(xiàn)真正的用戶驅(qū)動(dòng)，這對(duì)于新平臺(tái)來(lái)說尤為重要。

在Lucene之后，Cutting做了Hadoop，擴(kuò)大了計(jì)算范圍。在近幾年的發(fā)展中，人們圍繞Hadoop做了很多更新的應(yīng)用，形成了一個(gè)生態(tài)，甚至在其中Hadoop本身已經(jīng)變得不那么重要了。

可以看出，開源不僅可以更快地提升單個(gè)技術(shù)，對(duì)于整個(gè)開源社區(qū)、開源環(huán)境來(lái)說都是十分重要的。

其次，在企業(yè)的發(fā)展中，往往規(guī)模越大的組織就越難進(jìn)行轉(zhuǎn)變。

Cutting指出，數(shù)字化變革不能從上層的管理層著手，要從細(xì)節(jié)的小部分、從更低的層次推動(dòng)，這種小步迭代的方法在長(zhǎng)期看來(lái)是更需要的。同時(shí)，公司必須要有管理能力，要從上層的組織方進(jìn)行規(guī)劃，實(shí)現(xiàn)安全、監(jiān)督和限制，也不應(yīng)忘記保持?jǐn)?shù)據(jù)的一致性和協(xié)調(diào)性。

最后，Cutting表示，性能和成本不能再作為唯二的首要考慮因素，對(duì)社會(huì)和用戶的影響正在變得越來(lái)越重要，這就要求我們把涉及到用戶、數(shù)據(jù)的更多維度的因素囊括進(jìn)來(lái)。

至于企業(yè)應(yīng)該如何部署自己的大數(shù)據(jù)能力，Cutting認(rèn)為，云已經(jīng)成為主要的部署方式，盡管云存在一些問題，但總的來(lái)說云端的優(yōu)勢(shì)更有價(jià)值。并且，公司也應(yīng)該多考慮混合系統(tǒng)的形式，以應(yīng)對(duì)快速變化的數(shù)據(jù)現(xiàn)狀。

騰訊云重磅發(fā)布大數(shù)據(jù)平臺(tái)算力！日實(shí)時(shí)計(jì)算量超40萬(wàn)億

也正是基于“從小的地方、從更低的層次推動(dòng)”的理念，在今年的發(fā)布會(huì)上，騰訊把重點(diǎn)放在了產(chǎn)品開發(fā)層。

劉煜宏在發(fā)布會(huì)現(xiàn)場(chǎng)先公布了騰訊云大數(shù)據(jù)平臺(tái)的算力數(shù)據(jù)：算力彈性資源池達(dá)500萬(wàn)核，每日分析任務(wù)數(shù)達(dá)1500萬(wàn)，每日實(shí)時(shí)計(jì)算次數(shù)超過40萬(wàn)億，能支持超過一萬(wàn)億維度的數(shù)據(jù)訓(xùn)練。

之后，騰訊云大數(shù)據(jù)產(chǎn)品中心副總經(jīng)理雷小平介紹到，騰訊大數(shù)據(jù)能力其實(shí)分為三層，產(chǎn)品開發(fā)層是中間層。

騰訊大數(shù)據(jù)能力的第一層是底層基礎(chǔ)的存儲(chǔ)計(jì)算設(shè)施，典型產(chǎn)品如EMR、神盾聯(lián)邦計(jì)算。這一層主要要解決的問題，除了最基本的提供基礎(chǔ)設(shè)施之外，還能夠幫助企業(yè)運(yùn)維的工程師快速構(gòu)建一個(gè)性能比較卓越、并且成本很低廉更安全的算力。

中間一層是產(chǎn)品開發(fā)層，這一層強(qiáng)調(diào)的是開箱即用。用一個(gè)平臺(tái)搞定某個(gè)業(yè)務(wù)場(chǎng)景的開發(fā)的所有事情，可以讓企業(yè)的開發(fā)人員更多地去做業(yè)務(wù)相關(guān)的事情，不用太多考慮平臺(tái)的東西。

最上面是應(yīng)用層，騰訊云會(huì)提供各種各樣的比較接近業(yè)務(wù)的SaaS化的產(chǎn)品，比如營(yíng)銷的能力、增長(zhǎng)的能力、BI的能力、風(fēng)控的能力。

? ? ? ?

重磅發(fā)布全鏈路大數(shù)據(jù)平臺(tái)WeData

作為中間層的重磅代表新產(chǎn)品，騰訊云推出全新的全鏈路數(shù)據(jù)開發(fā)平臺(tái)WeData，WeData是一個(gè)一站式的大數(shù)據(jù)開發(fā)平臺(tái)，打通了通用大數(shù)據(jù)開發(fā)和數(shù)據(jù)治理的過程中的所有環(huán)節(jié)。

雷小平表示，WeData主要解決了三個(gè)問題。

第一個(gè)問題是解決希望通過WeData，能夠把企業(yè)所有的元數(shù)據(jù)管到一起，不管是存在Hive還是其他地方。這樣的話，我們就能在一個(gè)地方看到所有的元數(shù)據(jù)，然后把不同平臺(tái)的數(shù)據(jù)打通進(jìn)行計(jì)算。

第二個(gè)問題是，希望把大數(shù)據(jù)開發(fā)整個(gè)鏈條從數(shù)據(jù)的集成到開發(fā)到測(cè)試到發(fā)布到調(diào)度等，所有的過程放到一個(gè)平臺(tái)上面。有了開發(fā)之后，再上面希望把一個(gè)企業(yè)數(shù)據(jù)治理相關(guān)的東西集成進(jìn)來(lái)，包括數(shù)據(jù)的血緣、數(shù)據(jù)的地圖、數(shù)據(jù)的質(zhì)量等等。

第三塊是在企業(yè)、客戶側(cè)的應(yīng)用。首先是安全方面，雷小平介紹到，在年中時(shí)候，微盟的數(shù)據(jù)出現(xiàn)了人為誤操作的問題，騰訊云花了一個(gè)星期幫助恢復(fù)了數(shù)據(jù)，不僅如此，騰訊給微盟提供了一整套的大數(shù)據(jù)的安全解決方案，從它的數(shù)據(jù)的訪問安全到整個(gè)服務(wù)的安全到數(shù)據(jù)本身的安全，做了一整套的安全方案。

? ? ? ?

除了WeData外，騰訊還發(fā)布了其他幾款面向場(chǎng)景化的一些產(chǎn)品。比如流計(jì)算的全托管的服務(wù)Oceanus，它能夠幫助企業(yè)快速建立一個(gè)計(jì)算的能力，以及云數(shù)倉(cāng)，是一個(gè)基于GP進(jìn)行打造的，還有一個(gè)就是ES。

? ? ? ?

專訪騰訊云大數(shù)據(jù)負(fù)責(zé)人：安全與融合是未來(lái)發(fā)展重點(diǎn)

在騰訊的這次全球數(shù)字生態(tài)大會(huì)之前，文摘菌提前采訪到了騰訊云大數(shù)據(jù)基礎(chǔ)平臺(tái)總經(jīng)理陳鵬，和騰訊云大數(shù)據(jù)產(chǎn)品中心副總經(jīng)理雷小平。

采訪過程中，二位透露了騰訊云最新的大數(shù)據(jù)產(chǎn)品WeData，以及騰訊云本身的更多內(nèi)容。

首先，針對(duì)騰訊大數(shù)據(jù)目前包括團(tuán)隊(duì)、產(chǎn)品、研發(fā)、業(yè)務(wù)場(chǎng)景的情況，陳鵬介紹到，從2018年至今，通過開源協(xié)同，騰訊把原來(lái)各個(gè)業(yè)務(wù)模塊的大數(shù)據(jù)做了一個(gè)整合，目前，騰訊內(nèi)部大數(shù)據(jù)的基礎(chǔ)設(shè)施基本上實(shí)現(xiàn)了協(xié)同整合。

不僅如此，在內(nèi)部大數(shù)據(jù)平臺(tái)整合的過程中，以前一些小眾的需求，在內(nèi)部協(xié)同的背景下，都可以在統(tǒng)一平臺(tái)上得到滿足。

比如，政企客戶的一些需求在騰訊內(nèi)部是不會(huì)出現(xiàn)的。假設(shè)，廣東省公安廳需要做分析計(jì)算，在傳統(tǒng)意義上，廣東省公安廳不會(huì)把各個(gè)市的數(shù)據(jù)放在一起，這就會(huì)引發(fā)數(shù)據(jù)孤島的現(xiàn)象。在這樣的情況下，就需要跨源、跨域、跨類型、跨IDC的分析需求。這樣的需求從外部進(jìn)入到騰訊的業(yè)務(wù)線后，就能讓平臺(tái)在未來(lái)演進(jìn)的方向上多一個(gè)思考視角。

近年來(lái)，隨著大數(shù)據(jù)的發(fā)展，大數(shù)據(jù)造就了AI，但AI卻沒有很好的賦能大數(shù)據(jù)，此外，安全問題也逐漸成為大數(shù)據(jù)社區(qū)的短板。融合與安全，這就構(gòu)成了未來(lái)大數(shù)據(jù)發(fā)展的兩大方向。

那如何做到融合，陳鵬指出，下一代的計(jì)算平臺(tái)主要應(yīng)該圍繞安全、智能和統(tǒng)一。

第一是安全，雖然大數(shù)據(jù)本身就是采用集群解決孤島問題，但是真正的問題在于，一部分?jǐn)?shù)據(jù)分散后，再把它聚集起來(lái)，你沒有辦法把數(shù)據(jù)整合在一起做一個(gè)集群來(lái)解決，這就把問題分散給了不同團(tuán)隊(duì)，職能部門不同，數(shù)據(jù)庫(kù)也不相通，這就導(dǎo)致了大數(shù)據(jù)發(fā)展面臨的問題。

數(shù)據(jù)安全涉及到權(quán)限的管控安全、計(jì)算安全，以及存儲(chǔ)安全。就騰訊內(nèi)部的系統(tǒng)而言，部門與部門之間，數(shù)據(jù)的隱私性保護(hù)是非常高的，大數(shù)據(jù)安全本身是一個(gè)生態(tài)，涉及大數(shù)據(jù)的各個(gè)系統(tǒng)組件，所以安全必須要跟每一個(gè)環(huán)節(jié)聯(lián)系在一起。

安全問題不像SQL或者其他，大數(shù)據(jù)在這一塊沒有標(biāo)準(zhǔn)而言，騰訊云內(nèi)部從接入到落地、計(jì)算、清洗、分析，到最后的報(bào)表查看，平臺(tái)的全鏈路都把安全串起來(lái)了。因此能夠保證數(shù)據(jù)使用者在使用數(shù)據(jù)過程中的每一個(gè)操作都記錄在案，在最大程度上保證了數(shù)據(jù)安全。

雷小平補(bǔ)充道，在云上，騰訊吸收內(nèi)部和外部的不同經(jīng)驗(yàn)，將其結(jié)合在了一起，做了一整套安全方案，主要包括以下三個(gè)維度。

第一個(gè)維度是用戶的數(shù)據(jù)訪問的安全，這包括了哪些人能夠訪問數(shù)據(jù)，這個(gè)人是一個(gè)合法的人還是一個(gè)冒充的人，以及他能訪問哪些數(shù)據(jù)，具體到這些數(shù)據(jù)的哪些字段，是可讀還是可寫。這些都做了比較細(xì)粒度的管控。

第二個(gè)維度是服務(wù)安全。這是對(duì)整個(gè)數(shù)據(jù)的容災(zāi)，比如用戶在操作的時(shí)候不小心把這個(gè)數(shù)據(jù)刪掉了，那這個(gè)數(shù)據(jù)能不能快速恢復(fù)等。以及在數(shù)據(jù)本身的存儲(chǔ)上，如果是某一個(gè)部分掛掉了，或者某一個(gè)機(jī)房掛掉了，怎么樣保障數(shù)據(jù)的安全。

第三個(gè)維度是上層應(yīng)用，對(duì)于數(shù)據(jù)內(nèi)容做安全校驗(yàn)。這個(gè)服務(wù)是用戶可以選的，也就是說，騰訊有一整套系統(tǒng)能夠識(shí)別用戶的數(shù)據(jù)里面哪些是身份證號(hào)，哪些是密碼，這樣可以通過一些接口讓用戶在寫數(shù)據(jù)進(jìn)來(lái)的時(shí)候自動(dòng)加密、脫敏等等。除此之外，騰訊還做了數(shù)據(jù)訪問頻率的審計(jì)，可以簡(jiǎn)單地將其理解為一層增值服務(wù)。

總的來(lái)說，云就通過訪問的安全、服務(wù)的安全、數(shù)據(jù)的安全做到全鏈路的安全保護(hù)，這套安全能力在整個(gè)國(guó)內(nèi)的云市場(chǎng)還是比較領(lǐng)先的。

安全之后是智能，智能就是怎么讓A幫助B，這是在AB融合過程中的重點(diǎn)?，F(xiàn)在集群規(guī)模已經(jīng)達(dá)到了十萬(wàn)臺(tái)，基本上每年按照百分之五十左右的規(guī)模發(fā)展，幾年后，整個(gè)大數(shù)據(jù)的規(guī)?？赡苓_(dá)到幾十萬(wàn)臺(tái)。但現(xiàn)在，大數(shù)據(jù)還需要人工輔助解決一些運(yùn)營(yíng)問題，希望隨著技術(shù)的發(fā)展，能夠做到將線上運(yùn)行的數(shù)據(jù)回流反饋，再基于機(jī)器學(xué)習(xí)獲得智能化的決策，基于這些決策和指標(biāo)，進(jìn)行后期調(diào)度性能、驅(qū)動(dòng)硬件的定制。

最后是統(tǒng)一，這里涉及框架的統(tǒng)一、AB技術(shù)融合統(tǒng)一等。

從框架統(tǒng)一來(lái)講，大數(shù)據(jù)的技術(shù)棧目前發(fā)展得已經(jīng)非常復(fù)雜了，單純說計(jì)算這一塊，現(xiàn)在有Spark、Hadoop，發(fā)展過程中，同質(zhì)的系統(tǒng)非常混亂。在這樣的情況下，如何保證企業(yè)本身不會(huì)被業(yè)界這些復(fù)雜的系統(tǒng)影響，以及怎么不影響整體架構(gòu)的延伸。

AB技術(shù)融合統(tǒng)一，AB底層算子和分布式運(yùn)行有著很強(qiáng)的相似性，比如大數(shù)據(jù)的join、aggregator、sort和AI的grad、dot、softmax等，通過運(yùn)行的機(jī)制上面做一些融合；在計(jì)算引擎方面，通過統(tǒng)一批、流、圖三種計(jì)算形態(tài)，涵蓋DAG、PS、MPI多種shuffle模式，cost-based optimization，統(tǒng)一執(zhí)行計(jì)劃優(yōu)化，還有基于編譯技術(shù)軟硬件集合，通過代碼生成適配異構(gòu)硬件，計(jì)算型算子下推到GPU、FPGA等。從這些角度講，AB融合是一個(gè)體系化的融合，不是一個(gè)單點(diǎn)的融合，這也是個(gè)趨勢(shì)，最終能給用戶帶來(lái)一站式的數(shù)據(jù)處理體驗(yàn)。

實(shí)習(xí)/全職編輯記者招聘ing

加入我們，親身體驗(yàn)一家專業(yè)科技媒體采寫的每個(gè)細(xì)節(jié)，在最有前景的行業(yè)，和一群遍布全球最優(yōu)秀的人一起成長(zhǎng)。坐標(biāo)北京·清華東門，在大數(shù)據(jù)文摘主頁(yè)對(duì)話頁(yè)回復(fù)“招聘”了解詳情。簡(jiǎn)歷請(qǐng)直接發(fā)送至[email protected]

點(diǎn)「在看」的人都變好看了哦！

Hadoop創(chuàng)始人聊數(shù)字化變革：性能和成本不再是唯二的考慮因素

Doug Cutting：不能從管理層著手，要從更低層次細(xì)節(jié)，“小步迭代”推動(dòng)

騰訊云重磅發(fā)布大數(shù)據(jù)平臺(tái)算力！日實(shí)時(shí)計(jì)算量超40萬(wàn)億

重磅發(fā)布全鏈路大數(shù)據(jù)平臺(tái)WeData

專訪騰訊云大數(shù)據(jù)負(fù)責(zé)人：安全與融合是未來(lái)發(fā)展重點(diǎn)

Doug Cutting：不能從管理層著手，要從更低層次細(xì)節(jié)，“小步迭代”推動(dòng)

騰訊云重磅發(fā)布大數(shù)據(jù)平臺(tái)算力！日實(shí)時(shí)計(jì)算量超40萬(wàn)億