來源：談數(shù)據(jù)

DataOps作為一種企業(yè)提升數(shù)據(jù)分析質(zhì)量和效率的方法論隨之興起?；贒ataOps，企業(yè)數(shù)據(jù)中臺(tái)可以實(shí)現(xiàn)更高效的運(yùn)轉(zhuǎn)，優(yōu)化數(shù)據(jù)質(zhì)量、加快生產(chǎn)周期，實(shí)現(xiàn)更好的數(shù)據(jù)運(yùn)營(yíng)、管理、應(yīng)用。那么，運(yùn)用DataOps如何能夠最大化幫助數(shù)據(jù)團(tuán)隊(duì)運(yùn)營(yíng)數(shù)據(jù)，與業(yè)務(wù)高效協(xié)同？DataOps適合什么樣的企業(yè)和團(tuán)隊(duì)？對(duì)于DataOps未來的演進(jìn)方向是什么？

自2014年大數(shù)據(jù)首次寫入政府工作報(bào)告起，我國(guó)大數(shù)據(jù)產(chǎn)業(yè)飛速發(fā)展，需求旺盛、供給強(qiáng)勁。在國(guó)家大數(shù)據(jù)相關(guān)政策的護(hù)航下，我國(guó)的大數(shù)據(jù)產(chǎn)業(yè)已進(jìn)入深化階段。隨著發(fā)展的不斷深入，企業(yè)數(shù)智化轉(zhuǎn)型逐漸到達(dá)了瓶頸，各類矛盾浮出水面。

一是效率與管理之間的矛盾。數(shù)據(jù)項(xiàng)目尋求快速交付，那么管理就難以貫徹落實(shí)。在執(zhí)行上往往就出現(xiàn)了管理和實(shí)施兩張皮的現(xiàn)象，許多基礎(chǔ)工作遭到了忽視，從而產(chǎn)生了諸多的質(zhì)量問題；

二是業(yè)務(wù)與技術(shù)之間的矛盾。以前我們技術(shù)水平落后，面對(duì)的是巧婦難為無米之炊的問題?，F(xiàn)在技術(shù)發(fā)展迅猛，但在業(yè)務(wù)和技術(shù)的銜接上出現(xiàn)了問題，難以有的放矢。

三是需求與供給之間的矛盾?，F(xiàn)在的技術(shù)發(fā)展迅猛，面對(duì)企業(yè)提出的需求，供給側(cè)能夠給出各式各樣的解決方案。需求方精力都用在識(shí)別和對(duì)比，缺乏對(duì)需求的深入思考，遠(yuǎn)離了問題的本質(zhì)。

在數(shù)智化轉(zhuǎn)型的大背景下，企業(yè)逐步意識(shí)到數(shù)據(jù)的重要程度空前。各行各業(yè)加速建設(shè)企業(yè)內(nèi)部信息系統(tǒng)，加快數(shù)據(jù)平臺(tái)構(gòu)建。但在朝數(shù)智化轉(zhuǎn)型邁進(jìn)的過程中，總是存在著一些問題，阻擋著企業(yè)完成數(shù)智化蛻變。

從企業(yè)角度來看，在數(shù)據(jù)項(xiàng)目的開發(fā)、維護(hù)、管理的過程中，普遍會(huì)遇到一些典型的問題，例如數(shù)據(jù)項(xiàng)目的人工依賴度高、團(tuán)隊(duì)協(xié)作配合困難、需求響應(yīng)時(shí)間低于預(yù)期、開發(fā)流程不夠順暢、管理要求難以貫徹等問題。

已有研究數(shù)據(jù)報(bào)道：99%的企業(yè)數(shù)字化轉(zhuǎn)型以失敗告終，84%的數(shù)字化轉(zhuǎn)型項(xiàng)目未能達(dá)預(yù)期。

在數(shù)智化轉(zhuǎn)型這一階段，企業(yè)的業(yè)務(wù)正處于發(fā)展的關(guān)鍵時(shí)期，組織內(nèi)的數(shù)據(jù)意識(shí)已經(jīng)逐漸成熟，數(shù)據(jù)相關(guān)的需求在這一階段激增。但是這一階段，技術(shù)引擎的動(dòng)力略顯不足，數(shù)據(jù)項(xiàng)目的成本高、數(shù)據(jù)準(zhǔn)備的時(shí)間長(zhǎng)、數(shù)據(jù)需求的響應(yīng)不及時(shí)。種種問題阻礙住了企業(yè)完成數(shù)智化蛻變。也是與此同時(shí)，DataOps以破局者的身份出現(xiàn)在大家的視野當(dāng)中，為企業(yè)的數(shù)據(jù)引擎換擋。

DataOps的概念最早在2014年由國(guó)外學(xué)者提出，隨后業(yè)界逐步對(duì)其內(nèi)涵進(jìn)行補(bǔ)充。在2018年DataOps正式被納入Gartner的數(shù)據(jù)管理技術(shù)成熟度曲線當(dāng)中，由此進(jìn)入了國(guó)際的視野當(dāng)中。2022年中國(guó)信通院正式牽頭啟動(dòng)了DataOps的標(biāo)準(zhǔn)建設(shè)工作，以此為基礎(chǔ)推動(dòng)我國(guó)大數(shù)據(jù)產(chǎn)業(yè)的多元化發(fā)展，助力企業(yè)完成數(shù)智化蛻變。

從發(fā)展上看，自2018年被Gartner納入到數(shù)據(jù)管理技術(shù)成熟度曲線以來，DataOps熱度逐年上升，在21年處在一個(gè)從萌芽期到爆發(fā)期的關(guān)鍵過渡階段，預(yù)示著未來2-5年內(nèi)DataOps將得到廣泛的實(shí)踐應(yīng)用。

從定義上看，Gartner、IBM、Wikipedia爭(zhēng)相對(duì)DataOps提出了自己的定義。普遍認(rèn)同DataOps具有敏捷、協(xié)作、自動(dòng)化等特點(diǎn)。并且也提到了人員、流程、技術(shù)三者融合協(xié)作的重要性。

從實(shí)踐上看，歐美國(guó)家的一些公司在DataOps的探索和發(fā)展上要早于中國(guó)?，F(xiàn)階段，我國(guó)有更廣闊的發(fā)展空間和挖掘潛力，在制度保障、人才培養(yǎng)、技術(shù)儲(chǔ)備發(fā)展上都有著長(zhǎng)期優(yōu)勢(shì)。

從功能上看，DataOps的5大功能，包括：1)部署，包括基礎(chǔ)架構(gòu)和應(yīng)用程序；2)運(yùn)維，系統(tǒng)和應(yīng)用程序的可擴(kuò)展性、可用性、監(jiān)控、恢復(fù)和可靠性；3)治理，數(shù)據(jù)的安全性、質(zhì)量和完整性，包括審計(jì)和訪問控制；4)可用，"可選，可用，可開發(fā)”；5)生產(chǎn)，調(diào)度和監(jiān)控~轉(zhuǎn)為~生產(chǎn)應(yīng)用。

從技術(shù)上看，要構(gòu)建DataOps所需的通用平臺(tái)，一般需要以下技術(shù)：云架構(gòu)，容器，實(shí)時(shí)和流處理，多分析引擎，集成的應(yīng)用程序和數(shù)據(jù)管理，多租戶和安全性，DevOps工具。

在國(guó)外。有如Twitter、Google等公司使用面向未來的數(shù)據(jù)架構(gòu)，有如IBM公司也在多年前就開始研發(fā)了諸如Knowledge catalog、DataStage、Cloud Pak for Data等符合DataOps理念的解決方案，也有像StreamSets公司這樣以DataOps思想來引領(lǐng)開發(fā)的工具產(chǎn)品。

在國(guó)內(nèi)。也有很多的企業(yè)先驅(qū)者，通過敏銳的嗅覺和強(qiáng)大的管理執(zhí)行力去探索DataOps的實(shí)踐。如中國(guó)工商銀行、農(nóng)業(yè)銀行、平安銀行等多家銀行機(jī)構(gòu)，聯(lián)通數(shù)科、廣東移動(dòng)、江蘇移動(dòng)、浙江移動(dòng)等通信企業(yè)，阿里、騰訊、浩鯨、數(shù)造科技等科技公司，都在積極探索并嘗試用DataOps的理念來推動(dòng)我國(guó)數(shù)據(jù)文化的建設(shè)和發(fā)展。

DataOps標(biāo)準(zhǔn)的建設(shè)意義在于在于三定：

即確定DataOps概念意義、明確DataOps實(shí)施流程、把握企業(yè)發(fā)展階段和方向。

再有就是通過標(biāo)準(zhǔn)引領(lǐng)的方式，引導(dǎo)企業(yè)快速接納DataOps文化，盡快完成數(shù)智化轉(zhuǎn)型，釋放數(shù)據(jù)要素價(jià)值。

DataOps的標(biāo)準(zhǔn)體系涵蓋了7大模塊，分別是研發(fā)管理、交付管理、數(shù)據(jù)運(yùn)維三項(xiàng)核心過程，價(jià)值運(yùn)營(yíng)、系統(tǒng)工具、組織管理、安全風(fēng)險(xiǎn)四項(xiàng)保障措施。

標(biāo)準(zhǔn)細(xì)分為25大能力、70余項(xiàng)能力要求和200余個(gè)動(dòng)作環(huán)節(jié)。

目前，標(biāo)準(zhǔn)整體框架達(dá)成共識(shí)，并完成第一個(gè)模塊“研發(fā)管理”的主體內(nèi)容和要求。

該標(biāo)準(zhǔn)對(duì)DataOps的定義和能力特征達(dá)成了共識(shí)。

定義：數(shù)據(jù)研發(fā)運(yùn)營(yíng)一體化（DataOps）是一種面向數(shù)據(jù)全生命周期，以價(jià)值最大化為目標(biāo)的最佳實(shí)踐。聚焦于協(xié)同從數(shù)據(jù)需求輸入到交付物輸出的全鏈路過程，明確研發(fā)運(yùn)營(yíng)目的，細(xì)化實(shí)施步驟，在系統(tǒng)工具、組織模式、安全風(fēng)險(xiǎn)管理的支撐下，實(shí)現(xiàn)數(shù)據(jù)研發(fā)運(yùn)營(yíng)的一體化、敏捷化、標(biāo)準(zhǔn)化、自動(dòng)化、智能化、價(jià)值顯性化理念

在級(jí)別上劃分上由低到高分為入門級(jí)、進(jìn)階級(jí)、優(yōu)秀級(jí)、卓越級(jí)、引領(lǐng)級(jí)5個(gè)級(jí)別大項(xiàng)。

每個(gè)級(jí)別大項(xiàng)中又分為3個(gè)級(jí)別小項(xiàng)。從管理能力、技術(shù)能力、動(dòng)作關(guān)聯(lián)情況以及其他重點(diǎn)四大維度為企業(yè)把脈。便于企業(yè)更精準(zhǔn)掌握現(xiàn)狀。

在7大模塊中，第一個(gè)模塊研發(fā)管理，已經(jīng)就主體部分達(dá)成基本共識(shí)，DataOps研發(fā)管理模塊包含了4項(xiàng)能力，12個(gè)能力項(xiàng)、42個(gè)動(dòng)作環(huán)節(jié)、210條等級(jí)要求和600余項(xiàng)條款要求。

企業(yè)可以通過以評(píng)促建的方式，掌握當(dāng)前發(fā)展現(xiàn)狀，明確未來發(fā)展方向。

Q: 對(duì)DataOps的理解認(rèn)識(shí)，特別是DataOps解決的核心命題是什么？

A: 先說一個(gè)小體會(huì)吧，咱們行業(yè)搞數(shù)據(jù)倉庫或數(shù)據(jù)平臺(tái)工程化的，包括我們的算法工程師、數(shù)據(jù)科學(xué)家等，大家都喜歡吐槽，說自己是搬磚的、填坑的、挖煤的等等，這里面其實(shí)說明了很多問題。

似乎有很多沒啥技術(shù)含量、相對(duì)模式化的工作正在折磨著大家，大家的工作幸福指數(shù)好像并不高，那DataOps，能搞定這個(gè)問題嗎？答案是肯定的，DataOps核心要解決的問題，就是要圍繞相對(duì)復(fù)雜的數(shù)據(jù)處理流水線，基于數(shù)據(jù)驅(qū)動(dòng)的方法，幫助數(shù)據(jù)組織不斷改進(jìn)數(shù)據(jù)活動(dòng)實(shí)施層面的協(xié)作效能。

1) 借鑒DevOps持續(xù)集成與交付方法論，建立數(shù)據(jù)治理基礎(chǔ)框架，實(shí)現(xiàn)數(shù)據(jù)采集、加工、運(yùn)維、服務(wù)過程一站式、體系化、規(guī)范化、自助化的流水線管理模式，消除數(shù)據(jù)生命周期管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理等方面的隱患。

2) 基于大數(shù)據(jù)集群健康評(píng)分機(jī)制，實(shí)現(xiàn)數(shù)據(jù)平臺(tái)降本增效，從數(shù)據(jù)計(jì)算、存儲(chǔ)、調(diào)度等各個(gè)方面洞察平臺(tái)效能和數(shù)據(jù)資源冗余使用畫像，實(shí)現(xiàn)數(shù)據(jù)平臺(tái)、模型和應(yīng)用的快速部署與開發(fā)，使用AI輔助數(shù)據(jù)治理手段，為上層數(shù)據(jù)分析和智能化應(yīng)用提供穩(wěn)定高效算力和算法支持。

3) 實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)，建立數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)體系，通過技術(shù)數(shù)據(jù)雙中臺(tái)底座，讓數(shù)據(jù)資產(chǎn)能力開放運(yùn)營(yíng)過程更加安全、敏捷、服務(wù)化和智能化。

具體來說，DataOps可以在我們數(shù)據(jù)開發(fā)、運(yùn)維、治理、運(yùn)營(yíng)、安全這五大領(lǐng)域發(fā)揮出非常大的實(shí)用價(jià)值：

免責(zé)聲明：

本公眾號(hào)所有分享的軟件和資料來自網(wǎng)絡(luò)收集和整理，所有文字和圖片版權(quán)歸屬于原作者所有，且僅代表作者個(gè)人觀點(diǎn)，與數(shù)據(jù)工匠俱樂部無關(guān)，文章僅供讀者學(xué)習(xí)交流使用，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容，如文章內(nèi)容涉及侵權(quán)，請(qǐng)聯(lián)系后臺(tái)管理員刪除

(歡迎大家加入數(shù)據(jù)工匠知識(shí)星球獲取更多資訊。)

聯(lián)系我們

掃描二維碼關(guān)注我們

微信：SZH9543

郵箱：[email protected]

QQ：2286075659

熱門文章

企業(yè)數(shù)字化轉(zhuǎn)型最難的是什么？就這兩個(gè)字

高盛:頂級(jí)全能型投行崛起之路

精益數(shù)據(jù)治理的助力傳統(tǒng)企業(yè)數(shù)字化轉(zhuǎn)型！

陳春花：如何避免虛假繁忙？

數(shù)據(jù)目錄是什么？您為何需要它？

數(shù)字時(shí)代下的大數(shù)據(jù)管理

我們的使命：發(fā)展數(shù)據(jù)治理行業(yè)、普及數(shù)據(jù)治理知識(shí)、改變企業(yè)數(shù)據(jù)管理現(xiàn)狀、提高企業(yè)數(shù)據(jù)質(zhì)量、推動(dòng)企業(yè)走進(jìn)大數(shù)據(jù)時(shí)代。

我們的愿景：打造數(shù)據(jù)治理專家、數(shù)據(jù)治理平臺(tái)、數(shù)據(jù)治理生態(tài)圈。

我們的價(jià)值觀：凝聚行業(yè)力量、打造數(shù)據(jù)治理全鏈條平臺(tái)、改變數(shù)據(jù)治理生態(tài)圈。

了解更多精彩內(nèi)容

長(zhǎng)按，識(shí)別二維碼，關(guān)注我們吧！

數(shù)據(jù)工匠俱樂部

微信號(hào)：zgsjgjjlb

專注數(shù)據(jù)治理，推動(dòng)大數(shù)據(jù)發(fā)展。