欧美视频在线观看一区,日韩综合亚洲,中文字幕the same porn,免费A片在线观看,成人AV电影网久久爱,欧美精品久久人妻无码免费视频,狠狠天天久久,中文的黄色毛片

01 DataOps 定義

DataOps 是一種數(shù)據(jù)工程方法，旨在為分析和數(shù)據(jù)科學(xué)快速、可靠和可重復(fù)地交付生產(chǎn)就緒數(shù)據(jù)。除了速度和可靠性之外，DataOps 還通過(guò)支持?jǐn)?shù)據(jù)版本控制、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)沿襲的工程學(xué)科（專(zhuān)業(yè)）來(lái)增強(qiáng)和推進(jìn)數(shù)據(jù)治理。

DataOps支持業(yè)務(wù)運(yùn)營(yíng)的敏捷性，能夠快速滿(mǎn)足新的和不斷變化的數(shù)據(jù)需求。它還支持可移植性和技術(shù)運(yùn)營(yíng)敏捷性，能夠跨本地、云、多云和混合數(shù)據(jù)生態(tài)系統(tǒng)中的多個(gè)平臺(tái)快速重新部署數(shù)據(jù)管道。

02 重新定義DataOps

上面的定義是準(zhǔn)確但不完整的。它代表了對(duì)DataOps 的常見(jiàn)誤解——僅僅關(guān)注數(shù)據(jù)工程。缺失的部分是缺乏對(duì)數(shù)據(jù)消費(fèi)的關(guān)注，尤其是數(shù)據(jù)科學(xué)應(yīng)用。讓我們重新定義它：DataOps 是一種工程方法論和一套實(shí)踐方法，旨在快速、可靠和可重復(fù)地交付生產(chǎn)就緒數(shù)據(jù)以及運(yùn)營(yíng)就緒分析和數(shù)據(jù)科學(xué)模型。

DataOps 通過(guò)支持?jǐn)?shù)據(jù)版本控制、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)沿襲和分析模型的工程學(xué)科來(lái)增強(qiáng)和推進(jìn)數(shù)據(jù)治理。

DataOps 支持業(yè)務(wù)運(yùn)營(yíng)敏捷性，能夠快速滿(mǎn)足新的和不斷變化的數(shù)據(jù)和分析需求。它還支持可移植性和技術(shù)運(yùn)營(yíng)敏捷性，能夠在本地、云、多云和混合生態(tài)系統(tǒng)中的多個(gè)平臺(tái)上快速重新部署數(shù)據(jù)管道和分析模型。

盡管此定義主要是技術(shù)性的，但重要的是要認(rèn)識(shí)到DataOps 具有業(yè)務(wù)驅(qū)動(dòng)力和優(yōu)勢(shì)，并且還具有重大的組織和文化影響。DataOps 的成功需要關(guān)注四個(gè)方面——業(yè)務(wù)、流程、文化和技術(shù)。Wayne Eckerson 先生的DataOps 框架提供了流程和技術(shù)解讀。

03 DataOps 方法論

基于DevOps——一種經(jīng)過(guò)驗(yàn)證的提高新軟件功能交付速度的方法——DataOps 應(yīng)用了具備自動(dòng)化支持的持續(xù)構(gòu)建、測(cè)試和發(fā)布周期的相同原則。軟件的構(gòu)建是通過(guò)一系列快速迭代完成的，可以做到快速發(fā)現(xiàn)需求、開(kāi)發(fā)軟件的工作模型并與業(yè)務(wù)相關(guān)方合作測(cè)試這些模型。

當(dāng)構(gòu)建和測(cè)試流程交付了具有足夠功能以用于業(yè)務(wù)運(yùn)營(yíng)的工作軟件時(shí)，軟件將被發(fā)布并從開(kāi)發(fā)級(jí)提升到生產(chǎn)級(jí)。其底層的方法學(xué)稱(chēng)為持續(xù)集成/持續(xù)開(kāi)發(fā)或CI/CD。

圖1 說(shuō)明了用于DevOps 軟件開(kāi)發(fā)和集成的CI/CD。在開(kāi)發(fā)過(guò)程中，副需求有兩個(gè)來(lái)源——基于業(yè)務(wù)要求的新軟件需求的傳統(tǒng)流程，以及已發(fā)布軟件的運(yùn)營(yíng)使用反饋。兩者都有助于使用敏捷方法通過(guò)快速的項(xiàng)目開(kāi)發(fā)以解決現(xiàn)存的產(chǎn)品需求（或積壓的需求）。當(dāng)軟件投入運(yùn)營(yíng)時(shí)，它最初會(huì)減少運(yùn)營(yíng)積壓，但新的需求和軟件缺陷會(huì)推動(dòng)產(chǎn)品積壓并進(jìn)而推動(dòng)下一階段的開(kāi)發(fā)。該過(guò)程是不斷開(kāi)發(fā)新軟件功能以及將新功能不斷集成到現(xiàn)有運(yùn)營(yíng)環(huán)境中的過(guò)程之一。運(yùn)營(yíng)和開(kāi)發(fā)之間的協(xié)作至關(guān)重要。

圖1. 用于軟件開(kāi)發(fā)和運(yùn)營(yíng)的DevOps

針對(duì)DataOps 調(diào)整DevOps 模型會(huì)產(chǎn)生一個(gè)稍微復(fù)雜一些的流程模型，該模型由兩個(gè)交互的CI/CD 循環(huán)組成——一個(gè)用于開(kāi)發(fā)和操作分析模型，另一個(gè)用于開(kāi)發(fā)和操作數(shù)據(jù)管道。（見(jiàn)圖2。）

分析需求通常來(lái)自業(yè)務(wù)相關(guān)方。他們填充模型積壓并驅(qū)動(dòng)CI/CD 以進(jìn)行報(bào)告、商業(yè)智能(BI)（分析）、分析軟件和數(shù)據(jù)科學(xué)。

雖然我們指的是分析需求和模型積壓，但DataOps 流程可以應(yīng)用于更廣泛的數(shù)據(jù)產(chǎn)品，包括報(bào)告和商業(yè)智能分析（BI）以及分析和數(shù)據(jù)科學(xué)。數(shù)據(jù)管道需求來(lái)自許多來(lái)源，包括模型積壓。他們填充（數(shù)據(jù)）管道積壓的內(nèi)容并驅(qū)動(dòng)數(shù)據(jù)管道的CI/CD。

DataOps 可應(yīng)用于全方位的數(shù)據(jù)管道，包括ETL 等批處理、實(shí)時(shí)變化數(shù)據(jù)捕獲(CDC) 和流數(shù)據(jù)。

圖2. 用于模型和管道開(kāi)發(fā)和運(yùn)營(yíng)的DataOps

需要注意的是，在此圖中，上部循環(huán)描述了用于分析和數(shù)據(jù)科學(xué)的CI/CD，下部循環(huán)描述了用于數(shù)據(jù)管道的CI/CD。關(guān)鍵是分析推動(dòng)了對(duì)數(shù)據(jù)管道的需求，而不是相反。DataOps 從分析開(kāi)始。兩種積壓工作是模型積壓和管道積壓——都是產(chǎn)品積壓，但針對(duì)不同類(lèi)型的產(chǎn)品。

當(dāng)分析模型投入使用時(shí)，如果沒(méi)有新的數(shù)據(jù)供應(yīng)，它們就無(wú)法持續(xù)，因此數(shù)據(jù)管道至關(guān)重要。在數(shù)據(jù)可用之前，不可能開(kāi)發(fā)新模型，因此數(shù)據(jù)管道再次至關(guān)重要。

圖2 中的紅線(xiàn)表示兩個(gè)循環(huán)之間的主要依賴(lài)關(guān)系。當(dāng)模型積壓被理解后，它用于識(shí)別開(kāi)發(fā)和操作積壓模型所需的數(shù)據(jù)管道。模型積壓成為供給管道積壓的新需求來(lái)源。

04 DataOps 與自動(dòng)化

沒(méi)有自動(dòng)化，DataOps 是不切實(shí)際的。強(qiáng)大的DataOps 技術(shù)為數(shù)據(jù)管道和分析模型的模型編排、數(shù)據(jù)管道編排、測(cè)試自動(dòng)化和部署自動(dòng)化提供了特性和功能。具有AI/ML 自動(dòng)化功能的新興Data Fabric 技術(shù)將在DataOps 的未來(lái)發(fā)揮重要作用。圖3 說(shuō)明了DataOps 的構(gòu)建-測(cè)試-發(fā)布周期，并突出了自動(dòng)化中至關(guān)重要的點(diǎn)。

自動(dòng)化對(duì)于DataOps 至關(guān)重要，其中包括測(cè)試自動(dòng)化至關(guān)重要的八個(gè)點(diǎn)、部署自動(dòng)化的兩個(gè)點(diǎn)和操作編排的兩個(gè)點(diǎn)。

圖3. DataOps 構(gòu)建-測(cè)試-發(fā)布周期中的自動(dòng)化點(diǎn)

首先看一下數(shù)據(jù)科學(xué)和分析的CI/CD 周期，我們可以看到：

? 構(gòu)建活動(dòng)以沖刺（或快速）的形式進(jìn)行，其中包括構(gòu)建和訓(xùn)練模型（和報(bào)告、儀表盤(pán)、記分卡等）。單元測(cè)試和用戶(hù)測(cè)試是每個(gè)沖刺的組成部分，依靠測(cè)試自動(dòng)化來(lái)實(shí)現(xiàn)高速的全面測(cè)試。

? 在一系列沖刺結(jié)束時(shí)，可能需要進(jìn)行集成測(cè)試以確保構(gòu)建活動(dòng)中的所有軟件組件能夠很好地協(xié)同工作。同樣，需要測(cè)試自動(dòng)化。

? 執(zhí)行部署前測(cè)試以確認(rèn)模型已準(zhǔn)備好部署并交付運(yùn)營(yíng)價(jià)值，并為部署后比較，提供基礎(chǔ)。早期的測(cè)試階段——單元、用戶(hù)和集成——專(zhuān)注于構(gòu)建正確的東西，部署前測(cè)試專(zhuān)注于部署正確的軟件（或組件）。在準(zhǔn)備將修訂版部署到先前部署的模型時(shí)，部署前測(cè)試還可能包括回歸測(cè)試。在準(zhǔn)備部署時(shí)，測(cè)試自動(dòng)化扮演著重要的角色。

? 發(fā)布出現(xiàn)在將模型從開(kāi)發(fā)級(jí)提升到生產(chǎn)級(jí)的部署步驟。部署自動(dòng)化支持作為重要發(fā)布步驟的源代碼管理、版本控制和版本（修訂）跟蹤實(shí)踐。

? 執(zhí)行部署后測(cè)試以確認(rèn)模型在生產(chǎn)環(huán)境中的運(yùn)行方式與其在開(kāi)發(fā)和測(cè)試環(huán)境中的運(yùn)行方式完全相同，確認(rèn)環(huán)境因素未影響軟件行為。再一次，測(cè)試自動(dòng)化扮演著重要的角色。

? 模型編排技術(shù)支持操作環(huán)境中的模型執(zhí)行，該技術(shù)可自動(dòng)配置、協(xié)調(diào)和管理執(zhí)行模型的計(jì)算環(huán)境。

數(shù)據(jù)管道的CI/CD 周期遵循與分析模型高度相似的模式：

? 構(gòu)建以一系列沖刺的方式進(jìn)行，包括單元和用戶(hù)測(cè)試。測(cè)試自動(dòng)化有助于實(shí)現(xiàn)快速但完整的測(cè)試。

? 集成測(cè)試確保所有管道組件協(xié)同工作良好。測(cè)試自動(dòng)化支持高速的綜合測(cè)試。

? 執(zhí)行部署前測(cè)試以確認(rèn)管道已準(zhǔn)備好部署并交付應(yīng)用程序所需的數(shù)據(jù)。部署前測(cè)試還為部署后比較提供了基礎(chǔ)。

? 當(dāng)管道實(shí)現(xiàn)從開(kāi)發(fā)到生產(chǎn)的部署或提升到生產(chǎn)級(jí)時(shí)，進(jìn)行發(fā)布。部署自動(dòng)化支持作為重要發(fā)布步驟的源代碼管理、版本控制和修訂跟蹤實(shí)踐。

? 部署后測(cè)試確認(rèn)管道在生產(chǎn)環(huán)境中的功能與它在開(kāi)發(fā)和測(cè)試環(huán)境中的功能完全一樣，確保環(huán)境因素不會(huì)改變軟件行為——這是測(cè)試自動(dòng)化的另一個(gè)用例。

? 管道編排技術(shù)支持操作環(huán)境中的管道執(zhí)行，并對(duì)計(jì)算環(huán)境的配置、協(xié)調(diào)和管理實(shí)現(xiàn)自動(dòng)化。

05 DataOps 是戰(zhàn)略性的

數(shù)據(jù)管道的開(kāi)發(fā)和部署，分析模型的開(kāi)發(fā)和部署，以及管道和模型操作的不斷發(fā)展的實(shí)踐和流程應(yīng)該是您數(shù)據(jù)策略的一部分。真正的回報(bào)來(lái)自于將您的數(shù)和分析文化發(fā)展為一種快速可靠地交付數(shù)據(jù)，并且要以正確的數(shù)據(jù)和模型以及確的速度滿(mǎn)足業(yè)務(wù)經(jīng)理知識(shí)需求的文化。請(qǐng)記住，對(duì)數(shù)據(jù)和分析的需求將繼續(xù)長(zhǎng)，沒(méi)有自動(dòng)化的開(kāi)發(fā)、部署和運(yùn)營(yíng)將無(wú)法擴(kuò)展以滿(mǎn)足需求。

關(guān)于作者

Dave Wells 是一名咨詢(xún)顧問(wèn)、教育家和行業(yè)分析師，致力于在從數(shù)據(jù)到商業(yè)價(jià)值的整個(gè)過(guò)程中建立有意義的關(guān)聯(lián)聯(lián)系。他從事信息管理和業(yè)務(wù)管理的交叉工作，通過(guò)分析、商業(yè)智能和主動(dòng)數(shù)據(jù)管理推動(dòng)業(yè)務(wù)影響。四十多年的信息系統(tǒng)經(jīng)驗(yàn)加上十多年的業(yè)務(wù)管理經(jīng)驗(yàn)，讓他對(duì)業(yè)務(wù)、信息、數(shù)據(jù)和技術(shù)之間的聯(lián)系有著獨(dú)特的見(jiàn)解。Dave 的熱情所在是通過(guò)咨詢(xún)、演講、教學(xué)和寫(xiě)作開(kāi)展知識(shí)共享和技能培養(yǎng)。

關(guān)于Stonebranch

Stonebranch 構(gòu)建IT 編排和自動(dòng)化解決方案，將業(yè)務(wù)的IT 環(huán)境從簡(jiǎn)單的IT任務(wù)轉(zhuǎn)變?yōu)閺?fù)雜的實(shí)時(shí)業(yè)務(wù)服務(wù)自動(dòng)化，幫助組織機(jī)構(gòu)實(shí)現(xiàn)盡可能高的自動(dòng)化回報(bào)。無(wú)論自動(dòng)化程度如何，Stonebranch 平臺(tái)都是簡(jiǎn)單、現(xiàn)代且安全的。使用Stonebranch 通用自動(dòng)化平臺(tái)，企業(yè)可以跨技術(shù)生態(tài)系統(tǒng)和數(shù)據(jù)庫(kù)實(shí)現(xiàn)無(wú)縫編排工作負(fù)載和數(shù)據(jù)。Stonebranch 總部位于佐治亞州亞特蘭大，在美洲、歐洲和亞洲設(shè)有聯(lián)絡(luò)點(diǎn)和支持點(diǎn)，為世界上一些最大的金融、制造、醫(yī)療、旅游、交通、能源和技術(shù)機(jī)構(gòu)提供服務(wù)。

(歡迎大家加入數(shù)據(jù)工匠知識(shí)星球獲取更多資訊。)

聯(lián)系我們

掃描二維碼關(guān)注我們

微信：SZH9543

郵箱：[email protected]

QQ：2286075659

DataOps：不僅僅是數(shù)據(jù)管道！

DataOps：不僅僅是數(shù)據(jù)管道！