高校數(shù)據(jù)治理和全量數(shù)據(jù)中心建設(shè) 嚴(yán)選
共 2051字,需瀏覽 5分鐘
·
2020-11-10 18:41
商品詳情
- 對高校數(shù)據(jù)進(jìn)行調(diào)研盤點(diǎn)、標(biāo)準(zhǔn)統(tǒng)一、全量采集、整合清洗,形成全覆蓋、高質(zhì)量、標(biāo)準(zhǔn)化數(shù)倉,解決數(shù)據(jù)標(biāo)準(zhǔn)不一、來源不清、質(zhì)量不高、數(shù)據(jù)孤島等問題,為數(shù)據(jù)共享、工作流程、管理優(yōu)化、科學(xué)決策提供一站式數(shù)據(jù)支持。
| 版本: V1.0 | 交付方式: 人工服務(wù) |
| 適用于: Windows/Linux | 上架日期: 2019-06-26 |
服務(wù)亮點(diǎn):
1??? 標(biāo)準(zhǔn)化數(shù)據(jù):實(shí)現(xiàn)全校數(shù)據(jù)一數(shù)一源,標(biāo)準(zhǔn)統(tǒng)一,并推行標(biāo)準(zhǔn)落地執(zhí)行措施
2??? 高質(zhì)量數(shù)據(jù):范圍全量覆蓋,來源權(quán)威可信,質(zhì)量清洗提升,內(nèi)容高度整合,
3??? 全場景支持:中間庫交換,API接口調(diào)用,數(shù)據(jù)庫直連,數(shù)據(jù)離線下載
4??? 全業(yè)務(wù)支持:共享交換,一站式服務(wù),移動校園,統(tǒng)計(jì)分析可視化,數(shù)據(jù)填報(bào),報(bào)表生成,決策支持等
服務(wù)內(nèi)容
數(shù)據(jù)治理包含如下10項(xiàng)工作內(nèi)容:
1???? 校級標(biāo)準(zhǔn)制定?????? 遵守國家強(qiáng)制標(biāo)準(zhǔn)、參考教育部推薦標(biāo)準(zhǔn)和其他學(xué)校數(shù)據(jù)標(biāo)準(zhǔn),引入學(xué)校已有事實(shí)標(biāo)準(zhǔn)(含元數(shù)據(jù)模型和代碼集),兼顧各個(gè)標(biāo)準(zhǔn)之間的兼容性、一致性以及標(biāo)準(zhǔn)的可擴(kuò)展性,并匹配學(xué)校的管理特性,確定數(shù)據(jù)子集的分類方式,建設(shè)和完善校級數(shù)據(jù)標(biāo)準(zhǔn)。制定學(xué)校自定義的編碼規(guī)范并給出數(shù)據(jù)分類編碼規(guī)格說明書。
2???? 數(shù)據(jù)調(diào)研?????? 對學(xué)校的部門組織架構(gòu)、管理機(jī)制、數(shù)據(jù)管理現(xiàn)狀進(jìn)行調(diào)研了解。對各管理部門的業(yè)務(wù)內(nèi)容、組織機(jī)構(gòu)、管理信息系統(tǒng)、后臺數(shù)據(jù)庫信息、數(shù)據(jù)內(nèi)容和形態(tài)、供需關(guān)系、交換共享要求、數(shù)據(jù)質(zhì)量問題、現(xiàn)有標(biāo)準(zhǔn)資源等進(jìn)行調(diào)研了解并輸出數(shù)據(jù)現(xiàn)狀報(bào)告。
3???? 數(shù)據(jù)識別?????? 根據(jù)數(shù)據(jù)調(diào)研的結(jié)果,梳理可用數(shù)據(jù)的來源和分布,查看實(shí)際的數(shù)據(jù)內(nèi)容和質(zhì)量情況。根據(jù)數(shù)據(jù)治理范圍,識別出目標(biāo)數(shù)據(jù)所在的庫、表、字段、格式等。
4???? 部署軟件工具?????? 數(shù)據(jù)建模工具:基于制定的校級數(shù)據(jù)標(biāo)準(zhǔn)形成物理模型,并批量建庫建表,用于后期存儲治理后的成果數(shù)據(jù)。
DLF:數(shù)據(jù)湖工廠。對數(shù)據(jù)進(jìn)行采集、傳輸、轉(zhuǎn)換、處理的軟件工具。
ROMA:數(shù)據(jù)開放平臺,用于承載和管理治理后的成果數(shù)據(jù),并對其進(jìn)行封裝、授權(quán)、管理、監(jiān)控和發(fā)布。
DLG:數(shù)據(jù)湖治理。數(shù)據(jù)湖治理,提供元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)資產(chǎn)管理等功能,對治理成果數(shù)據(jù)進(jìn)行在線化、可視化、可繼承化、可管理化的運(yùn)維監(jiān)控。
RDS:關(guān)系型數(shù)據(jù)庫平臺,提供結(jié)構(gòu)化數(shù)據(jù)庫存儲和計(jì)算引擎。
MRS:數(shù)據(jù)倉庫平臺,提供海量數(shù)據(jù)存儲和計(jì)算架構(gòu),及流處理、機(jī)器學(xué)習(xí)、消息訂閱等組件。
5???? 數(shù)據(jù)采集?????? 全量數(shù)據(jù)采集,包括數(shù)據(jù)庫數(shù)據(jù)、線下表格、互聯(lián)網(wǎng)數(shù)據(jù)、日志類數(shù)據(jù)。
6???? 質(zhì)量檢查?????? 制定數(shù)據(jù)質(zhì)量規(guī)則(如非空、唯一性、長度、取值范圍、枚舉范圍、關(guān)聯(lián)一致性等)。按業(yè)務(wù)規(guī)則將質(zhì)量規(guī)則綁定到字段上執(zhí)行質(zhì)量檢查,輸出數(shù)據(jù)質(zhì)量報(bào)告和不合格數(shù)據(jù),以便評估數(shù)據(jù)質(zhì)量狀況、定位有問題的數(shù)據(jù)進(jìn)行修正處理。
7???? 清洗轉(zhuǎn)換和質(zhì)量提升??? 對結(jié)構(gòu)性問題,如代碼不一致、格式單位不一致等問題,通過批量的、規(guī)則化的轉(zhuǎn)換處理,實(shí)現(xiàn)質(zhì)量提升。
對內(nèi)容性問題:如數(shù)據(jù)缺失、內(nèi)容錯誤等問題,將問題數(shù)據(jù)和質(zhì)量報(bào)告提交到數(shù)據(jù)對應(yīng)的負(fù)責(zé)部門,由管理部門或數(shù)據(jù)所有者進(jìn)行核實(shí)、補(bǔ)充、修正后,再次采集入庫為有效數(shù)據(jù)。
8???? 成果數(shù)據(jù)生成?????? 將各種清洗轉(zhuǎn)換完成、符合質(zhì)量標(biāo)準(zhǔn)的數(shù)據(jù)導(dǎo)入到之前已經(jīng)建模完成的表格中,即形成了符合校標(biāo)的、質(zhì)量達(dá)標(biāo)的成果數(shù)據(jù)。這是數(shù)據(jù)治理項(xiàng)目最重要的成果之一。
9???? 數(shù)據(jù)封裝發(fā)布?????? 合格的成果數(shù)據(jù)有數(shù)據(jù)開放平臺進(jìn)行封裝、發(fā)布,通過ETL傳輸、API調(diào)用、數(shù)據(jù)庫連接、離線文件下載等方式向各個(gè)應(yīng)用系統(tǒng)、數(shù)據(jù)使用單位提供數(shù)據(jù)調(diào)用服務(wù)和數(shù)據(jù)共享交換服務(wù)。
交付成果:
1-校級數(shù)據(jù)標(biāo)準(zhǔn):數(shù)據(jù)子集和元數(shù)據(jù)模型、標(biāo)準(zhǔn)代碼集。
2-成果數(shù)據(jù):學(xué)?;A(chǔ)數(shù)據(jù)集、學(xué)生管理數(shù)據(jù)集、教職工管理數(shù)據(jù)集、教學(xué)管理數(shù)據(jù)集、資產(chǎn)管理數(shù)據(jù)集、科研管理數(shù)據(jù)集、財(cái)務(wù)管理數(shù)據(jù)集、日志數(shù)據(jù)集等。
3-軟件體系:PowerDesigner(數(shù)據(jù)模型管理)、華為RDS(結(jié)構(gòu)化數(shù)據(jù)容器)、華為DLI、CDM(數(shù)據(jù)集成遷移)、華為DWS(數(shù)據(jù)倉庫存儲計(jì)算)、華為DLG(元數(shù)據(jù)、質(zhì)量等)、華為ROMA(數(shù)據(jù)封裝發(fā)布)。?
4-管理知識庫:數(shù)據(jù)現(xiàn)狀報(bào)告、數(shù)據(jù)UC矩陣、數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)庫、數(shù)據(jù)流向關(guān)系、數(shù)據(jù)質(zhì)量規(guī)則庫、數(shù)據(jù)質(zhì)量綁定關(guān)系、數(shù)據(jù)質(zhì)量報(bào)告、ETL接口映射(轉(zhuǎn)換)信息等。
5-制度規(guī)范:數(shù)據(jù)標(biāo)準(zhǔn)更新發(fā)布規(guī)范、數(shù)據(jù)標(biāo)準(zhǔn)遵從規(guī)范、權(quán)威數(shù)據(jù)管理責(zé)任、數(shù)據(jù)質(zhì)量保障職責(zé)、數(shù)據(jù)安全保障職責(zé)、數(shù)據(jù)開發(fā)調(diào)用規(guī)范、數(shù)據(jù)共享交換規(guī)范、數(shù)據(jù)管理考核體系等。
用戶案例
暫無,請等待更新
