久其女?huà)z數(shù)據(jù)治理平臺(tái)軟件配套服務(wù) 鯤鵬

久其女?huà)z數(shù)據(jù)治理平臺(tái)搭建了一套集信息資源管理、數(shù)據(jù)建模、數(shù)據(jù)集成整合、數(shù)據(jù)質(zhì)量稽核、數(shù)據(jù)共享交換于一體的全方位大數(shù)據(jù)治理平臺(tái)。
? 信息資源管理平臺(tái)
信息資源（Information?Resources）與人力、物力、財(cái)力和自然資源一樣，都是企業(yè)和政府的重要資源。信息資源管理（Information?Resource?Management,簡(jiǎn)稱(chēng)IRM）是企業(yè)和政府管理的必要環(huán)節(jié)，應(yīng)該納入企業(yè)和政府管理的預(yù)算。信息資源管理包括數(shù)據(jù)資源管理和信息處理管理。信息資源規(guī)劃（Information?Resource?Planning,簡(jiǎn)稱(chēng)IRP）是對(duì)政府和企業(yè)生產(chǎn)過(guò)程和經(jīng)營(yíng)管理信息的采集、處理、傳輸、利用的全面規(guī)劃，是側(cè)重?cái)?shù)據(jù)流分析，為消除“信息孤島”和“信息煙囪”，實(shí)現(xiàn)信息資源整合與應(yīng)用系統(tǒng)集成，實(shí)現(xiàn)政企和企業(yè)內(nèi)外部數(shù)據(jù)共享和數(shù)據(jù)交換的總體規(guī)劃。
久其信息資源管理平臺(tái)，遵循信息資源規(guī)劃（IPR）方法論，可以實(shí)現(xiàn)對(duì)政府和企業(yè)的所有信息資產(chǎn)的管理和規(guī)劃，支持構(gòu)建統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)；為現(xiàn)有應(yīng)用系統(tǒng)附加語(yǔ)義層描述，創(chuàng)建統(tǒng)一的、面向事務(wù)的數(shù)據(jù)資源目錄；基于數(shù)據(jù)資源目錄，創(chuàng)建面向業(yè)務(wù)的統(tǒng)一的信息資源目錄；可以結(jié)合數(shù)據(jù)中心，為所有數(shù)據(jù)提供索引管理，實(shí)現(xiàn)數(shù)據(jù)的分析、共享和交換。
久其信息資源管理平臺(tái)的主要特點(diǎn)如下：
? 可以實(shí)現(xiàn)從概念數(shù)據(jù)建模到邏輯數(shù)據(jù)模型的管理，即實(shí)現(xiàn)兩類(lèi)資源目錄的管理和查看，一類(lèi)為面向應(yīng)用系統(tǒng)的數(shù)據(jù)資源盤(pán)點(diǎn)目錄，一類(lèi)為面向業(yè)務(wù)主題域支撐業(yè)務(wù)使用的信息資源目錄
? 以可視化、自動(dòng)化、智能化的方式，實(shí)現(xiàn)數(shù)據(jù)資源目錄管理，即支持按照應(yīng)用系統(tǒng)進(jìn)行編目管理，賦予每個(gè)數(shù)據(jù)資源業(yè)務(wù)語(yǔ)義，可以快速?gòu)臄?shù)據(jù)庫(kù)中生成資源目錄，并支持跟常用建模工具PowerDesigner、ERWin等無(wú)縫集成
? 數(shù)據(jù)資源目錄可管理結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的各類(lèi)數(shù)據(jù)資源
? 支持的數(shù)據(jù)來(lái)源包括所有JDBC連接的數(shù)據(jù)庫(kù)、文件目錄、HDFS、Hbase等，并可根據(jù)需要快速擴(kuò)展新的數(shù)據(jù)來(lái)源
? 信息資源目錄基于數(shù)據(jù)資源目錄重新進(jìn)行組織，并賦予更豐富的業(yè)務(wù)語(yǔ)義，同時(shí)支持對(duì)新資源的規(guī)劃設(shè)計(jì)
? 信息資源目錄管理提供數(shù)據(jù)編排功能，數(shù)據(jù)編排功能提供豐富的適配器，實(shí)現(xiàn)信息資源的進(jìn)一步加工處理
? 支持自定義資源的注冊(cè)流程、訂閱審批流程，保證資源共享交換的安全性
? 提供百科式的數(shù)據(jù)資源和信息資源瀏覽方式，展示方式清晰明了；同時(shí)界面右側(cè)提供浮動(dòng)導(dǎo)航，可以快速定位到關(guān)注點(diǎn)
? 通過(guò)數(shù)據(jù)圖譜的方式進(jìn)行血緣關(guān)系追溯和關(guān)聯(lián)關(guān)系查詢(xún)，了解數(shù)據(jù)的來(lái)龍去脈
? 可以從多維度進(jìn)行數(shù)據(jù)資源和信息資源的統(tǒng)計(jì)和盤(pán)點(diǎn)
? 支持資源目錄重構(gòu)，不同角色的用戶(hù)從自己需要的角度構(gòu)建資源目錄樹(shù)
? 支持標(biāo)簽庫(kù)管理，自動(dòng)生成每一個(gè)數(shù)據(jù)資源的全文索引，快速搜索并準(zhǔn)確定位到數(shù)據(jù)資源和信息資源
? 統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)管理，并提供全自動(dòng)化數(shù)據(jù)質(zhì)量管控功能，實(shí)現(xiàn)數(shù)據(jù)治理
? 敏捷的可視化分析展現(xiàn)，實(shí)現(xiàn)資源的查詢(xún)和統(tǒng)計(jì)分析
? 支持?jǐn)?shù)據(jù)訂閱，按需推送訂閱信息
? 通用型平臺(tái)，數(shù)據(jù)資源和信息資源的屬性字段可以根據(jù)不同的客戶(hù)需求自定義擴(kuò)展，同時(shí)界面布局也可以自定義配置
? 數(shù)據(jù)建模平臺(tái)
數(shù)據(jù)模型是企業(yè)信息化的核心問(wèn)題。通過(guò)數(shù)據(jù)建模定義整個(gè)企業(yè)信息化體系的數(shù)據(jù)標(biāo)準(zhǔn)，從根本上解決數(shù)據(jù)分散重復(fù)、口徑不一致、共享困難造成的信息孤島等問(wèn)題，為數(shù)據(jù)的有效整合奠定堅(jiān)實(shí)的基礎(chǔ)，全面提升經(jīng)營(yíng)決策、運(yùn)營(yíng)管理的品質(zhì)。
久其大數(shù)據(jù)治理平臺(tái)提供了統(tǒng)一元數(shù)據(jù)建模工具，支持包括從底層數(shù)據(jù)倉(cāng)庫(kù)到上層的數(shù)據(jù)集市，從多維數(shù)據(jù)模型到離散的指標(biāo)數(shù)據(jù)模型，從結(jié)構(gòu)化數(shù)據(jù)到非結(jié)構(gòu)化數(shù)據(jù)，再到普通二維表建模的全面支持，能夠構(gòu)建一套統(tǒng)一的數(shù)據(jù)視圖，為整合各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)、實(shí)現(xiàn)跨業(yè)務(wù)領(lǐng)域分析打下堅(jiān)實(shí)的基礎(chǔ)。
久其數(shù)據(jù)建模平臺(tái)的主要特點(diǎn)如下：
? 全面的元數(shù)據(jù)管理，提供了從底層數(shù)據(jù)倉(cāng)庫(kù)到上層的數(shù)據(jù)集市，從多維數(shù)據(jù)模型到普通二維表建模全面支持，為企業(yè)構(gòu)建了一套統(tǒng)一的數(shù)據(jù)視圖，這是企業(yè)整合各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)、實(shí)現(xiàn)跨業(yè)務(wù)領(lǐng)域分析的基礎(chǔ)。
? 基于業(yè)務(wù)的語(yǔ)義層建模，使最終用戶(hù)不必再面對(duì)大量難于理解的底層技術(shù)概念，為上層的分析應(yīng)用提供了良好的支撐。
? 智能數(shù)據(jù)預(yù)處理，通過(guò)分析用戶(hù)的訪(fǎng)問(wèn)習(xí)慣事先生成相關(guān)的聚合和中間計(jì)算結(jié)果數(shù)據(jù)，有力地保證了查詢(xún)分析功能的快速響應(yīng)。
? 統(tǒng)一的數(shù)據(jù)訪(fǎng)問(wèn)接口，系統(tǒng)對(duì)外提供了自主研發(fā)的BQL和SOA兩種通用的數(shù)據(jù)訪(fǎng)問(wèn)接口，從而實(shí)現(xiàn)了與第三方系統(tǒng)的業(yè)務(wù)交互：
? 支持自上而下的建模過(guò)程，使建模人員能夠從一開(kāi)始就聚焦于應(yīng)用領(lǐng)域的業(yè)務(wù)需求和數(shù)據(jù)的業(yè)務(wù)含義，而不必過(guò)多地關(guān)心底層的技術(shù)實(shí)現(xiàn)細(xì)節(jié)，提高建模的效率和準(zhǔn)確性。
? 元數(shù)據(jù)與發(fā)布數(shù)據(jù)的邏輯分離，把數(shù)據(jù)建模過(guò)程與實(shí)際應(yīng)用過(guò)程相分離，互不影響。
? 基于事務(wù)的部署模式，使得部署過(guò)程安全可靠，不會(huì)因?yàn)殄e(cuò)誤的參數(shù)而破壞生產(chǎn)環(huán)境的數(shù)據(jù)。
? 數(shù)據(jù)集成與整合平臺(tái)
久其數(shù)據(jù)集成與整合平臺(tái)是基于大數(shù)據(jù)技術(shù)的、對(duì)異構(gòu)數(shù)據(jù)源進(jìn)行數(shù)據(jù)抽取、清洗、轉(zhuǎn)換和加載的數(shù)據(jù)集成工具，產(chǎn)品集成了久其公司在數(shù)據(jù)處理領(lǐng)域多年的技術(shù)經(jīng)驗(yàn)，同時(shí)在海量數(shù)據(jù)處理技術(shù)方法上又進(jìn)行了大量探索與突破，實(shí)現(xiàn)了一個(gè)高效、靈活的數(shù)據(jù)集成平臺(tái)。
久其數(shù)據(jù)集成與整合平臺(tái)主要特點(diǎn)如下：
? 完備的數(shù)據(jù)源和目標(biāo)的支持，包括關(guān)系型數(shù)據(jù)庫(kù)（支持常用的數(shù)據(jù)庫(kù)如oracle、mysql、sqlserver以及其他支持jdbc協(xié)議的數(shù)據(jù)庫(kù)），文本文件（分隔符文本、定長(zhǎng)文本等格式），其他數(shù)據(jù)文件（excel、xml、json等），常用的網(wǎng)絡(luò)協(xié)議（HTTP/HTTPS、FTP/FTPS、webservices），以及其他常用的業(yè)務(wù)系統(tǒng)數(shù)據(jù)源。
? 豐富的任務(wù)及適配器組件，常用的任務(wù)主要包括：數(shù)據(jù)流任務(wù)、文件操作任務(wù)、FTP任務(wù)、郵件任務(wù)、SQL任務(wù)、存儲(chǔ)過(guò)程任務(wù)、Hadoop工具相關(guān)任務(wù)等。常用的適配器組件主要包括：SQL輸入、數(shù)據(jù)庫(kù)輸出、文本輸入、文本輸出、excel行浮動(dòng)輸入、excel交叉浮動(dòng)輸入、計(jì)算字段、查找、過(guò)濾、關(guān)聯(lián)、分組、轉(zhuǎn)置適配器等。對(duì)于不常見(jiàn)的業(yè)務(wù)邏輯，產(chǎn)品提供了插件式的可擴(kuò)展機(jī)制，允許開(kāi)發(fā)人員針對(duì)產(chǎn)品進(jìn)行二次開(kāi)發(fā)，在不需要重新對(duì)產(chǎn)品進(jìn)行編譯的情況下，將擴(kuò)展的任務(wù)或者適配器組件添加到產(chǎn)品中，并集成到現(xiàn)有ETL流程中。
? 體系化的異常處理機(jī)制，可以處理數(shù)據(jù)集成和整合過(guò)程的各種數(shù)據(jù)錯(cuò)誤和程序異常。系統(tǒng)中的異常處理包括三個(gè)層面：系統(tǒng)運(yùn)行時(shí)異常、元數(shù)據(jù)配置異常、業(yè)務(wù)數(shù)據(jù)異常
? 統(tǒng)一的公式描述體系，久其公式引擎是久其自主研發(fā)的新一代公式處理器，采用類(lèi)Excel語(yǔ)法，與Excel函數(shù)基本保持一致，對(duì)于熟悉Excel的使用者來(lái)說(shuō)可以輕松上手。同時(shí)公式引擎能夠自動(dòng)適配所有關(guān)系型數(shù)據(jù)庫(kù)，并將大部分公式轉(zhuǎn)化為數(shù)據(jù)庫(kù)SQL直接執(zhí)行。公式引擎內(nèi)置六大類(lèi)近百個(gè)函數(shù)支持，包括字符串操作、數(shù)值運(yùn)算、日期計(jì)算、數(shù)據(jù)容錯(cuò)、模糊匹配、二進(jìn)制處理等各種操作場(chǎng)景都可以支持。
? 靈活的流程調(diào)度模式，平臺(tái)提供了多種流程調(diào)度模式，包括按時(shí)間觸發(fā)、按文件觸發(fā)、按狀態(tài)觸發(fā)、按流程觸發(fā)等，以滿(mǎn)足項(xiàng)目對(duì)流程自動(dòng)化的需求。基于流程自動(dòng)化實(shí)現(xiàn)的系統(tǒng)可以真正實(shí)現(xiàn)自動(dòng)自發(fā)、無(wú)人值守。
? 跨防火墻的數(shù)據(jù)提取方案，平臺(tái)通過(guò)數(shù)據(jù)代理提供了跨防火墻數(shù)據(jù)提取的能力，解決了在分布式數(shù)據(jù)提取環(huán)境下防火墻對(duì)數(shù)據(jù)傳輸?shù)挠绊憽?br/>? 腳本調(diào)用支持，平臺(tái)可以調(diào)用系統(tǒng)的批處理文件以及shell腳本，使ETL流程與操作系統(tǒng)的任務(wù)和命令進(jìn)行交互，同時(shí)ETL流程下的環(huán)境（比如參數(shù)）也能傳遞到腳本中。同時(shí)還支持基于標(biāo)準(zhǔn)Javascript腳本引擎，允許開(kāi)發(fā)人員通過(guò)寫(xiě)腳本的方式快速的將業(yè)務(wù)邏輯整合到流程中。
? REST服務(wù)集成，平臺(tái)提供了restful形式的API，第三方系統(tǒng)可以通過(guò)API來(lái)調(diào)用ETL流程進(jìn)行集成。
? 并行計(jì)算及大數(shù)據(jù)的支持，平臺(tái)提供分布式部署模式，提供對(duì)密集計(jì)算任務(wù)的分布式并行計(jì)算機(jī)制。合了Spark內(nèi)存計(jì)算引擎，可以輕松應(yīng)對(duì)海量數(shù)據(jù)的清洗和轉(zhuǎn)換操作，以解決擁有大規(guī)模密集的計(jì)算任務(wù)的需求。
? 數(shù)據(jù)質(zhì)量稽核平臺(tái)
數(shù)據(jù)稽核是從業(yè)務(wù)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)或者業(yè)務(wù)數(shù)據(jù)之間的關(guān)系出發(fā)，通過(guò)信息化手段對(duì)業(yè)務(wù)數(shù)據(jù)的完整性、準(zhǔn)確性、合理性等進(jìn)行檢查和評(píng)估，揭示數(shù)據(jù)存在的問(wèn)題和潛在風(fēng)險(xiǎn)。
久其數(shù)據(jù)質(zhì)量稽核平臺(tái)，可以實(shí)現(xiàn)閉環(huán)的數(shù)據(jù)治理和管控：從源系統(tǒng)數(shù)據(jù)獲取數(shù)據(jù)???數(shù)據(jù)稽核???產(chǎn)生稽核結(jié)果???生成標(biāo)準(zhǔn)化稽核報(bào)告、預(yù)警郵件和短信???分發(fā)稽核報(bào)告、預(yù)警郵件和短信???形成待辦事項(xiàng)???處理待辦事項(xiàng)???修正源系統(tǒng)數(shù)據(jù)。
數(shù)據(jù)質(zhì)量稽核平臺(tái)共有九大功能特點(diǎn)：
? 可以自定義稽核模型（稽核對(duì)象、稽核周期、稽核規(guī)則、稽核數(shù)據(jù)存儲(chǔ)）
? 通過(guò)稽核目錄、稽核模型、稽核對(duì)象可以自定義數(shù)據(jù)稽核體系
? 以語(yǔ)義化的方式描述稽核規(guī)則，無(wú)需編寫(xiě)SQL
? 分布式稽核任務(wù)并發(fā)執(zhí)行：按照稽核周期執(zhí)行稽核任務(wù)，支持將多個(gè)稽核任務(wù)分發(fā)到各個(gè)服務(wù)器上進(jìn)行并發(fā)執(zhí)行
? 可以生成圖文并茂的標(biāo)準(zhǔn)化稽核報(bào)告
? 可以將稽核預(yù)警信息以郵件、短信的方式進(jìn)行推送，并生成待辦事項(xiàng)
? 可以接收代辦事項(xiàng)，并在線(xiàn)處理和審閱代辦事項(xiàng)
? 自動(dòng)生成統(tǒng)計(jì)分析圖表，展示每次數(shù)據(jù)稽核的概覽情況和分項(xiàng)情況
? 支持定義考核指標(biāo)考評(píng)數(shù)據(jù)治理情況，包括數(shù)據(jù)質(zhì)量和工作質(zhì)量
? 數(shù)據(jù)共享交換平臺(tái)
久其數(shù)據(jù)共享交換平臺(tái)是在保持相對(duì)獨(dú)立性、松耦合的前提下，將分散建設(shè)的若干應(yīng)用信息系統(tǒng)，通過(guò)數(shù)據(jù)共享交換平臺(tái)建立起系統(tǒng)間點(diǎn)對(duì)點(diǎn)的信息高速通道，從而實(shí)現(xiàn)分布、異構(gòu)的應(yīng)用子系統(tǒng)間信息/數(shù)據(jù)的實(shí)時(shí)、高效、安全的數(shù)據(jù)共享與交換，且在數(shù)據(jù)傳輸過(guò)程中支持集成協(xié)議轉(zhuǎn)換、加密、壓縮、交換過(guò)程監(jiān)控等功能保證數(shù)據(jù)的有效交換。具體功能包括：
? 統(tǒng)一的數(shù)據(jù)資源管理，支持?jǐn)?shù)據(jù)目錄、數(shù)據(jù)訂閱、用戶(hù)權(quán)限、數(shù)據(jù)審批流程等功能
? 多樣的數(shù)據(jù)源和目標(biāo)，支持多種類(lèi)型的數(shù)據(jù)源和數(shù)據(jù)目標(biāo)，包括不同類(lèi)型的數(shù)據(jù)庫(kù)、文件目錄等
? 安全高效的傳輸與交換，實(shí)現(xiàn)數(shù)據(jù)在不同數(shù)據(jù)源和目標(biāo)應(yīng)用之間的高效、安全、可靠的傳輸和交換
? 豐富的交換模式，支持豐富的數(shù)據(jù)接口模式，包括數(shù)據(jù)庫(kù)、文件、REST?API、ESB、消息中間件等
? 支持?jǐn)?shù)據(jù)服務(wù)，通過(guò)虛擬數(shù)據(jù)API無(wú)須原廠(chǎng)商參與，即可快速完成數(shù)據(jù)資源的注冊(cè)、管理和交換
? 靈活的數(shù)據(jù)轉(zhuǎn)換，支持豐富的數(shù)據(jù)適配器及全圖形化的配置界面，實(shí)現(xiàn)在數(shù)據(jù)傳輸過(guò)程對(duì)數(shù)據(jù)進(jìn)行適當(dāng)?shù)那逑春娃D(zhuǎn)換
? 完整的過(guò)程監(jiān)控：支持對(duì)數(shù)據(jù)傳輸過(guò)程的監(jiān)控、管理和調(diào)度，包括CPU、內(nèi)存、日志、計(jì)劃任務(wù)等
? 快速應(yīng)用：支持多種形式拓?fù)浣Y(jié)構(gòu)部署，支持快速部署、實(shí)施和管理