敏捷型數(shù)據(jù)中臺(tái)

Data?Formula核心功能如下：

一、數(shù)據(jù)源支持
Data?Formula支持多種數(shù)據(jù)源類型，包括離線數(shù)據(jù)文件、各種主流關(guān)系型數(shù)據(jù)庫，NoSQL數(shù)據(jù)庫，多維數(shù)據(jù)庫以及第三方系統(tǒng)API接口。具體支持如下：
（1）離線文件：Excel，CSV格式文件；
（2）關(guān)系型數(shù)據(jù)庫：?My?SQL，Oracle，SQL?Server，Sybase，Postagre?SQL，Greenplum，Vertica等
（3）NoSQL數(shù)據(jù)庫：?MongoDB，CouchDB等；
（4）多維數(shù)據(jù)庫及其他：?Kylin，SAP?BW?/?HANA，Hive等；
（5）第三方API接口：指各類業(yè)務(wù)系統(tǒng)實(shí)現(xiàn)的用于數(shù)據(jù)傳輸?shù)腁PI接口，該數(shù)據(jù)對(duì)接方式支持定制開發(fā)。
?Data?Formula支持對(duì)上述數(shù)據(jù)源類型進(jìn)行數(shù)據(jù)抽取，用戶可以進(jìn)行一次性導(dǎo)入操作，也可以通過定時(shí)任務(wù)的方式進(jìn)行定時(shí)批量數(shù)據(jù)導(dǎo)入處理，用戶可以自定義任務(wù)的時(shí)間，頻率，以及導(dǎo)入的具體條件。

二、數(shù)據(jù)模型管理
Data?Formula從業(yè)務(wù)數(shù)據(jù)應(yīng)用場(chǎng)景出發(fā)，采用業(yè)務(wù)域的方式，對(duì)數(shù)據(jù)模型進(jìn)行管理，用戶可以直觀的通過業(yè)務(wù)模型視角，觀察數(shù)據(jù)集之間的關(guān)系。也可以對(duì)數(shù)據(jù)模型進(jìn)行增刪改查操作，或者進(jìn)行復(fù)制，修改等操作。
?
通過基于數(shù)據(jù)模型的管理方式，可以確保在數(shù)據(jù)中臺(tái)內(nèi)，數(shù)據(jù)的業(yè)務(wù)一致性和完整性，該管理方式是Data?Formula數(shù)據(jù)管理方法論中的核心理念。
數(shù)據(jù)模型管理功能中也包含了主數(shù)據(jù)，以及數(shù)據(jù)標(biāo)準(zhǔn)的具體實(shí)踐。每一個(gè)業(yè)務(wù)域，都可以定制自己的主數(shù)據(jù)，以及對(duì)應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)。這樣也便于業(yè)務(wù)快速的使用數(shù)據(jù)，避免了不同業(yè)務(wù)線對(duì)數(shù)據(jù)不同要求之間的沖突。

三、數(shù)據(jù)集管理
Data?Formula數(shù)據(jù)資產(chǎn)管理功能中，可以通過數(shù)據(jù)模型定位到數(shù)據(jù)集，也可以通過數(shù)據(jù)目錄定位到數(shù)據(jù)集。針對(duì)每一個(gè)數(shù)據(jù)集（歸屬于模型或離散的），用戶都可以查看瀏覽該數(shù)據(jù)集的基本信息，血緣關(guān)系，以及對(duì)應(yīng)的數(shù)據(jù)質(zhì)量。用戶也可以針對(duì)該數(shù)據(jù)集進(jìn)行進(jìn)一步的后續(xù)操作，進(jìn)行數(shù)據(jù)轉(zhuǎn)換加工，納入某一特定業(yè)務(wù)模型或?qū)⒋藬?shù)據(jù)集共享至數(shù)據(jù)服務(wù)。
Data?Formula中的數(shù)據(jù)血緣關(guān)系，通過數(shù)據(jù)集與數(shù)據(jù)集之間的轉(zhuǎn)換關(guān)系進(jìn)行描述，每一個(gè)數(shù)據(jù)變遷過程，都可以追溯到具體的字段以及變化內(nèi)容。
Data?Formula中的數(shù)據(jù)質(zhì)量管理，不在作為一個(gè)獨(dú)立的模塊，而是作為數(shù)據(jù)集轉(zhuǎn)換加工的依據(jù)，以及數(shù)據(jù)模型質(zhì)量的基礎(chǔ)。用戶可以通過數(shù)據(jù)加工處理，進(jìn)行數(shù)據(jù)質(zhì)量的優(yōu)化，以便快速達(dá)到業(yè)務(wù)需求。
?
四、任務(wù)調(diào)度管理
作為數(shù)據(jù)處理的核心體系之一，批量式數(shù)據(jù)處理是企業(yè)中最常見的業(yè)務(wù)場(chǎng)景。Data?Formula中針對(duì)這種數(shù)據(jù)處理方式，提供了統(tǒng)一的任務(wù)調(diào)度管理功能，在該模塊中，可以看到數(shù)據(jù)中臺(tái)內(nèi)部所有批量數(shù)據(jù)處理的任務(wù)，包括這些任務(wù)的狀態(tài)，執(zhí)行歷史等信息。用戶也可以對(duì)這些任務(wù)進(jìn)行操作，包括修改，執(zhí)行，暫?；蛘呷∠取?br/>?
五、流式數(shù)據(jù)處理
數(shù)據(jù)處理核心體系的另一個(gè)數(shù)據(jù)處理方式為流式數(shù)據(jù)處理。Data?Formula可以對(duì)接以MQTT為代表的IOT數(shù)據(jù)消息隊(duì)列，也可以對(duì)接Kafka，處理流式業(yè)務(wù)數(shù)據(jù)。
所有的流式數(shù)據(jù)，可以進(jìn)行實(shí)時(shí)計(jì)算，并將結(jié)果匯入Data?Formula統(tǒng)一數(shù)據(jù)引擎，還可以同時(shí)存入InfluxDB這類的時(shí)序數(shù)據(jù)庫，也可以直接通過Data?API，透?jìng)髦劣脩魝?cè)的數(shù)據(jù)應(yīng)用。
通過這種流式數(shù)據(jù)棱鏡式的處理方式，可以將流式數(shù)據(jù)的管理和傳統(tǒng)企業(yè)側(cè)數(shù)據(jù)管理模式統(tǒng)一起來。

六、數(shù)據(jù)加工處理
Data?Formula的數(shù)據(jù)加工處理功能，完全可以替代傳統(tǒng)的數(shù)據(jù)ETL過程。數(shù)據(jù)中臺(tái)理念中，通過數(shù)據(jù)的先期導(dǎo)入存儲(chǔ)，后續(xù)根據(jù)業(yè)務(wù)要求，靈活加工，將傳統(tǒng)ETL過程轉(zhuǎn)化成了ELT過程，保證了數(shù)據(jù)業(yè)務(wù)的靈活性，快速的滿足業(yè)務(wù)需求。
數(shù)據(jù)Transform的過程中，Data?Formula提供了很多數(shù)據(jù)轉(zhuǎn)換子操作，用戶可以靈活的根據(jù)業(yè)務(wù)需要進(jìn)行組合，從而形成一個(gè)功能強(qiáng)大且完整的數(shù)據(jù)處理流程。在快速滿足業(yè)務(wù)需求的同時(shí)，輕松替換傳統(tǒng)ETL。

七、數(shù)據(jù)算法管理
Data?Formula針對(duì)數(shù)據(jù)加工處理，還提供了基于算法的增強(qiáng)能力。在某些行業(yè)中，可以使用標(biāo)簽算法，進(jìn)行業(yè)務(wù)數(shù)據(jù)標(biāo)簽化，通過標(biāo)簽算法生成的業(yè)務(wù)標(biāo)簽數(shù)據(jù)集和業(yè)務(wù)數(shù)據(jù)集關(guān)聯(lián)，可以形成基于標(biāo)簽的新業(yè)務(wù)模型。從而為業(yè)務(wù)系統(tǒng)進(jìn)行對(duì)應(yīng)的標(biāo)簽數(shù)據(jù)支撐。
Data?Formula算法（AI）模塊還支持用戶自定義算法，目前支持的算法腳本語言為Python，用戶可以將自定義的Python算法引入Data?Formula，對(duì)數(shù)據(jù)進(jìn)行加工處理，也可以使用Data?Formula中的數(shù)據(jù)對(duì)機(jī)器學(xué)習(xí)（AI）算法進(jìn)行訓(xùn)練優(yōu)化。
?
八、?數(shù)據(jù)服務(wù)管理
數(shù)據(jù)服務(wù)能力是數(shù)據(jù)中臺(tái)區(qū)別于數(shù)據(jù)倉庫的核心區(qū)別之一。傳統(tǒng)數(shù)據(jù)倉庫通過用戶名/密碼的方式，對(duì)外輸出數(shù)據(jù)，這種方式存在較大的安全隱患和性能隱患。在Data?Formula數(shù)據(jù)中臺(tái)設(shè)計(jì)理念中，使用數(shù)據(jù)服務(wù)API的方式，對(duì)外提供數(shù)據(jù)服務(wù)。API的方式，可以較為靈活的對(duì)數(shù)據(jù)權(quán)限進(jìn)行控制，也可以對(duì)訪問的壓力進(jìn)行緩沖，從而緩解性能瓶頸。
Data?Formula產(chǎn)品中，用戶可以通過配置的方式，快速生成一個(gè)數(shù)據(jù)服務(wù)API，無須進(jìn)行任何代碼的編寫。數(shù)據(jù)服務(wù)API采用標(biāo)準(zhǔn)的Restful形式，數(shù)據(jù)使用標(biāo)準(zhǔn)的JSON?/?XML，方便業(yè)務(wù)系統(tǒng)進(jìn)行對(duì)接。

九、用戶權(quán)限管理
Data?Formula采用標(biāo)準(zhǔn)的用戶角色權(quán)限管理模式。所有的功能，數(shù)據(jù)都可以根據(jù)角色/權(quán)限進(jìn)行分配調(diào)整。
在大部分實(shí)際業(yè)務(wù)場(chǎng)景中，用戶權(quán)限角色體系，需要和企業(yè)的用戶管理，權(quán)限管理體系打通，Data?Formula在設(shè)計(jì)的時(shí)候就考慮到了這樣的實(shí)施場(chǎng)景，可以方便的進(jìn)行對(duì)接。
用戶角色權(quán)限體系即可以深度對(duì)接，所有的權(quán)限管理，均在第三方系統(tǒng)內(nèi)完成，也可以只進(jìn)行用戶認(rèn)證體系對(duì)接，權(quán)限控制依然在中臺(tái)體系內(nèi)。具體的對(duì)接方式，可以根據(jù)業(yè)務(wù)場(chǎng)景靈活選擇。
具體用戶權(quán)限體系對(duì)接，可以咨詢DataHunter售前工程師。

十、日志審計(jì)管理
作為數(shù)據(jù)中臺(tái)，企業(yè)的數(shù)據(jù)心臟，用戶的操作日志記錄審計(jì)也是必不可少的功能。Data?Formula能夠?qū)⑾到y(tǒng)內(nèi)所有的用戶操作行為進(jìn)行記錄，包括數(shù)據(jù)導(dǎo)入，數(shù)據(jù)轉(zhuǎn)換，數(shù)據(jù)共享等各個(gè)環(huán)節(jié)。
系統(tǒng)操作審計(jì)日志具備防篡改能力，可以隨時(shí)進(jìn)行查詢?yōu)g覽，保證了企業(yè)數(shù)據(jù)安全。