TASKCTLETL 調(diào)度技術(shù)平臺(tái)

ETL的技術(shù)本質(zhì)是：通過(guò)調(diào)度管理控制一系列具有數(shù)據(jù)處理功能的各種程序有序地運(yùn)行。因此，有人總結(jié)：“ETL是BI（商業(yè)智能）的基礎(chǔ)，調(diào)度是ETL的靈魂”。從功能層面講，調(diào)度是ETL技術(shù)體系的重要組成部分；從架構(gòu)層面講，調(diào)度是ETL技術(shù)體系的核心；從應(yīng)用層面講：調(diào)度是成百上千任務(wù)的管理者、控制者，它不僅限于調(diào)度任務(wù)，同時(shí)還擔(dān)當(dāng)各種任務(wù)的分類管理、展示、監(jiān)控維護(hù)等諸多重任?？梢奅TL調(diào)度的重要性，ETL調(diào)度獨(dú)立發(fā)展將是ETL技術(shù)發(fā)展的一種必然趨勢(shì)！

TASKCTL開源版作為目前唯一的ETL調(diào)度領(lǐng)域開源軟件，保證100% free，絕無(wú)黑盒代碼。它志在促進(jìn)該領(lǐng)域的獨(dú)立發(fā)展，使調(diào)度在ETL領(lǐng)域獨(dú)立化、專業(yè)化、系統(tǒng)化。從而使項(xiàng)目實(shí)施更輕松便捷，使企業(yè)基礎(chǔ)架構(gòu)更清晰、更易管理。

（一）主要適用環(huán)境

操作系統(tǒng)：aix/linux/unix/windows等（由于采用標(biāo)準(zhǔn)c語(yǔ)言構(gòu)建，理論上可應(yīng)用與各種主流unix系列）；

項(xiàng)目規(guī)模：適用于中小型ETL項(xiàng)目；

ETL工具環(huán)境：TASKCTL由于采用任務(wù)插件驅(qū)動(dòng)機(jī)制，因此，可支持各種存儲(chǔ)過(guò)程、各種腳本、以及諸如Datastage\Informatica\kettle等各種ETL工具任務(wù)。

（二）主要功能

核心調(diào)度功能：主要可以完成串行、并行、依賴、互斥、執(zhí)行計(jì)劃排程（自然日歷、邏輯日歷）、定時(shí)、容錯(cuò)（重做、忽略）、循環(huán)、條件分支、遠(yuǎn)程、負(fù)載均衡、斷點(diǎn)續(xù)作、參數(shù)控制、返回控制、跳轉(zhuǎn)控制、變量自動(dòng)設(shè)置、作業(yè)輸入輸出傳遞、時(shí)間窗口控制、并發(fā)控制、資源閾值控制、優(yōu)先級(jí)控制、自定義條件等各種不同的核心調(diào)度功能。

擴(kuò)展功能

網(wǎng)絡(luò)擴(kuò)展：可實(shí)現(xiàn)單機(jī)部署、多服務(wù)部署、遠(yuǎn)程代理部署、集群部署等多種網(wǎng)絡(luò)部署；

應(yīng)用擴(kuò)展：設(shè)計(jì)有專門的應(yīng)用API接口（C接口、JAVA接口、WebServices接口），可實(shí)現(xiàn)更多的調(diào)度應(yīng)用；

任務(wù)類型擴(kuò)展：除開工具本身內(nèi)置的各種ETL作業(yè)、DataStage、Oracle、DB2、sql、Kettle、Java、Shell、Python、exe、bat、ftp、script等作業(yè)類型外，為了適應(yīng)不同類型的任務(wù)調(diào)度，平臺(tái)可通過(guò)具有統(tǒng)一模版、統(tǒng)一接口的插件進(jìn)行快速自定義擴(kuò)展。幾乎只要有命令行接口的程序，TASKCTL都可支持調(diào)度；

應(yīng)用功能：配置功能、流程設(shè)計(jì)功能、監(jiān)控功能、各種查詢功能以及諸如重跑、重置等人工干預(yù)功能；

高可用支持：支持高可用分布式集群調(diào)度，可跨平臺(tái)調(diào)度，Linux可調(diào)度Windows平臺(tái)作業(yè)；

預(yù)警支持：支持短信與郵件預(yù)警功能，可通過(guò)配置實(shí)現(xiàn)JOB的短信與郵件告警；

流程圖支持：流程圖采用有序無(wú)環(huán)圖思想設(shè)計(jì)，可以根據(jù)作業(yè)自動(dòng)繪制流程圖拓?fù)洹?/p>

(三) 主要?jiǎng)?chuàng)新

簡(jiǎn)易性：整個(gè)軟件安裝可實(shí)現(xiàn)分鐘級(jí)完成安裝，一分鐘即可上手完成“Hello World!”配置；

作業(yè)實(shí)時(shí)監(jiān)控：任務(wù)監(jiān)控采用高效數(shù)據(jù)緩存算法，可對(duì)10萬(wàn)級(jí)作業(yè)進(jìn)行統(tǒng)一實(shí)時(shí)監(jiān)控和錯(cuò)誤秒級(jí)定位；

無(wú)數(shù)據(jù)庫(kù)設(shè)計(jì)：國(guó)內(nèi)首款專業(yè)無(wú)數(shù)據(jù)庫(kù)調(diào)度技術(shù)平臺(tái)；

插件機(jī)制：業(yè)界唯一通過(guò)具有統(tǒng)一應(yīng)用接口的插件來(lái)擴(kuò)展任務(wù)類型的技術(shù)平臺(tái)；

流程設(shè)計(jì)代碼開發(fā)設(shè)計(jì)理念：調(diào)度領(lǐng)域唯一通過(guò)文本代碼設(shè)計(jì)流程的調(diào)度技術(shù)平臺(tái)。具有語(yǔ)法代碼特征的文本代碼設(shè)計(jì)與傳統(tǒng)記錄表格對(duì)話框方式相比，操作更方便、設(shè)計(jì)更靈活、可讀性更強(qiáng)。

（四）其它

主要文檔

《TASKCTL1.0（開源版）快速使用指南》

《TASKCTL1.0（開源版）流程XML代碼》

《TASKCTL1.0（開源版）任務(wù)驅(qū)動(dòng)插件應(yīng)用》

《TASKCTL1.0（開源版）技術(shù)白皮書》

《TASKCTL1.0（開源版）二次開發(fā)手冊(cè)》

《TASKCTL1.0（開源版）源代碼簡(jiǎn)要說(shuō)明》