Kettle-ManagerKettle 的 Web 端管理工具
平臺(tái)簡(jiǎn)介
基于kettle的數(shù)據(jù)流轉(zhuǎn)平臺(tái)，依托kettle的靈活性及豐富的組件生態(tài)，能靈活的實(shí)現(xiàn)各類(lèi)復(fù)雜需求，本平臺(tái)可以單純作為一個(gè)kettle的調(diào)度平臺(tái)，也可以作為一個(gè)靈活的數(shù)據(jù)流轉(zhuǎn)平臺(tái)，二者將是最完美的組合。
平臺(tái)創(chuàng)建的作業(yè)最終都是生成kettle作業(yè)，有特殊需求可以在kettle中直接進(jìn)行修改以滿(mǎn)足特殊需求，靈活才是長(zhǎng)期存活的基礎(chǔ)。
其他非常規(guī)作業(yè)可以直接在kettle中設(shè)計(jì)后在本平臺(tái)內(nèi)進(jìn)行統(tǒng)一調(diào)度管理。
本平臺(tái)足夠靈活，所謂有容乃大如是也，自身雖然已經(jīng)足夠強(qiáng)大，但仍具備不可比擬的包容性，任何外部?jī)?yōu)秀的東西都可以集成進(jìn)來(lái)，因此本平臺(tái)也是很完美的所有后臺(tái)任務(wù)的統(tǒng)一管理平臺(tái)。
kettle作為非常優(yōu)秀的開(kāi)源ETL工具得到了非常廣泛的使用，一般的使用都是使用客戶(hù)端操作管理，但問(wèn)題是當(dāng)投入生產(chǎn)環(huán)境使用時(shí)，動(dòng)輒幾百上千個(gè)job需要管理，這時(shí)在使用客戶(hù)端管理已經(jīng)很難完成了。我所知道的解決方案有用命令行的調(diào)用的，操作極其麻煩，難以維護(hù)，總之還是很難用啦，還有就是開(kāi)發(fā)web端管理工具，kettle自帶了一個(gè)web端管理工具，界面極其簡(jiǎn)陋不說(shuō)，還很難用，基本無(wú)法投入生產(chǎn)環(huán)境使用，其他沒(méi)留意到還有沒(méi)有較好對(duì)眾多job進(jìn)行管理的工具。
基于以上情況和我多年的kettle定制開(kāi)發(fā)與使用經(jīng)驗(yàn)。我設(shè)計(jì)并開(kāi)發(fā)了數(shù)據(jù)大師，在kettle的基礎(chǔ)上，將常用的場(chǎng)景遷移到web端，使運(yùn)維人員甚至普通客戶(hù)都能實(shí)現(xiàn)常見(jiàn)需求，我的目標(biāo)是web端能實(shí)現(xiàn)70%的需求，剩余一些特殊少見(jiàn)的需求則由數(shù)據(jù)人員在kettle中直接實(shí)現(xiàn)，然后統(tǒng)一在本平臺(tái)調(diào)度管理。
本平臺(tái)的具體優(yōu)勢(shì)請(qǐng)參考“平臺(tái)特性”章節(jié)。
平臺(tái)界面
平臺(tái)特性
- 【新】支持在一個(gè)調(diào)度中同時(shí)調(diào)度多個(gè)資源庫(kù)的任務(wù)，也支持一個(gè)資源庫(kù)的任務(wù)在多個(gè)調(diào)度節(jié)點(diǎn)上執(zhí)行，同時(shí)支持在一個(gè)管理系統(tǒng)中同時(shí)管理多個(gè)調(diào)度節(jié)點(diǎn)。
- 新增支持設(shè)置作業(yè)啟動(dòng)時(shí)執(zhí)行，支持 cron 定時(shí)，使定時(shí)設(shè)置更加靈活。
- 平臺(tái)內(nèi)支持創(chuàng)建：數(shù)據(jù)流轉(zhuǎn)作業(yè)（暫時(shí)取消，設(shè)計(jì)有點(diǎn)復(fù)雜不太實(shí)用，目前有數(shù)據(jù)同步任務(wù)）、KM 作業(yè)、javascript 作業(yè)、shell 作業(yè)、sql 作業(yè)。
- 本平臺(tái)能自動(dòng)檢測(cè)作業(yè)運(yùn)行異常信息，便于平臺(tái)運(yùn)行狀況跟蹤，當(dāng)作業(yè)量很大時(shí)，很難逐個(gè)作業(yè)查看運(yùn)行情況。
- 本平臺(tái)提供基礎(chǔ)的運(yùn)行日志，作為作業(yè)運(yùn)行情況的回溯依據(jù)，便于事后問(wèn)題排查。
- 平臺(tái)提供設(shè)計(jì)好的數(shù)據(jù)流轉(zhuǎn)日志功能，更接近業(yè)務(wù)層，用戶(hù)可以根據(jù)需要使用。
- 平臺(tái)提供轉(zhuǎn)換管理，當(dāng)前轉(zhuǎn)換管理只提供查看、刪除、查看轉(zhuǎn)換圖功能，將來(lái)根據(jù)需要提供導(dǎo)入功能。
- 數(shù)據(jù)庫(kù)管理是管理 kettle 中配置的數(shù)據(jù)庫(kù)信息，若是完全深入采用數(shù)據(jù)世界平臺(tái)，那么這里的數(shù)據(jù)庫(kù)都將采用 jndi 的形式關(guān)聯(lián)使用數(shù)據(jù)世界中的數(shù)據(jù)載體管理，一處配置全平臺(tái)通用，若是直接在 kettle 中配置的數(shù)據(jù)庫(kù)，此處可以進(jìn)行密碼解密。
一些說(shuō)明
1. 本平臺(tái)2015年投入使用，我們公司已經(jīng)在多地部署使用，開(kāi)源以來(lái)，外部也有大量用戶(hù)，所有基礎(chǔ)的作業(yè)調(diào)度功能已經(jīng)穩(wěn)定，新添加的功能基本屬于錦上添花，有些小bug也難免，歡迎反饋，讓我們一起讓他變得更好。
2. 本系統(tǒng)是基于數(shù)據(jù)庫(kù)資源庫(kù)設(shè)計(jì)的，暫時(shí)不考慮支持文件資源庫(kù)，當(dāng)前支持oracle和mysql。
3. 關(guān)于kettle版本的問(wèn)題，當(dāng)前版本開(kāi)發(fā)使用的是8.3版，之前版本采用5.4開(kāi)發(fā)，目前建議使用8.3版
關(guān)鍵信息
- 項(xiàng)目文檔地址
- 部署文檔
- 項(xiàng)目源碼
- https://gitee.com/majinju/kettle-manager.git 之前的 kettle-manager 倉(cāng)庫(kù)，針對(duì)數(shù)據(jù)大師項(xiàng)目的 web 項(xiàng)目。
- https://gitee.com/majinju/myutils-kettle.git 我的工具集 kettle 相關(guān)子項(xiàng)目
- 有些依賴(lài)沒(méi)有上傳到 maven 倉(cāng)庫(kù)，建議直接采用項(xiàng)目中 doc/lib 中的依賴(lài)包。
- 數(shù)據(jù)庫(kù)腳本請(qǐng)從部署包中獲取。
- 問(wèn)題反饋郵箱：[email protected]。
- 項(xiàng)目交流 qq 群：320302530 (已滿(mǎn)勿加)，交流 2 群：142104962 (已滿(mǎn)勿加)，交流 3 群：142105082。
常見(jiàn)問(wèn)題
作業(yè)添加
1. 本平臺(tái)是直接讀取你數(shù)據(jù)庫(kù)資源的v_job視圖，這個(gè)視圖包裝了一下r_job表，你可以通過(guò)修改視圖達(dá)到隱藏一些作業(yè)的目的。
2. R_job是kettle資源庫(kù)的系統(tǒng)表，只要你連接這個(gè)資源庫(kù)設(shè)計(jì)的作業(yè)，都會(huì)記錄在這個(gè)表中，所以你只需按照平常的習(xí)慣，連接與本平臺(tái)配置的相同的資源庫(kù)設(shè)計(jì)作業(yè)即可，因?yàn)樽x取的是同一張表，所以不需要額外的操作，直接就可以在本平臺(tái)中看到你的作業(yè)并進(jìn)行調(diào)度。
3. 有外部作業(yè)需要添加到本平臺(tái)，你只需直接使用kettle的Spoon工具，連接同一個(gè)資源庫(kù)進(jìn)行導(dǎo)入操作，這個(gè)數(shù)據(jù)人員都很熟悉。
4. 我覺(jué)得沒(méi)必要在頁(yè)面支持作業(yè)導(dǎo)入功能，不知是否有這樣的需求，這個(gè)暫時(shí)不開(kāi)發(fā)。
查看轉(zhuǎn)換
1. 關(guān)于這個(gè)問(wèn)題，我一直很困惑，為毛要直接查詢(xún)運(yùn)行轉(zhuǎn)換，作業(yè)和轉(zhuǎn)換可謂各司其職，我認(rèn)為要運(yùn)行轉(zhuǎn)換就需要在其上包裝一個(gè)作業(yè)，不管是否有其他流程依賴(lài)的需求。
2. 當(dāng)前新版本已經(jīng)提供轉(zhuǎn)換查看功能，支持直接在調(diào)度中將轉(zhuǎn)換包裝為作業(yè)進(jìn)行運(yùn)行。
注意事項(xiàng)
1. 不要使用系統(tǒng)自帶的記事本編輯配置文件，否則會(huì)導(dǎo)致系統(tǒng)無(wú)法正常讀取你修改的配置文件，可以使用editpuls或notepad++。當(dāng)出現(xiàn)奇葩問(wèn)題時(shí)要想起這個(gè)提示。
2. 相關(guān)文件最好不要存放在有空格或中文的目錄下，避免不必要的麻煩。
后續(xù)計(jì)劃
- 任務(wù)管理在設(shè)置定時(shí)時(shí)可能需要人為分散定時(shí)，考慮生成時(shí)間 - 運(yùn)行任務(wù)數(shù)的分析圖輔助進(jìn)行分散定時(shí)。
- 權(quán)限管理，不同用戶(hù)看到自己的作業(yè)，管理員看所有作業(yè)。
- 分布式、集群支持，考慮增加容災(zāi)機(jī)制。
- 根據(jù)日志加入一些統(tǒng)計(jì)功能