ParallecHTTP/SSH/TCP/Ping并行客戶端
Parallec是一個(gè)基于Akka的快速并行異步HTTP(S)/SSH/TCP/UDP/Ping 客戶端的Java庫。它是eBay云計(jì)算部門開發(fā)并在REST Superman基礎(chǔ)上開源的。Parallec的寓意是"并行客戶端"： Parallel Client, 發(fā)音如 "Para-like". 更多說明請(qǐng)見這里。
主要用途：
- 管理監(jiān)控大量HTTP/TCP/UDP服務(wù)器，ping海量服務(wù)器
- 集群機(jī)器狀態(tài)、配置探索，基于HTTP(S)/TCP Agent 或者 無agent 的大量遠(yuǎn)程任務(wù)執(zhí)行，軟件部署. HTTP支持SSL 客戶端認(rèn)證
- 海量API聚集到任意數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)流入口
- 并行工作流，自動(dòng)檢測任務(wù)進(jìn)度，以便支持并行處理異步API
- 可控并行的，多個(gè)不同API請(qǐng)求到同一個(gè)HTTP服務(wù)器。HTTP請(qǐng)求模板可以在URL, HTTP Header, EntityBody不同地方進(jìn)行變量替換。這樣可以很方便的對(duì)那些有REST API的數(shù)據(jù)庫或者網(wǎng)絡(luò)服務(wù)器進(jìn)行并行的CRUD操作。
- 靈活的Web服務(wù)器的壓力測試，并將結(jié)果傳到任何地方。
其內(nèi)置特別的響應(yīng)上下文（response context），在處理服務(wù)器回復(fù)（Response）時(shí)能方便快捷的傳入，傳出任何對(duì)象，比如各種客戶端（比如elastic search, kafka, mongodb etc），以便匯集處理數(shù)據(jù)到任何地方。 樣例程序僅需20行代碼，就可以匯總10000隔API的回復(fù)以簡單可控的并行速度發(fā)送匯總到Elastic Search。
和REST Commander類似，Parallec非常高效并且可以處理大量響應(yīng)。 比如其Ping服務(wù)器的速度是目前使用最廣泛并行Ping 軟件FPing的2倍，僅用12秒就可以ping 8000服務(wù)器。（請(qǐng)看Ping視頻演示) 同樣的對(duì)于并行HTTP， Parallec發(fā)送HTTP請(qǐng)求到8000 Web服務(wù)器 并聚集響應(yīng)只需12秒 （聚集到內(nèi)存），或16秒（聚集到Elastic Search）（請(qǐng)看HTTP視頻演示)
通過過去一年內(nèi)部使用和開源REST Superman/ REST Commander的開發(fā)， 反饋，經(jīng)驗(yàn)教訓(xùn)，我們現(xiàn)在做把REST Commander的核心做成一個(gè)易于使用的獨(dú)立庫 （便于從Maven導(dǎo)入，讓所有程序都寫20行代碼變成REST Commander）。在此基礎(chǔ)上，我們添加超過15個(gè)新的功能，改寫超過70%的代碼，以90%以上的測試覆蓋率，確保了用戶和開源貢獻(xiàn)者能夠更加放心的開發(fā)和使用。與此同時(shí)，我們也把整體軟件結(jié)構(gòu)進(jìn)行了優(yōu)化，使得大部分內(nèi)部開發(fā)可以直接在github開源平臺(tái)上直接進(jìn)行。
“Parallec.io現(xiàn)已經(jīng)被集成在eBay的應(yīng)用程序部署系統(tǒng)(PaaS)。Parallec被用于控制10個(gè)以上的并行API的任務(wù)的工作流，每個(gè)任務(wù)并行執(zhí)行到數(shù)十到數(shù)千臺(tái)的生產(chǎn)服務(wù)器的上。與以前的實(shí)現(xiàn)相比，Parallec 處理并行操作代碼簡潔，方便進(jìn)行批作業(yè)的管理，為我們提高了資源利用率和效率?！?br> - Xiaotang (Sheldon) Shao, Principle Software Engineer
Deployment Platform / PaaS, Cloud Engineering at eBay Inc.
您可以用5分鐘按照樣例程序試試Parallec去給多個(gè)服務(wù)器（網(wǎng)站）發(fā)送相同或者不同的請(qǐng)求。我們渴望收到您的意見和建議。您可以通過提交Github Issue進(jìn)行反饋。謝謝！
下面地址有一些 Parallec 的相關(guān)示例：