gaffer-rs微批處理調(diào)度工具

gaffer 是 Rust 編寫的微批處理調(diào)度工具，可優(yōu)先級并行作業(yè)調(diào)度程序，具有并發(fā)排除、作業(yè)合并、重復作業(yè)和較低優(yōu)先級的負載限制等功能。

特點

• 循環(huán)執(zhí)行：作業(yè)將在某個時間間隔重新加入隊列

• 作業(yè)隊列：使用可克隆的 [JobRunner] 從各個不同的線程發(fā)送作業(yè)

• Future Jobs：（可選）創(chuàng)建 Futures 以從作業(yè)中獲取結(jié)果

• 作業(yè)優(yōu)先級：為作業(yè)提供優(yōu)先級，所有作業(yè)將按該優(yōu)先級順序執(zhí)行

• 作業(yè)合并：合并隊列中相同 / 相似的作業(yè)以減少工作量

• 并行執(zhí)行：在多個線程上運行作業(yè)并鎖定應該獨占運行的作業(yè)，它們留在隊列中，不占用其他資源

• 并發(fā)排除：基于鍵的鎖定以避免不應并發(fā)運行的作業(yè)

• 優(yōu)先級節(jié)流：為了讓空閑線程準備好接收更高優(yōu)先級的作業(yè)，通過將它們限制為較少數(shù)量的線程來限制較低優(yōu)先級的作業(yè)