RainRust 實現(xiàn)的分布式計算框架

Rain 是一個 Rust 實現(xiàn)的輕巧且強大的分布式計算框架，適用于處理大規(guī)模的基于任務(wù)的管道。

Rain 旨在降低分布式計算世界的入門門檻，目的是提供一個輕巧而強大的分布式框架，該框架具有直觀的 Python API、簡單的安裝和部署以及頂層的深入監(jiān)控。

功能特性

• 數(shù)據(jù)流編程：Rain 中的計算被定義為任務(wù)的流程圖(flow graph)。任務(wù)可以是內(nèi)置函數(shù)，Python/C++/Rust 代碼，也可以是外部應(yīng)用程序，短而輕或長時間運行且繁重。該系統(tǒng)旨在將任何代碼集成到管道中，合理分配其資源需求，并處理非常大的任務(wù)圖(task graphs)，通常是數(shù)十萬個任務(wù)。

• 易于使用：Rain 設(shè)計之初就考慮到要易于部署，從單節(jié)點部署到大規(guī)模分布式系統(tǒng)和數(shù)千個核心的云。

• Rust 核心：Python/C++/Rust API。為了安全和高效，Rain 采用 Rust 編寫，并為 Rain 核心基礎(chǔ)架構(gòu)提供了高級 Python API，甚至支持開箱即用的 Python 任務(wù)。Rain 還提供了用 C++ 和 Rust 編寫自己的任務(wù)的庫。

• 監(jiān)控：支持在線和 postmortem 監(jiān)控。