Gleam-Go分布式任務(wù)執(zhí)行系統(tǒng)

Gleam 是一個高性能和高效的分布式執(zhí)行系統(tǒng)。純 Go 編寫，可獨立運行，也可分布式運行。

高性能

• 純 Go 編寫的 mapper 和 reducer 具有高性能和并發(fā)性

• LuaJIT 的性能，可與 C，Java，Go 相媲美。 它可流式處理數(shù)據(jù)，而不用在 Go 和 Lua 之間的上下文切換

• 數(shù)據(jù)通過內(nèi)存時，可選擇是否流入磁盤

• 多個 map/reduce 步驟被合并在一起以獲得更好的性能

內(nèi)存高效

• Gleam 不會發(fā)生常見的 GC 問題。 每個執(zhí)行器在單獨的 OS 進程中運行。 存儲器由 OS 管理。 一臺機器可以托管多個執(zhí)行器

• Gleam 主服務(wù)器和代理服務(wù)器是內(nèi)存高效，只消耗大約 10 MB 內(nèi)存

• Gleam 嘗試根據(jù)數(shù)據(jù)大小提示自動調(diào)整所需的內(nèi)存大小，避免嘗試法導(dǎo)致的錯誤，及手動調(diào)整工作

靈活性

• Gleam 流可以獨立運行，也可分布式運行

• 在記憶模式或 OnDisk 模式下可調(diào)

易于定制

• Go 代碼比 Scala，Java，C ++ 更易讀

• 可選的 LuaJIT FFI 庫可以輕松調(diào)用任何 C 函數(shù)，以獲得更高的性能或使用任何現(xiàn)有的 C 庫

• （future）使用 Lua 編寫的 UDF 編寫 SQL