OpenI-Octopus集群管理工具和資源調(diào)度平臺

OpenI-Octopus是一個集群管理工具和資源調(diào)度平臺，它結(jié)合了一些在大規(guī)模生產(chǎn)環(huán)境中表現(xiàn)良好的成熟設(shè)計，主要為提升學(xué)術(shù)研究效率，復(fù)現(xiàn)學(xué)術(shù)研究成果而量身打造。

特點

• 基于Kubernetes開發(fā)資源調(diào)度平臺，以鏡像方式管理任務(wù)運行環(huán)境，一次配置隨處可用；
• 針對AI場景設(shè)計，AI場景的任務(wù)調(diào)度和任務(wù)啟動有一定特殊性，如PS-Worker架構(gòu)的分布式任務(wù)，需要至少滿足兩個角色的資源請求才能啟動任務(wù)，否則即使啟動任務(wù)也會造成資源浪費，而OpenI-Octopus針對類似場景做了很多設(shè)計和優(yōu)化；
• 插件式設(shè)計理念，以核心的業(yè)務(wù)流為基礎(chǔ)，通過插件化的方式提供擴(kuò)展性，不限制插件開發(fā)語言；
• 易于部署，OpenI-Octopus支持helm方式的快速部署，同時支持服務(wù)的自定義部署；
• 支持異構(gòu)硬件，如GPU、NPU、FPGA等，由于采用OpenI-Octopus基于Kubernetes開發(fā)，可自定義不同異構(gòu)硬件插件；
• 支持多種深度學(xué)習(xí)框架，如 tensorflow、pytorch、paddlepaddle等，并通過鏡像方式可方便的支持新增框架。

適用場景

• 構(gòu)建大規(guī)模AI計算平臺；
• 希望共享計算資源；
• 希望在統(tǒng)一的環(huán)境下完成模型訓(xùn)練；
• 希望使用集成的插件輔助模型訓(xùn)練，提升效率。

系統(tǒng)結(jié)構(gòu)