BytePS高性能分布式深度學(xué)習(xí)訓(xùn)練框架

BytePS 是字節(jié)跳動開源的高性能分布式深度學(xué)習(xí)訓(xùn)練框架，官方宣稱 BytePS 在性能上顛覆了過去幾年 allreduce 流派一直占據(jù)上風(fēng)的局面，超出目前其他所有分布式訓(xùn)練框架一倍以上的性能，且同時(shí)能夠支持 Tensorflow、PyTorch、MXNet 等開源庫。

BytePS 通過實(shí)現(xiàn)一個(gè)通用的抽象層，抽象層可以被各種通用框架引用，實(shí)現(xiàn)了同時(shí)支持多個(gè)框架的可能性，因此能夠支持 Tensorflow、PyTorch、MXNet 等行業(yè)主流訓(xùn)練框架。

BytePS 提供了 TensorFlow、PyTorch、 MXNet 以及 Keras 的插件，用戶只要在代碼中引用 BytePS 的插件，就可以獲得高性能的分布式訓(xùn)練。

BytePS 的核心邏輯則實(shí)現(xiàn)在 BytePS core 里。具體的通信細(xì)節(jié)完全由 BytePS 完成，用戶完全不需要操心。