DeepSeek開源優(yōu)化并行策略
2025-02-27 10:14
在開源周的第四天,DeepSeek宣布開源其優(yōu)化并行策略。其中包括DualPipe,這是一種雙向管道并行算法,用于V3/R1訓(xùn)練中的計算-通信重疊。此外,還有EPLB,這是一種專家并行負(fù)載平衡器,同樣適用于V3/R1。最后,他們還發(fā)布了對V3/R1中計算-通信重疊的分析。
瀏覽
8評論
圖片
表情
視頻
全部評論
下載APP2025-02-27 10:14