DualPipe 雙向流水線并行算法

DualPipe（“双管道”）是在《深度搜索-V3 技术报告》中引入的一种创新的双向流水线并行算法。它实现了正向和反向计算-通信阶段的完全重叠，同时也减少了流水线气泡。

DualPipe采用了双向微批次调度策略，其核心特点是：

• 对称设计：反向方向的微批次与前向方向对称排列，形成一种几何平衡的调度结构
• 计算-通信重叠：两个共享黑色边框的单元格表示相互重叠的计算和通信过程
• 双向并行：同时在两个方向上推进微批次，最大化硬件利用率

传统流水线并行方法如1F1B（one-forward-one-backward）在处理多GPU场景时会产生大量气泡。

DualPipe通过重新安排微批次执行顺序，和对称结构缓解这个问题。