DeepSeek开源优化并行策略

2025-02-27 10:14

在开源周的第四天,DeepSeek宣布开源其优化并行策略。其中包括DualPipe,这是一种双向管道并行算法,用于V3/R1训练中的计算-通信重叠。此外,还有EPLB,这是一种专家并行负载平衡器,同样适用于V3/R1。最后,他们还发布了对V3/R1中计算-通信重叠的分析。
浏览 8
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报