并行训练

解读 TAOT：MoE 动态副本调度优化 EP 负载的新思路

我常说自己现在是研究训练 infra 的，但回顾自己在个人博客等平台发表的文章，一直没有在这个方向有所产出。所以，借着这次契机来分享和学习一下我们团队最近发表的一篇关于专家并行不均衡问题的文章吧。