解读 TAOT:MoE 动态副本调度优化 EP 负载的新思路
我常说自己现在是研究训练 infra 的,但回顾自己在个人博客等平台发表的文章,一直没有在这个方向有所产出。所以,借着这次契机来分享和学习一下我们团队最近发表的一篇关于专家并行不均衡问题的文章吧。

我常说自己现在是研究训练 infra 的,但回顾自己在个人博客等平台发表的文章,一直没有在这个方向有所产出。所以,借着这次契机来分享和学习一下我们团队最近发表的一篇关于专家并行不均衡问题的文章吧。





近期涌现了许多强劲的生图模型,比如 Nano Banana Pro。但在最近的测试中,我发现,尽管这些模型非常强大,却无法生成透明背景的图片,甚至连简单的背景去除功能也无法完成。

熟悉 AI 训练的人大多知道,在 PyTorch 里,通过 pinmemory 可以加速数据加载和 CPU→GPU 的传输。我在面试里也被问过这个问题:“pinmemory 到底干嘛的?为什么会变快?什么时候该用?” 今天就把这块内容系统地梳理一下。实战中 pinmemory 其实主要有两种用法: