MoE 架构在大模型中越来越常见,但训练时可用的高性能内核选择仍然有限。Prime Intellect 发布的 Prime Mega MoE 直接解决了这一痛点,为已有融合内核增加了完整的反向传播支持。

新内核不仅让整个系统变得可训练,还将前向传播速度提升至原来的 3.11 倍。在实际训练 Qwen3 MoE 时,单个训练步骤的耗时最多减少 34%,这对研究团队和需要频繁实验的开发者而言是实实在在的效率提升。

该内核已开源,社区可以基于它继续优化或适配其他 MoE 架构。对于关注训练效率的中文 AI 从业者,现在可以更轻松地在本地或云上实验大型混合专家模型,缩短从想法到验证的周期,同时显著降低 GPU 小时消耗。