Mixture-of-Experts架构让大模型轻松扩展到千亿参数，但带来严重内存浪费：Qwen3.5-122B的48个MoE层每层256个专家，总参数约250GB，其中95%被专家MLP独占，而任意token实际只激活8个专家。

专家剪枝是最直接的解决办法——永久删除最不重要的专家。它无需训练、不引入延迟，还能与量化结合。但难点在于如何安全选择要删除的对象。

传统方法忽略专家合作关系

现有方法对每个专家独立打分，基于校准数据集给出标量重要性，然后每层独立砍掉得分最低的。这种一阶方法假设专家贡献相互独立，而实际中专家形成合作集群，共同激活的现象非常一致。

HOPE引入二阶交互建模

新方法HOPE通过二阶近似考虑专家之间的成对交互，在剪枝决策时保留更有价值的合作组。在50%剪枝比例下，它取得当前所有方法中的最佳平均排名，在Agent编码任务上最多带来6.1%的性能提升。

对追求极致效率的开发者来说，这提供了一种无需额外训练就能显著降低MoE部署内存的实用路径。结合已有量化技术后，原本只能在高端GPU集群运行的模型，有望在更普通硬件上获得接近原始的推理质量，值得关注相关开源实现并应用于自己的大模型优化流程。