大模型正从简单文本交互扩展到长文档分析、多轮对话和智能体任务，所需处理的信息量大幅增加，计算与显存开销也随之上升。在保证性能的同时提升资源利用率，成为当前研发重点。百度开源的文心5.5 Flash Base正是围绕效率展开系统优化的一款基座模型。

该模型总参数量2800亿，每个Token激活140亿参数，使用33.5万亿Token完成预训练。在知识、推理、数学、代码、多语言和长上下文等基准测试中，它超越DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等同尺寸模型，达到SOTA水平。预训练上下文最长128K，微调与推理阶段支持最长100万Token。

注意力与路由机制创新

在注意力机制上，模型提出Latent-Gated Sparse Attention，将混合稀疏注意力、低秩门控注意力与虚拟头注意力结合。不同层分别承担压缩历史信息和细粒度访问历史位置的任务，低秩门控使门控投影权重参数减少75%，虚拟头注意力提升表达力与训练质量，推理时融合进算子且开销极小。这些设计在降低长上下文资源消耗的同时，保留了对关键信息的处理能力。

专家路由采用Multi-Router Latent MoE，由多个独立路由器共同参与专家选择，改善评分与实际效用的相关性，同时保持激活专家数量、计算量和通信量不变，避免单一路由器偏差影响。

训练目标与基建优化

训练上引入ECHO机制，无需额外MTP模块，复用主干最后一层让模型学习预测后续Token，提升推理和代码能力。该复用层还可作为投机解码的草稿模型，展现多步外推能力。此外，团队优化了分布式Muon优化器，并推出面向大head dim的FlashMask-4注意力算子，提高大规模训练的通信、显存利用和计算效率。

基座模型承载预训练形成的通用能力，是下游微调与定制的基础。开源文心5.5 Flash Base为中文开发者提供了更多技术选择，降低了构建专业模型的训练成本与门槛。开发者可基于自身业务场景进行微调，开发适应长上下文分析或AI Agent任务的应用，获取地址已在Hugging Face公开。