百度发布 ERNIE 5.5 Flash Base：280B MoE 基础模型
Baidu Releases ERNIE 5.5 Flash Base: A 280B MoE Base Model With 14B Active Parameters
百度开源了 280B MoE 基础模型权重，架构细节与基准数据详实，对做基座模型对比和二次开发的研究者极具参考价值，建议重点关注。
Baidu has released ERNIE 5.5 Flash Base, the raw pre-training checkpoint of its new sparse Mixture-of-Experts language model. ERNIE 5.5 Flash Base is a 280B-parameter text model from Baidu that activates 14B parameters per token. The weights stop at the end of pre-training, with no mid- or post-training applied. This as a clean starting point for teams that want to compare fine-tuning, instruction tuning or RL methods from one checkpoint.
百度发布了 ERNIE 5.5 Flash Base，这是其新推出的稀疏混合专家（Mixture-of-Experts）语言模型的原始预训练检查点。ERNIE 5.5 Flash Base 是百度推出的拥有 280B 参数的文本模型，每个 token 激活 14B 参数。权重停留在预训练结束时的状态，未应用中期或后期训练。这为希望从一个检查点出发比较微调、指令微调或强化学习方法的团队提供了一个干净的起点。
TL;DR
TL;DR（太长不看版）
- Size: 280B total, 14B active per token; 128K training context, 1M for fine-tuning and inference.
- Runs on: Multi-GPU servers. Baidu’s reference configs use 4-way parallelism in SGLang and vLLM. GPU model and VRAM not disclosed. FP8 and BF16 weights.
- Performance: Best score on 24 of 30 base-model benchmarks in Baidu’s unified pipeline (self-reported).
- Best: MMLU-Pro 78.4, ahead of DeepSeek-V4-Flash-Base at 69.2.
- Worst: HELMET-Rerank 56.2, behind DeepSeek-V4-Flash-Base at 60.0.
- 规模：总计 280B 参数，每个 token 激活 14B；训练上下文长度为 128K，微调与推理时为 1M。
- 运行环境：多 GPU 服务器。百度的参考配置在 SGLang 和 vLLM 中使用 4路并行。未披露 GPU 型号和显存大小。提供 FP8 和 BF16 权重。
- 性能：在百度统一管道中的 30 个基础模型基准测试里，取得了 24 项的最高分（自报数据）。
- 最佳表现：MMLU-Pro 得分 78.4，领先于 DeepSeek-V4-Flash-Base 的 69.2。
- 最差表现：HELMET-Rerank 得分 56.2，落后于 DeepSeek-V4-Flash-Base 的 60.0。
What is ERNIE 5.5 Flash Base?
什么是 ERNIE 5.5 Flash Base？
It is a text-only MoE base model with 43 layers and a 4096 hidden size. It was pre-trained from scratch on 33.5T tokens with the Muon optimizer. The tokenizer has 201,216 entries and groups numbers right-to-left in chunks of up to 3 digits.
它是一个仅文本的 MoE 基础模型，包含 43 层，隐藏层大小为 4096。它使用 Muon 优化器从头开始基于 33.5T 个 token 进行预训练。词表包含 201,216 个条目，并将数字以最多 3 位为一组从右向左进行分词。
Activated compute, KV cache and long-context cost were treated as one budget. Pre-training data leaned on repository-scale code and long-context material, since those are hard to add later.
激活计算量、KV 缓存和长上下文成本被视为同一预算。预训练数据侧重于仓库级代码和长上下文材料，因为这些内容在后期难以补充。
How does the ERNIE 5.5 Flash architecture work?
ERNIE 5.5 Flash 架构是如何工作的？
- Hybrid attention: 37 layers use Heavily Compressed Attention (HCA), which caches 1 entry per 128 tokens. The other 6 layers use Multi-head Latent Attention with sparse attention (MLA + DSA). That means 1 in 7 layers keeps full-context access. HCA layers use 512-dim heads; MLA layers use 256-dim heads.
- Gated and mixed heads: The attention output gate comes from the low-rank query latent, cutting gate-projection parameters by 75%. Virtual Head Attention adds a lightweight low-rank mix across heads.
- Multi-Router Latent MoE. Each MoE layer has 512 routed experts (top-10) plus 1 shared expert. Several independent sigmoid routers replace a single router, per Baidu’s Multi-Router paper. Expert FLOPs and communication volume stay unchanged. Experts run in a 2048-d latent space, half the hidden width.
- ECHO instead of MTP.:ECHO reuses the backbone’s final layer to predict future tokens. The same layer doubles as a built-in draft model for speculative decoding. ECHO adds 0.36B parameters, excluded from the headline counts.
- Other pieces: The model uses Manifold-constrained Hyper-Connections with expansion rate 4 and a MultiMax output head.
- 混合注意力机制：37 层使用高度压缩注意力（HCA），每 128 个 token 缓存 1 个条目。其余 6 层使用带有稀疏注意力的多头潜在注意力（MLA + DSA）。这意味着每 7 层中有 1 层保持完整上下文访问权限。HCA 层使用 512 维头向量；MLA 层使用 256 维头向量。
- 门控与混合头：注意力输出的门控来自低秩查询潜在变量，将门控投影参数减少了 75%。虚拟头注意力（Virtual Head Attention）在各头之间添加了轻量级的低秩混合。
- 多路由器潜在 MoE。每个 MoE 层包含 512 个路由专家（Top-10）以及 1 个共享专家。根据百度的 Multi-Router 论文，多个独立的 sigmoid 路由器替代了单一路由器。专家的 FLOPs 和通信量保持不变。专家在 2048 维的潜在空间中运行，仅为隐藏宽度的一半。
- 采用 ECHO 而非 MTP：ECHO 复用主干网络的最后一层来预测未来 token。该层同时作为投机解码的内置草稿模型。ECHO 增加了 0.36B 参数，不包含在主标题统计中。
- 其他组件：该模型使用具有4倍扩展率的流形约束超连接（Manifold-constrained Hyper-Connections）以及一个 MultiMax 输出头。
How does ERNIE 5.5 Flash Base perform on benchmarks?
ERNIE 5.5 Flash Base 在基准测试中的表现如何？
Baidu team evaluated all 4 models with the same pipeline, prompts and few-shot settings. All figures below are self-reported by Baidu.
百度团队使用相同的流水线、提示词和少样本设置对所有4个模型进行了评估。以下所有数据均由百度自行报告。
- Exams: MMLU 93.3, MMLU-Redux 94.1, MMLU-Pro 78.4.
- Knowledge: SimpleQA 34.1, versus 29.1 for DeepSeek-V4-Flash-Base.
- STEM and reasoning: GPQA 60.2, MGSM 87.0, BBH direct 77.1.
- Code: HumanEval+ 82.3, MBPP+ 81.5, LiveCodeBench 40.1.
- Long context: RepoQA 91.7, LongBench-v2 48.7, HELMET-ICL 85.9.
- 考试类：MMLU 93.3，MMLU-Redux 94.1，MMLU-Pro 78.4。
- 知识类：SimpleQA 34.1，而 DeepSeek-V4-Flash-Base 为 29.1。
- STEM与推理：GPQA 60.2，MGSM 87.0，BBH direct 77.1。
- 代码类：HumanEval+ 82.3，MBPP+ 81.5，LiveCodeBench 40.1。
- 长上下文：RepoQA 91.7，LongBench-v2 48.7，HELMET-ICL 85.9。
It loses on 6 tasks. DeepSeek-V4-Flash-Base leads on ChineseSimpleQA, INCLUDE-lite, HELMET-Rerank and InfiniteBench. Hy3-preview-Base leads on BBH CoT and FullStackBench.
它在6项任务上落后。DeepSeek-V4-Flash-Base 在 ChineseSimpleQA、INCLUDE-lite、HELMET-Rerank 和 InfiniteBench 上领先。Hy3-preview-Base 在 BBH CoT 和 FullStackBench 上领先。
Competitor numbers in Baidu’s pipeline differ slightly from each vendor’s own report. DeepSeek lists MMLU-Pro 68.3; Baidu measures 69.2. Tencent lists Hy3 MMLU-Pro at 65.76; Baidu AI measures 66.9.
百度流水线中的竞品数据与各厂商自行报告的数据略有差异。DeepSeek 报告的 MMLU-Pro 为 68.3；百度测得为 69.2。腾讯报告的 Hy3 MMLU-Pro 为 65.76；百度AI测得为 66.9。
How does it compare with DeepSeek, Tencent and Xiaomi base models?
它与 DeepSeek、腾讯和小米的基座模型相比如何？
| Feature | ERNIE 5.5 Flash Base | DeepSeek-V4-Flash-Base | Hy3-preview-Base | MiMo-V2.5-Base |
|---|---|---|---|---|
| Developer | Baidu | DeepSeek | Tencent | Xiaomi |
| Total params | 280B | 284B | 295B (+3.8B MTP) | 310B |
| Active params | 14B | 13B | 21B | 15B |
| Context | 128K train / 1M inference | 1M | 256K | 256K |
| Attention | HCA + MLA-DSA hybrid | CSA + HCA hybrid | GQA | SWA + global, 5:1 |
| Experts | 512 routed, top-10 + 1 shared | Not disclosed on card | 192, top-8 | 256, top-8 |
| Released weights | FP8, BF16 | FP8 Mixed | BF16 | FP8 |
| License | ERNIE 5.5 Flash Base License v1.0 | MIT | Tencent Hy Community License | MIT |
| MMLU-Pro* | 78.4 | 69.2 | 66.9 | 65.7 |
| HumanEval+* | 82.3 | 69.5 | 78.0 | 74.4 |
| LongBench-v2* | 48.7 | 44.5 | 39.8 | 44.6 |
| HELMET-Rerank* | 56.2 | 60.0 | 55.7 | 56.6 |
| 特性 | ERNIE 5.5 Flash Base | DeepSeek-V4-Flash-Base | Hy3-preview-Base | MiMo-V2.5-Base |
|---|---|---|---|---|
| 开发者 | 百度 | DeepSeek | 腾讯 | 小米 |
| 总参数量 | 280B | 284B | 295B (+3.8B MTP) | 310B |
| 激活参数量 | 14B | 13B | 21B | 15B |
| 上下文长度 | 训练128K / 推理1M | 1M | 256K | 256K |
| 注意力机制 | HCA + MLA-DSA 混合 | CSA + HCA 混合 | GQA | SWA + global, 5:1 |
| 专家网络 | 512个路由专家，top-10 + 1个共享专家 | 卡片未披露 | 192个，top-8 | 256个，top-8 |
| 发布权重格式 | FP8, BF16 | FP8 Mixed | BF16 | FP8 |
| 许可证 | ERNIE 5.5 Flash Base License v1.0 | MIT | Tencent Hy Community License | MIT |
| MMLU-Pro* | 78.4 | 69.2 | 66.9 | 65.7 |
| HumanEval+* | 82.3 | 69.5 | 78.0 | 74.4 |
| LongBench-v2* | 48.7 | 44.5 | 39.8 | 44.6 |
| HELMET-Rerank* | 56.2 | 60.0 | 55.7 | 56.6 |
*Scores from Baidu’s unified evaluation, self-reported.
*分数来自百度的统一评估，由百度自行报告。
How do you deploy ERNIE 5.5 Flash Base?
如何部署 ERNIE 5.5 Flash Base？
Weights are on Hugging Face and ModelScope, in FP8 and BF16. Baidu documents serving with SGLang and vLLM. The SGLang example uses --tp 4. The vLLM path needs version 0.32.0 plus the vLLM-ERNIE plugin. Both servers accept up to 1,048,576 tokens. As a base model, it runs through the completions endpoint, not chat.
权重文件托管在 Hugging Face 和 ModelScope 上，提供 FP8 和 BF16 格式。百度文档说明了使用 SGLang 和 vLLM 进行服务部署的方法。SGLang 示例使用 --tp 4。vLLM 路径需要版本 0.32.0 以及 vLLM-ERNIE 插件。两个服务器均支持最多 1,048,576 个 token。作为基座模型，它通过 completions 端点运行，而非 chat 端点。
Training ran on FlashMask-4, a kernel for SM90 and SM100 GPUs. On SM100, Baidu team reports up to 175% faster forward and 74% faster backward than FlashAttention-4 MaskMod.
训练运行在 FlashMask-4 上，这是一个针对 SM90 和 SM100 GPU 的内核。在 SM100 上，百度团队报告称，其前向传播速度比 FlashAttention-4 MaskMod 快多达 175%，反向传播速度快 74%。
Key Takeaways
关键要点
- 280B total, 14B active: a sparse MoE base checkpoint, not a chat model.
- MMLU-Pro 78.4 leads DeepSeek-V4-Flash-Base by 9.2 points.
- HCA caches 1 entry per 128 tokens in 37 of 43 layers.
- ECHO turns the final layer into a built-in speculative draft model.
- License is free under US$50M revenue but excludes EU, UK and South Korea.
- 280B 总参数量，14B 激活参数量：这是一个稀疏 MoE 基座检查点，而非聊天模型。
- MMLU-Pro 78.4 领先 DeepSeek-V4-Flash-Base 9.2 分。
- HCA 在 43 层中的 37 层里，每 128 个 token 缓存 1 个条目。
- ECHO 将最后一层转变为内置的推测式草稿模型。
- 许可证在年收入低于 5000 万美元时免费，但不包括欧盟、英国和韩国。
Check out the Model Weights, Technical Blog, and papers on VHA, Multi-Router MoE and ECHO. Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
请查看 VHA、Multi-Router MoE 和 ECHO 的相关模型权重、技术博客和论文。也欢迎在 Twitter 上关注我们，别忘了加入拥有超过 15 万成员的 ML SubReddit，并订阅我们的新闻通讯。等等！你也在 Telegram 上吗？现在你也可以加入我们的 Telegram 群组。
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力