Meta发布Muse Spark Open及Goodfire解读神经可解释性
[AINews] Agents disprove Polysemanticity; greatly improve Interpretability & Alignment
A version of Muse Spark Open was released today, fulfilling their original promise but with a model weaker than their Spark 1.3. It’s also worth watching the Tesla Roadster demo - not strictly AI but nothing cooler than real life flying cars.
Muse Spark Open 的一个版本于今日发布，兑现了他们的原始承诺，但模型能力弱于其 Spark 1.3。也值得关注特斯拉 Roadster 的演示——虽不严格属于 AI，但现实生活中的飞行汽车确实酷炫无比。
Our title story today is a rare one on interpretability and alignment. We last caught up with Goodfire in Feb:
今天我们的头条文章是一篇关于可解释性和对齐的罕见佳作。我们上次与 Goodfire 取得联系是在二月：
and the bitter-lesson scaling of interpretability methods with Anthropic last year:
以及去年与 Anthropic 一起进行的可解释性方法的痛苦教训式扩展：
And now Nick Cammarata at Goodfire has an important essay out stating his working theory that “Neural Networks Are Already Clean” — showing that many known cases of polysemanticity and superposition - causing tangled “knots” of weights that resist human interpretation - simply fall to further agentic analysis:
现在，Goodfire 的 Nick Cammarata 发表了一篇重要文章，阐述了他的工作理论：“神经网络已经是干净的”——表明许多已知的多语义性和叠加现象（导致难以被人理解的纠缠“权重结”）只需进一步的代理分析即可解决：
Don’t take our word for it:
别只听我们说：
and a global lowering of P(doom) seems worth celebrating:
全球范围内的 P(doom)（灾难概率）下降似乎值得庆祝：
AI News for 10/14/2026-10/15/2026. We checked 12 subreddits, 544 Twitters and no further Discords. AINews’ website lets you search all past issues. As a reminder, AINews is now a section of Latent Space. You can opt in/out of email frequencies!
2026年10月14日至10月15日的 AI 新闻。我们检查了 12 个 subreddit、544 条 Twitter 帖子和零个 Discord 频道。AINews 的网站允许你搜索所有过往期数。提醒一下，AINews 现在是 Latent Space 的一部分。你可以选择订阅或取消邮件频率！
AI Twitter Recap
AI Twitter 回顾
Meta Releases Muse Spark Open, the Top-Scoring US Open-Weight Model
Meta 发布 Muse Spark Open，评分最高的美国开源权重模型
- Release: Meta released Muse Spark Open, an 816B-total / 42B-active MoE with a 1M-token context window. It accepts text, image, video and audio input and is aimed at coding, long-horizon agents and multi-step reasoning (announcement, Wang thread).
- Lineage: Jack Rae says it was the first base model trained under the new MSL org, with additional training for the open release (Rae). Several posters describe it as roughly Muse Spark 1.2 level (Yuchen Jin, TimDarcet).
- License: The weights ship under the custom Muse Model License. It requires “Built with Muse Spark Open” attribution and a separate agreement for Model-as-a-Service businesses with more than $20M in annual revenue (AA). Nathan Lambert called the license “trash” (natolambert).
- Architecture: According to vLLM, the model has 62 decoder layers, all MoE, with 256 experts per layer and 8 active per token. A latent-MoE pooler projects the hidden state from 8,192 to 4,096 for expert computation and back again. Attention is hybrid: 46 layers use a 2,048-token sliding window and 16 attend to the full context. Image and video go through a Perception Encoder, and audio uses a separate 118M encoder (vLLM arch).
- Design comparison: Elie Bakouch notes that Muse is the only major US open model without shared experts. It also uses gated residuals, about 9 norms per layer and muP-like multipliers, including a router factor of 1/sqrt(number of experts) (overview).
- Independent measurement: Artificial Analysis scores it 39 on its Intelligence Index. That ranks it first among US open-weight models but behind GLM-5.3 (45) and Kimi K3 (44) (AA, Rundown).
- Strengths: It uses 40k output tokens per index task, the fewest among the nine highest-scoring open models. It also leads open models on AA-Omniscience (25).
- Weaknesses: It ranks last among those nine on the index’s four agentic evaluations. GLM-5.3’s entire 6-point lead comes from that agentic segment.
- Pricing and deployment: Launch pricing on Together, Fireworks and Baseten is $1.25/$4.25 per 1M input/output tokens ($0.15 cached input). AA calculates this at $0.84 per index task, versus $2.01 for GLM-5.3 and $0.27 for DeepSeek V4.1 Flash. Together offers a free endpoint until Oct 18 (Together).
- Hardware footprint: BF16 weights are about 1.6TB. The NVFP4 checkpoint quantizes only the experts and comes to about 530GB, which runs on 4× Blackwell Ultra, 8× H200, or two 512GB M5 Ultra Mac Studios via MLX (AA, Meta).
- Ecosystem: llama.cpp had GGUF support on day 0 (Delangue), and Unsloth published quants, with UD-IQ1_S at 176GB (Unsloth).
- vLLM day-0 stack: vLLM support covers NVIDIA, AMD MI355X (FP8 and MXFP4) and TPU (vLLM).
- TPU throughput: Megakernels with DSpark speculation (acceptance length 6) exceed 650 tok/s on 4 TPU v7 chips and 960 tok/s on 8 (hardware).
- Speculator: Inferact trained a block-diffusion DSpark drafter that proposes up to 7 tokens per pass (speculator).
- LoRA RL: LoRA GRPO uses verl for training and vLLM for rollouts. Over 150 steps on 16 GB300s, AIME-2024 mean@8 rose from 0.56 to 0.85, with train-rollout KL around 2×10⁻⁴ (RL).
- Reception: Lambert says the release cuts the US–China open-model gap by about half (natolambert). Teortaxes calls it “grim at this param count” with “obsolete attention” and notes that Spark 1.3 is substantially stronger; these are attributed opinions (teortaxes, Spark 1.3 comparison).
- 发布：Meta 发布了 Muse Spark Open，这是一个总参数量 816B / 激活参数 42B 的 MoE 模型，上下文窗口为 1M token。它接受文本、图像、视频和音频输入，旨在用于编码、长视界智能体和多步推理（公告，Wang 线程）。
- 谱系：Jack Rae 表示这是在新 MSL 组织下训练的第一个基础模型，并为开源发布进行了额外训练（Rae）。几位发帖者称其大致相当于 Muse Spark 1.2 水平（Yuchen Jin, TimDarcet）。
- 许可证：权重采用自定义 Muse Model License 发布。要求标注“Built with Muse Spark Open”，且年收入超过 2000 万美元的模型即服务（Model-as-a-Service）企业需另行达成协议（AA）。Nathan Lambert 称该许可证为“垃圾”（natolambert）。
- 架构：根据 vLLM 的信息，该模型有 62 个解码器层，全部为 MoE，每层 256 个专家，每个 token 激活 8 个。一个潜在 MoE 池化器将隐藏状态从 8,192 投影到 4,096 以进行专家计算，然后再投影回去。注意力机制是混合的：46 层使用 2,048-token 滑动窗口，16 层关注完整上下文。图像和视频通过 Perception Encoder，音频使用单独的 118M 编码器（vLLM 架构）。
- 设计对比：Elie Bakouch 指出，Muse 是唯一一个没有共享专家（shared experts）的主要美国开源模型。它还使用了门控残差连接、每层约 9 个归一化层以及类似 muP 的乘数，包括一个路由因子 1/sqrt(专家数量)（概述）。
- 独立评估：Artificial Analysis 在其智能指数中给它打了 39 分。这使其在美国开源权重模型中排名第一，但落后于 GLM-5.3（45 分）和 Kimi K3（44 分）（AA，综述）。
- 优势：它在每个索引任务中使用 40k 输出 token，在得分最高的九个开源模型中是最少的。它在 AA-Omniscience 上也领先于其他开源模型（25 分）。
- 劣势：在索引的四项代理（agentic）评估中，它在这九个模型中排名垫底。GLM-5.3 领先的整整 6 分都来自该代理部分。
- 定价与部署：Together、Fireworks 和 Baseten 上的发布定价为每百万输入/输出 token 1.25/4.25 美元（缓存输入为 0.15 美元）。AA 计算得出每个索引任务的成本为 0.84 美元，而 GLM-5.3 为 2.01 美元，DeepSeek V4.1 Flash 为 0.27 美元。Together 提供直到 10 月 18 日的免费端点（Together）。
- 硬件占用：BF16 权重约为 1.6TB。NVFP4 检查点仅量化专家部分，大小约为 530GB，可在 4× Blackwell Ultra、8× H200 或通过 MLX 在两台 512GB M5 Ultra Mac Studio 上运行（AA，Meta）。
- 生态系统：llama.cpp 在第 0 天就支持了 GGUF（Delangue），Unsloth 发布了量化版本，其中 UD-IQ1_S 为 176GB（Unsloth）。
- vLLM 首日支持栈：vLLM 支持涵盖 NVIDIA、AMD MI355X（FP8 和 MXFP4）以及 TPU（vLLM）。
- TPU 吞吐量：使用 DSpark 推测（接受长度为 6）的 Megakernels 在 4 个 TPU v7 芯片上超过 650 tok/s，在 8 个芯片上达到 960 tok/s（硬件）。
- 推测器：Inferact 训练了一个块扩散 DSpark 起草器，每次传递可提出多达 7 个 token（推测器）。
- LoRA RL：LoRA GRPO 使用 verl 进行训练，使用 vLLM 进行 rollout。在 16 台 GB300 上经过 150 多个步骤后，AIME-2024 mean@8 从 0.56 提升至 0.85，训练-rollout KL 散度约为 2×10⁻⁴（RL）。
- 反响：Lambert 表示，此次发布将美中开源模型的差距缩小了一半（natolambert）。Teortaxes 称其“在此参数量下表现严峻”，且“注意力机制已过时”，并指出 Spark 1.3 明显更强；这些是归因的观点（teortaxes，Spark 1.3 对比）。
Other Model Launches: Nemotron 3.5, MAI-Base-2, Gemini 4 Argon, Image Models
其他模型发布：Nemotron 3.5、MAI-Base-2、Gemini 4 Argon、图像模型
- NVIDIA Nemotron 3.5 Super VL: The model is a 120B / 12B-active hybrid Mamba-Transformer MoE VLM with a 1M-token context window and native MTP (NVIDIA).
- Training recipe: The tech summary describes a 1T-token distillation from a larger Nemotron 3 teacher, followed by agentic SWE mid-training on 65.4B tokens at 256K context. Post-training uses multi-teacher MOPD, and a final MTP-boosting step raises acceptance length by 21.8% to 4.61 (Gordić).
- Claimed results: NVIDIA reports 51.78% on SWE-bench Pro and 4,856 output tok/s per GPU on GB200.
- Independent evals: AA scores Super VL 26, the leading US open model before Muse, with NVFP4 within 0.1 points of BF16. The companion Nemotron 3.5 Bolt (74B-A9B, native 2-bit, 24GB) scores 21 (AA).
- Pricing: CoreWeave charges $0.25/$1.50 per 1M input/output tokens (CoreWeave).
- Microsoft MAI-Base-2: Microsoft says it has a roughly 3T-parameter pre-trained base model, with post-training results to follow. It claims to match DeepSeek-V4-Pro-Base on held-out code with 12× less training compute (Suleyman, compute claim).
- Technical blog details: The model has about 80B active parameters and a hybrid sliding-window design. It was trained with Muon and activation-gradient clipping on about 40T text tokens plus 10T multimodal tokens, using LR and weight-decay scaling laws (Bakouch).
- Training compute: The run used 16k GB200s over 38 days (scaling01).
- Disputed comparison: Bakouch and teortaxes note that the bits-per-byte comparison uses MAI’s own validation data (caveat).
- Gemini 4 Argon evals and rollout: Epoch puts Argon at 165 on its Capabilities Index (ECI), level with Fable 5.1 and behind Opus 5.5 (167) and GPT-6 Astra (166). It ranks 8th on Math ECI and 6th on SWE ECI (Epoch, domains).
- ARC-AGI: Argon scores 97.5% on ARC-AGI-3 with a provider harness ($4.8K) and 49.8% with the standard harness (ARC Prize).
- Skepticism: Scaling01 argues that Argon underperforms on reliability and hallucination evals (scaling01).
- Google claims: Argon optimized Gemma 4 E2B to a 2.85× vLLM speedup on A100, with 100% token parity (Google).
- Availability: Argon is now available in Antigravity for Pro subscribers, with a separate weekly quota (Antigravity).
- Anthropic and OpenAI product updates:
- Opus 5.5 fast mode: Fast mode is now GA with no waitlist, delivering up to 2.5× speed at $8/$40 per 1M tokens (ClaudeDevs).
- Claude Code Review: Code Review is GA for Team and Enterprise plans, with Quick, Standard and Deep levels (ClaudeDevs).
- GPT-Live-1.1: OpenAI’s voice update adds multilingual voices and cuts filler, rolling out to ChatGPT, Codex and dots, with the API coming later (OpenAI).
- Image models:
- FLUX 3 Image Klein: Black Forest Labs released a 5.6B open-weight model with native 4K output, bounding-box control and multi-reference editing (BFL).
- Krea 3: Krea claims 2K edits in under 8s at $0.06 per image (Krea, pricing).
- NVIDIA Nemotron 3.5 Super VL：该模型是一个拥有 1M token 上下文窗口和本地 MTP 的 120B/12B-active 混合 Mamba-Transformer MoE 视觉语言模型（NVIDIA）。
- 训练配方：技术摘要描述了对更大的 Nemotron 3 教师模型进行 1T token 蒸馏，随后在 256K 上下文中对 65.4B token 进行代理式 SWE 中期训练。后训练使用多教师 MOPD，最后的 MTP 提升步骤将接受长度提高了 21.8% 至 4.61（Gordić）。
- 声称的结果：NVIDIA 报告在 SWE-bench Pro 上得分为 51.78%，在 GB200 上每 GPU 输出速度为 4,856 tok/s。
- 独立评估：AA 给 Super VL 26 打分，这是 Muse 之前领先的美国开源模型，NVFP4 与 BF16 相差不到 0.1 分。配套的 Nemotron 3.5 Bolt（74B-A9B，原生 2-bit，24GB）在 AA 上得分为 21。
- 定价：CoreWeave 按每 1M 输入/输出 token 收取 $0.25/$1.50（CoreWeave）。
- Microsoft MAI-Base-2：微软表示其拥有一个约 3T 参数的预训练基础模型，后训练结果 forthcoming。它声称在保留代码上与 DeepSeek-V4-Pro-Base 相当，且训练算力减少了 12 倍（Suleyman，算力声明）。
- 技术博客详情：该模型约有 80B 活跃参数，采用混合滑动窗口设计。它使用 Muon 和激活梯度裁剪，在约 40T 文本 token 和 10T 多模态 token 上进行训练，并使用了 LR 和权重衰减缩放定律（Bakouch）。
- 训练算力：此次运行使用了 16k 个 GB200，历时 38 天（scaling01）。
- 有争议的对比：Bakouch 和 teortaxes 指出，字节比比较使用的是 MAI 自己的验证数据（警告）。
- Gemini 4 Argon 评估和 rollout：Epoch 将其 Capabilities Index (ECI) 评分为 165，与 Fable 5.1 持平，低于 Opus 5.5（167）和 GPT-6 Astra（166）。它在 Math ECI 中排名第 8，在 SWE ECI 中排名第 6（Epoch，领域）。
- ARC-AGI：Argon 在使用提供商 harness（$4.8K）时在 ARC-AGI-3 上得分 97.5%，在使用标准 harness 时得分为 49.8%（ARC Prize）。
- 质疑：Scaling01 认为 Argon 在可靠性和幻觉评估中表现不佳（scaling01）。
- Google 声称：Argon 优化了 Gemma 4 E2B，在 A100 上实现了 2.85× 的 vLLM 加速，并保持 100% 的 token 一致性（Google）。
- 可用性：Argon 现已在 Antigravity 中向 Pro 订阅用户开放，拥有独立的每周配额（Antigravity）。
- Anthropic 和 OpenAI 产品更新：
- Opus 5.5 快速模式：快速模式现已正式推出（GA），无需等待名单，速度最高提升 2.5 倍，每 1M token 价格为 $8/$40（ClaudeDevs）。
- Claude Code Review：Code Review 现已面向 Team 和 Enterprise 计划正式推出，提供 Quick、Standard 和 Deep 三个级别（ClaudeDevs）。
- GPT-Live-1.1：OpenAI 的语音更新增加了多语言语音并减少填充词，正在向 ChatGPT、Codex 和 dots 推送，API 稍后推出（OpenAI）。
- 图像模型：
- FLUX 3 Image Klein：Black Forest Labs 发布了一个拥有 56 亿参数的开源权重模型，支持原生 4K 输出、边界框控制和多参考编辑（BFL）。
- Krea 3：Krea 声称以每张 0.06 美元的价格在 8 秒内完成 2K 图像编辑（Krea，定价信息）。
Interpretability, Safety and Eval Integrity
可解释性、安全性与评估完整性
- Goodfire’s “already clean” essay: Nick Cammarata argues that most neurons in models up to trillions of parameters are legible. His 2023 OpenAI automated-interpretability effort found only about 2% legible, and he says many famous polysemantic examples were misread (Cammarata, Goodfire).
- Goodfire 的“已然清晰”文章：Nick Cammarata 认为，在参数规模达万亿级别的模型中，大多数神经元是可解读的。他在 2023 年 OpenAI 的自动化可解释性研究中发现，仅有约 2% 的神经元是可解读的，并指出许多著名的多语义案例被误读（Cammarata，Goodfire）。
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力