Google研究员复现MIT权重编程实验：前沿模型能力呈台阶式跃迁

Google 研究员 @AlexKrentsel 复现了 MIT 博文里的「Weight-Space Programming」实验，还补了一条发现：跨多代模型扫下来，这项能力几乎只在最新一批前沿模型上突然变强，而不是一路平滑变好。

关于 Weight-Space Programming https://x.com/shao__meng/status/2117417782585541109

看看 Alex 复现了什么 复现的是原文 Exp. 5：各模型在一次回复里、不训练、不用工具，直接写出一个可玩 Breakout 的网络的全部约 2 万个权重；提示与计分与原文一致，1× 对标文中用 PPO 强化学习训出的网络。

GPT-5 到 5.5、Opus 4.5 到 4.8 基本在基线附近或更弱；GPT-5.6 Sol、Opus 5 略过 1×；到 GPT-6.1 Sol / GPT-6 Astra、Opus 5.5 才跳到大约 18×–22×。因此 Alex 说：这是刚在最新一批模型里冒出来的台阶式新能力。

必须看清的前提 被编辑、被写出权重的那个 Breakout 网络只有约 20486 个参数；前沿大模型是大约 万亿 量级。他强调这是很早的分享，规模差了好几个数量级，不能直接外推成「大模型已经能改自己」。

他怎么理解这件事：像 2010 年代可解释性研究里「某个神经元见狗就亮」那种手工观察，但能力已经超出人能手改的规模，人以前手工做几十到上百节点，再靠工具做到大约千级；现在是推理能力让模型能对更大但仍相对很小的网络动手。

下一步与他怎么回应质疑 他觉得很自然的下一步是运行时在权重里自我改进，但以现在外模型与内模型的体量差，还不现实；若趋势延续，可能再过几代才谈得上。有人问是不是已经在自改，他澄清：目前是外层模型改内层小网络，还没有自编辑。对「是不是闭源模型后训练专门刷过这类题」，他说自己看不到幕后；对「为什么不用中国开源模型」的批评，他表示正在开源权重（含中国模型）上复现，先从当前最强的 Astra、Fable/Opus 5.5 起手，并说兴奋点其实是本地开源权重最终能自己改自己，而不是闭源模型摸别人的权重。

也有评论认为任务过简、提示给的信息太多、不宜叫涌现；他回应：问题确实简单、网络确实小，但权重编辑与可解释性这条线上，人已经挣扎很久，他更看重的是跨代次的趋势。