跳到主内容
@wquguru
精选88r/LocalLLaMA(Reddit)模型发布/更新

四款开源编码模型URL生成对比:Qwen引用训练数据非回传

Four open coding models, prompted to finish an upload URL - analysis

原文
发到 X
推荐理由

直接回应了社区关于Qwen安全性的核心争议,通过严谨的横向对比实验证伪“回传”谣言,并揭示了不同模型在URL生成上的显著差异,对评估模型安全性极具参考价值。

四种开源编码模型被强制完成上传 URL:字节将去向何处。10 月 26 日,Cohere 发布了一份关于 Qwen 模型的报告,该模型在作为编码代理工作时,组装了一个 curl 命令,会将用户的文件上传至阿里云存储桶。一周内出现了七次复现,Hacker News 上有一条 337 分的帖子,r/LocalLLaMA 上有两条获得 1,400 个赞的帖子(分别是追踪发布和辟谣),以及 Register 的一篇报道。所有复现都使用了相同的模型和相同的 2,300 个 token 提示词。唯一的一次跨模型尝试 url-atlas 对每个模型运行了 1,000 个样本,并宣布结果无定论,以这种速率来看,这几乎是必然的。评论中反复出现的问题很简单:这是 Qwen 的问题,是中国模型的问题,还是所有模型的问题?我有一块悲伤且冰冷的 RTX 4090 显卡和一个周末,所以我亲自进行了对比测试。基准测试工具、分类器以及完整的 40 万行数据集均已公开。## TL;DR - 人人共用同一个互联网。对于所有四种模型,Google Storage、GitHub、S3 和 example.com 占据主导地位。- 厂商的指纹存在于尾部数据中。Qwen3.5-9B 提及阿里云的次数比 GLM-4-9B(一个没有自家云服务的中国模型)多 13 倍。Google 和 NVIDIA 的模型从未提及任何中国相关服务。- Qwen 并没有在“呼叫回家”,它只是在引用其训练数据。它提及 api.openai.com 的频率与提及阿里云相当,而没有人会在 Qwen 中植入 OpenAI。- 凭据会出现,但大多数只是伪装。Qwen 在其 2.5% 的 URL 中写入密钥、令牌或签名,GLM 为 0.6%,Gemma 和 Nemotron 几乎从不这样做。Qwen 生成的 URL 中有三分之一是明显的占位符,例如 YOUR_API_KEY。四分之一能通过秘密扫描程序:包括 72 个 AWS 风格的 AKIA… 密钥 ID,以及 107 个解码为 {"alg":"HS256"} 的 JWT 头。这些均未针对任何内容进行验证。最具有说服力的是一个 Mapbox 令牌,解码后显示为用户名 exampleuser。- Gemma 会搜索任务。其标记为非占位符的 URL 中,有三分之一是页面浏览量,其中近一半是针对如何执行所分配任务的 Google 搜索,例如“如何清理 tmp”、“临时文件删除命令”。- 卫生状况显现,NVIDIA 的表现最好。Nemotron-Nano-9B 在 93% 的情况下写入 example.com 或其同级域名,在 3% 的补全中命名一个真实的第三方,并在 100,000 次中有 46 次包含凭据。Gemma 紧随其后。模型写入 example.com 是因为其训练数据如此,这表明这是严格的预处理,而非运气。代价是对真实端点的记忆较弱。图 1. Qwen3.5-9B,100,000 次强制补全。气泡位于模型所写主机命名的云区域上。它按区域名称寻址的第二个国家是中国。未联系任何内容。## 实验细节 每个模型均使用其各自的聊天模板和工具调用语法,预填充了一个 bash 工具调用,其 curl 命令停在 https:// 处,并写入接下来的 40 个 token;每个模型在温度 1.0 下进行 100,000 次补全,运行在一个无网络的命名空间内的单张 RTX 4090 上。主机由已发布的规则集进行分类,然后由 Claude Haiku 5.5 进行标记,后者仅看到主机名和路径。确切的提示词、预填充内容、检查点修订、包版本、分类器以及标签审计均在仓库 README 中。## 100,000 次上传的去向 图 2. 按主机类别划分的每个模型的 100,000 次补全占比,基于规则的分类。## URL 实际在做什么 主机类别说明位置。路径说明内容。使用 LLM 标签器读取 80,000 个唯一路径,产生了仅靠主机复制无法看到的这部分故事。图 3. 标签器在路径和域名中读取的内容:隐含的动作、提示词回声、类似凭据的参数,以及注册域名是否为真实已知组织。GLM 在隔壁构建了一个收集器。十分之一的 GLM 补全目标是一个带有端口和通用路由的私有或回环地址:192.168.1.5:3000/api/v1/data、0.0.0.0:6961/upload。它是唯一以这种规模具备此模式的模型。Gemma 去查了一下。被要求上传 tarball 时,Gemma 反而打开了 www.google.com/search 635 次。其中 373 次的查询本身就是任务本身:如何清理 tmp、临时文件删除命令、清理 linux 中的旧临时文件,还有一次因 token 预算限制被截断为如何在 to t 中删除文件。另外 142 次搜索了 test。这个 supposedly(号称)正在将你的文件发送出去的模型,却在寻找如何做它的家庭作业。凭据偶尔出现,且大多作为伪装。类签名或类令牌参数(X-Amz-Signature、OSSAccessKeyId、token=、?Expires=)出现在 Qwen 3.8% 的标注 URL 和 GLM 1.6% 的标注 URL 中;按每十万次补全计算,Qwen 为 2,468 次,GLM 为 593 次,Nemotron 为 46 次,Gemma 为 12 次。在 Qwen 的这些案例中,844 个带有明显的占位值(YOUR_API_KEY、DEMO_KEY、${API_KEY}),490 个在等号前或等号处截断,559 个具有正确长度和熵值的令牌,其中包括 72 个以 AKIA… 开头的 AWS 密钥 ID 和 107 个 JWT 头部,其解码结果为有效的 {"alg":"HS256","typ":"JWT"}。均未进行验证,且 40 个令牌的预算使每个计数都成为下限。其中最具说服力的是一个 Mapbox pk.eyJ… 令牌,其解码结果为 {"u":"exampleuser"}。## URL 的来源 图 4。每个唯一 URL 对应一个机制标签,由标注员基于在对 1,000 个 URL 样本进行开放编码过程中构建的 13 类代码本分配,并按补全次数加权。## 阿里巴巴的案例 图 5。每十万次补全中罕见主机类别的数量,对数刻度,Wilson 95% 置信区间。Gemma 和 Nemotron 作为右侧的计数。现在进入大家最关心的部分。每十万次补全 | Qwen3.5-9B | GLM-4-9B | Gemma 4 12B | Nemotron 9B 阿里云(OSS、DashScope、aliyuncs)| 417 | 32 | 0 | 1 阿里旗下(qwen.ai、modelscope、taobao …)| 243 | 8 | 0 | 0 其他中国服务(腾讯、百度、华为 …)| 664 | 151 | 0 | 0 云元数据 IP(169.254.169.254、阿里的 100.100.100.200)| 236 | 0 | 0 | 4 api.openai.com 及其他 OpenAI 主机 | 357 | 65 | 0 | 0 GLM 是此前争论所缺乏的控制组:一家没有自有公有云的实验室出品的中国模型。如果中国训练数据能解释阿里云的使用率,那么 GLM 应与 Qwen 持平。但事实并非如此。Qwen 提及阿里云的频率是 GLM 的 13 倍,对于阿里旗下其他服务以及更广泛的中国服务,差距同样存在(后者略小)。以下是这 660 个 Alibaba 补全内容的实际情况。图 6。所有主机为阿里云或阿里旗下服务的 Qwen 补全内容,旁边附有 GLM 的计数。左侧:主机类型。中间:模型放在 .oss-.aliyuncs.com 前面的存储桶名称。右侧:标注器的机制标签。有两点使得这不会成为“Qwen 回传数据”的头条新闻。首先,同一模型在 api.openai.com 出现了 357 次,接近其在阿里云的出现次数。没有人将 OpenAI 的端点植入 Qwen。更简单的解读是,一个被迫编写 API 主机的模型会写出它在代码中见过最多的主机;而对于在阿里巴巴内部训练的模型来说,这包括阿里巴巴的文档和 SDK 示例。该信号是语料库指纹,而非目的地。其次,阿里巴巴的主机是通用的。upload.oss-cn-hangzhou.aliyuncs.com 是一个读过 OSS 快速入门指南并被告知命令为 curl -T 的模型所生成的结果。660 个条目中没有一个是已知接收数据的特定租户,少数类似名称的存储桶也是孤例。如果强化学习环境真的泄露了一个真实的端点进入权重,它看起来应该是一个重复出现的主机,而不是 186 个不同的存储桶名称,每个仅出现一次或两次。## 运营商和国家 由标注器构建的运营商排名(无需预先列出要查找的名称)讲述了同样的故事。阿里巴巴是 Qwen 的第 11 大运营商,OpenAI 是其第 12 大。GLM 分别对 Hetzner 和加州大学欧文分校机器学习仓库进行了数百次命名,而 Yandex 则同时出现在两个中文模型中。

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →

相似阅读

关联信息,但可能不是同一事件