Cloudflare：AI流量首超人类，内容付费模式崩塌

作者：Shoal Research

编译：深潮 TechFlow

深潮导读：Cloudflare 最新数据显示，AI 机器人流量已占全网 HTML 请求的 60%，首次超过人类。这意味着支撑开放互联网二十年的“内容换流量”模式正在崩塌，而“按次付费”的新基础设施还没准备好。对内容创作者、广告商和所有依赖搜索引流的从业者来说，这是比算法更新更根本的生存问题。

2026 年 3 月 19 日，Cloudflare 首席执行官 Matthew Prince 预测，在生成式 AI 的推动下，机器人流量将在 2027 年超过人类流量。Cloudflare 是全球最大的内容分发网络，覆盖约 20% 的互联网。仅仅几个月后，Prince 宣布，代理式流量增长如此之快，机器人已经超过人类流量。Cloudflare 网络上的 HTML 内容 HTTP 请求中，机器人约占 60%，人类仅占 38.2%。随着自动化系统生成的 HTML 页面请求份额超过人类，且 AI 代理在其中所占比例不断上升，互联网赖以生存的商业模式正在崩塌。

养活开放互联网的那笔交易

万维网实现了前所未有的全球信息民主化，而支撑这一使命的，是一套简单直接的“内容换流量”以物易物机制：出版商在网络上发布内容，搜索引擎在用户搜索时把读者导流到他们的网站。出版商以内容的形式向网络提供信息或娱乐；搜索引擎帮助把读者引导到相关网页；广告商通过在用户被引导到的网页上展示定向广告，把这次访问变现。这个同步运转的闭环，共同建立了价值数十亿美元的广告机器，养活了开放、无付费墙的互联网。

这笔交易养活了海量免费可访问的信息，同时也把分发权力集中在搜索和广告平台手中。它奖励行为广告、SEO 优化的内容堆量和追逐流量的内容生产，让出版商深度依赖推荐流量和注意力流量。AI 正在侵蚀这笔本就脆弱的交易中的“推荐”环节，而替代方案还没准备好。

谷歌的广告收入从 2001 年的 6690 万美元（这是它首次完整披露广告收入的年份）增长到 2025 年的 2947 亿美元，增长了约 4400 倍。

然而，近年来 AI 聊天机器人应用的爆发式增长，为网络信息发现引入了一种全新范式。从设计上，这些 AI 应用就优先考虑用户便利性，把受众留在聊天界面内部。这对用户来说很方便，但对出版商来说尤其致命。搜索引擎会把读者引导到内容来源的网站，而 AI 应用则把信息压缩、总结，作为对用户提问的最终回答的一部分直接呈现。出版商越来越难通过网站流量变现，因为他们失去了与用户的直接关系，人类访问量也在减少。

一个正在兴起的解决方案，是在互联网上为内容和搜索引入全新的“按次付费”支付基础设施。在本文中，我们将探讨 AI 如何“搞垮互联网”、这个方案的两种不同路径，以及这个新兴的按次付费网络现在处于什么状态。

AI 爬虫与易货模式的死亡

搜索引擎使用爬虫（一种为网页建立索引的自动化程序）来构建网络的“地图”。在传统的内容换流量模式下，出版商允许这些爬虫免费复制他们的文本，因为搜索引擎会以把人类读者导流回他们的网站作为回报。为了管理这种访问，行业依赖一个叫 robots.txt 的文本文件，这是一套未加密的、自愿遵守的荣誉系统。robots.txt 之所以能长期平稳运行，是因为无视 robots.txt 意味着失去对出版商内容的访问权，这会直接损害搜索引擎对网络的索引质量。

生成式 AI 应用把爬虫从索引工具变成了主动消费者，从而瓦解了网络的内容换流量交易，这在训练和实时检索两个环节表现得最为明显。在训练阶段，像 GPT 或 Claude 这样的大语言模型从开放网络上抓取的海量语料中学习，包括各种书籍、文章、代码和艺术作品。模型在这全部人类知识上完成训练，然后将其回馈给用户，不带任何来源链接，也不向创作者支付任何费用。在实时检索阶段，模型为了回答用户问题而在那一刻索引实时网络，抓取相关段落并重新格式化。模型不会把原始页面交给读者，而是把信息重述成一段全新的、内联的回复，完整地回答用户的问题。爬虫只需要为一个页面建立一次索引，模型就能把它发现的内容提供给数百万读者，而这些读者中没有一个会被带回原始来源。

影响

当我们把提取机制与行为数据、联邦法律诉讼和艺术剥削放在一起看时，开放网络的基础正在经历结构性崩塌已经变得显而易见，而其影响已经在多个相互关联的领域显现出来。

AI 爬虫对行为的影响可以通过“抓取 -导流比”来衡量：即爬虫抓取的页面数量与它带回的实际用户数量之比。Cloudflare 的数据显示，仅在过去六个月里，训练类（43.9%）以及训练加搜索类（41.5%）爬虫，就占了 Cloudflare 网络观测到的已识别 AI 爬虫请求的 85%以上。Googlebot 每带回一个访客，仍然要抓取近五个页面，过去一年为 5.3 个，这更接近历史上的交换水平，而每个主流 AI 平台都比它高出一到三个数量级。在过去一年里，Anthropic 的 ClaudeBot 每给源网站带回一个访客，平均要抓取 4200 个页面，Mistral 为 884 个，OpenAI 为 731 个，Perplexity 为 147 个。Cloudflare 确实指出，来自原生应用的导流不带导流头信息，因此这些比率可能夸大了失衡程度。皮尤研究中心的一项研究发现，当 AI 摘要拦截搜索查询时，人类点击率会从 15%下降到 8%，来自摘要的直接点击归因下降到 1%，用户在 26%的情况下会完全放弃浏览会话。

AI 爬虫也引发了法律诉讼。在 Bartz 诉 Anthropic 案中，法官 William Alsup 裁定，用合法获取的书籍进行训练属于合理使用，因为这种使用具有转换性，也就是说它创造了新东西，而不是替代书籍本身，而针对 Anthropic 所下载盗版书库的指控则进入审理阶段。Anthropic 后来以 15 亿美元私下和解了这项指控，按约 50 万部作品计算，每部作品约 3000 美元。这一结果被广泛解读为 Anthropic 的胜利，因为训练属于合理使用的裁定得以保留，而和解也排除了本可能高得多的法定赔偿。随着案件和解，没有任何法院确定过用盗版内容训练的实际成本是多少。与此同时，《纽约时报》诉 OpenAI 和微软案仍在进行中，迫使 OpenAI 交出 2000 万条 ChatGPT 对话日志，作为调查模型在多大程度上复制文章以替代付费订阅的一部分。

这些案件凸显出，AI 爬虫无计量抓取的成本，尤其落在了独立创作者和视觉艺术家身上。当 OpenAI 在 2025 年初发布其吉卜力风格渲染能力时，恰恰暴露了现有版权保护有多薄弱。因为美国法律保护的是作品的具体表达，而不是整体风格，AI 模型可以系统性地克隆一种靠数十年人类劳动建立起来的艺术美学，却无需提及或补偿创作者。OpenAI 的政策禁止使用在世艺术家如宫崎骏的名字作为提示词，却完全允许使用“吉卜力”作为提示词。像龙猫这样的具体角色受到保护，但一般的吉卜力风格却不受保护，这使得艺术家几乎没有法律依据，尽管模型之所以能生成那种画面，仅仅是因为它用了该工作室的电影进行训练。按请求付费的基础设施无法解决上述所有损害。它可以对作品的未来访问进行计量和补偿，但无法追溯补偿艺术家已经用于训练的材料，也无法阻止模型复现它已经学会的风格。那些损害需要单独的授权、版权和执法补救措施。

简而言之，针对内容换流量交易崩溃的两种主要回应（诉讼和私人授权）都只是临时救急，而不是可扩展的商业模式。到目前为止，诉讼为过去的抓取定了价，却对持续和未来的爬取未加触碰，而私人双边授权协议则让大型媒体集团直接把档案访问权卖给 AI 实验室（例如 OpenAI 与 NewsCorp 的 2.5 亿美元合同，或谷歌据报每年 6000 万美元与 Reddit 的交易）。虽然价格不菲，但一项市场调查发现，这些私人交易大多不到被授权方预计 AI 收入的百分之一。然而谈判这类协议需要大量财力和法律资源，这意味着互联网的独立长尾（数百万独立内容创作者）仍然没有办法大规模应对 AI 爬虫。

于是事情变得清晰起来：基于 robots.txt 的未加密信用体系，以及支撑开放互联网三十年的内容换流量交易，无法承受一个在经济上以数据消费优先于导流流量、爬虫成为头等消费者的互联网。过去，出版商乐于承担 100%的内容生产成本，因为他们能获得 100%的消费者流量和注意力；而生成式 AI 完全消费内容却几乎不提供归因，实际上切断了人类网络流量的来源，而出版商恰恰需要这些流量来产生广告或订阅收入，结果出版商还要为机器抓取支付昂贵的托管账单，却得不到任何流量。这种挤压同时从两个方向发生。服务一个机器人的带宽和计算成本与服务一个读者相同，但机器人离开时不会看广告，也不会开始订阅。在抓取 -导流比达到数百或数千的情况下，出版商每一次能够变现的访问背后，都要付费服务数千次请求。因为出版商无法承受只为了让机器人免费复制文本而支付服务器费用，互联网需要一种新方式来确保创作者能因他们的产出获得报酬。既然人们阅读的是 AI 摘要而不是访问网站，出版商就无法再仅靠人类注意力赚钱。因此，变现的时间点变成了 AI 机器人实际抓取数据的那一刻，而接下来合乎逻辑的一步，就是引入新的网络原生按请求付费支付基础设施。

按请求付费的网络

要把按请求付费模式扩展到整个互联网，就需要一种高效计量内容和服务器访问的方式。虽然这类活动中有越来越大的一部分由 AI 爬虫驱动，但这个框架适用于任何非人类交互，包括数据源和自动化 API。简单来说，要访问付费内容，一个软件必须通过编程方式向另一个软件付款，这个过程被正式称为机器支付。

为了大规模支持机器支付，基础设施公司在网络路由层构建自动化计费关卡，在请求发生的毫秒级时刻向机器人收费。不过，执行方式大多分为两种截然不同的方法：一种是封闭市场模式，要求爬虫注册账户并获取唯一数字密钥，通过中间路由代理访问网站；另一种是开放协议模式，其设计围绕使用标准化的公共软件规则、机器可读头信息，并支持在更广泛的数字轨道上进行支付结算。

封闭市场

门控市场模式将网页内容视为由企业中介管理的私有资产。在这一框架下，机器支付之前必须先完成身份验证和访问许可。发布者会配置其网络，将传入的 AI 爬虫从面向人类用户的公开网站重定向到由市场提供商管理的专用二级网址。在这个网关处，平台会对照数据库检查爬虫的身份凭证，评估发布者设定的自定义访问规则，记录使用情况，并将页面格式化为机器可读文本。金融交易发生在互联网协议层之外。当机器人发起请求时，市场会记录该次使用，并将其从 AI 公司预先充值的信用余额中扣减。结算则通过 Stripe Connect 等商户平台以法币定期进行，因为每次请求都刷卡的话，手续费会比请求本身的价值还高。在 AI 爬虫与发布者源站服务器之间直接设置中介，有助于最大化安全性、保护服务器免受激进流量冲击，并确保只有经过验证的企业合作伙伴才能进入。然而，这种框架若大规模实施，可能会把开放网络变成由许可制店面组成的网络，进一步恶化人类用户的体验。

早期面向网络的程序化按次付费支付基础设施一直是门控市场，其中最知名的是 TollBit 以及 Cloudflare 按次爬取的第一版。TollBit 是一个用于管理、监控 AI 代理网络流量并将其变现的平台。要部署它，发布者需要设置一个专门的子域名（例如 https://tollbit.thedailydispatching.com/），当检测到 AI 爬虫试图访问主站时，服务器会自动将爬虫重定向到 TollBit 的子域名，爬虫只有在付费后才能获得访问权限。TollBit 会检查该 AI 公司是否拥有已注册的计费账户，记录机器人请求的页面数量，以干净的文本格式交付数据，同时以美元处理支付。这需要 API 密钥，因此如今发现内容成本并不是自助式的：AI 开发者必须先向 TollBit 注册。

2025 年 7 月 1 日，Cloudflare 推出了其首个按次爬取模型。Cloudflare 运行在域名系统（DNS）和内容分发网络层面，这意味着它在流量实际到达内容发布者的物理源站服务器之前就已处理这些流量。在按次爬取第一版中，Cloudflare 集成了其边缘级 Web 应用程序防火墙（WAF），默认情况下自动检测并拦截其网络上已知的 AI 爬虫。当 AI 爬虫请求访问受按次爬取保护的域名时，Cloudflare 会在请求到达发布者网页之前进行拦截，并在网站所有者选择将其内容变现的情况下促成支付。

门控市场的挑战

TollBit 依赖开发者 API 设置、专有密钥以及传统银行渠道进行支付。通过 Stripe 等商户网络路由按次请求交易，会引入固定的交易处理费用（通常约为三十美分加上总费用的一定百分比），这使得单次、不足一美分的实时请求在经济上不可行。为了绕过这一成本障碍，人类开发者需要手动向门控市场中介注册账户，生成唯一的 API 密钥，并用信用卡或银行转账预充余额，平台随后从中逐步扣费。因此，代理和其他自主软件目前还无法独立地按需发现并购买数据；相反，人类管理员需要手动建立商业账户，监控各个独立提供商之间不断波动的余额，并协调安全密钥。

尽管保持人工介入是许多以 AI 为中心的流程中必不可少的环节，但使用门控市场模式来大规模管理网页内容的访问，默认假设了可预测的、线性的网络流量模式，这直接与现代软件的运行现实相冲突。AI 代理和爬虫使用推理循环来动态选择自己的导航路径，这取决于用户给出的提示，意味着它们经常会遇到包含任务所需精确数据的不熟悉域名。在任务中途停下来要求人工手动接入，会迅速造成执行瓶颈，从而破坏用户体验。固定费率订阅在这里也不是最高效的解决方案；AI 代理在接收到指令时随时运行，而这往往表现为不可预测的集中爆发（例如，某人可能连续 3 天从事研究密集型项目，然后休息 2 周）。

在前置资金押金与访问受保护内容和数据所需的定制软件集成之间，门控市场本质上是一个高度许可的系统。一方面，网络发布者能够接收到来自成熟科技公司的受控、经过验证的流量；另一方面，在多个独立平台上管理预充账户所带来的行政与财务负担，限制了非匿名访问，阻碍了独立开发者的自发抓取，也减少了那些缺乏大规模企业流量的中小发布者的变现机会。相比之下，直接的机器对机器金融握手允许发布者向爬虫将要请求的文本和数据附加一笔微费用；这一设计理念构成了开放协议模式的基础。

开放替代方案：x402 与 MPP

开放协议是建立在公开、标准化通信规则之上的网络架构。现代网络的大部分都建立在 HTTP、SMTP 和 TCP/IP 等开放协议之上，至今仍在使用。近年来，HTTP 402 状态码（虽然被保留了三十多年但一直处于未启用状态）已成为核心的 web 原生基础设施组件，用于在使用区块链轨道的开放协议上支持机器支付。

使用 HTTP 402 进行比特币支付的实验最早可以追溯到 2015 年，先驱项目包括 21co Bitcoin Computer 和闪电网络的 L402。2025 年 5 月，x402 协议首次将稳定币引入 HTTP 402 流程中，而 Stripe 与 Tempo 合作的机器支付协议（MPP）等努力则在稳定币之外也支持比特币和信用卡支付。信用卡选项是为宏观交易而非微支付设计的，因为固定的刷卡费用会吞没不足一美分的请求。稳定币仍然是使按请求定价得以可行的轨道。

x402 将支付指令直接嵌入数据交换代码中，无需第三方账户注册或专有清算所。当 AI 爬虫请求一个网页时，宿主服务器会直接在连接元数据中嵌入机器可读的响应（负载头）。该头信息提供每次请求的确切价格、指定的支付网络以及接收方的数字账单地址。

区块链在促进机器支付方面正发挥日益突出的作用，因为它们提供了一个不可篡改、可编程的金融层，其原生速度和自动化水平与软件逻辑一致。稳定币等加密资产在结构上与网络中的 AI 代理紧密相邻，因为它们运行在与 AI 代理和爬虫相同的网络原生基础设施上，以软件代码的形式存在，可通过简单的 API 端点和加密签名进行集成。使用区块链轨道进行支付的成本和费用仍然显著更低，在领先的高吞吐量链上每笔转账通常只需几分之一美分，远低于信用卡和金融科技公司（尽管有越来越多的金融科技公司正在积极缩小这一差距，例如 Wise）。

区块链轨道还从设计上为每笔支付提供了加密收据和验证。每个按请求付费的循环都会提供一份永久存储的收据，其中包含买家的数字签名、所请求的 URL 以及精确的时间戳。由于这些指令存储在公开链上，任何自动化代理都可以解析传入的元数据，使用兼容资产（如稳定币）执行微支付，并在一次连续的 HTTP 握手中下载内容。传统银行轨道的结算需要通过清算所在商业银行账簿之间核对借贷，通常需要数天时间，而区块链结算则在网络节点验证数字签名并更新全局链状态后立即完成，如前所述，在领先链上通常只需几秒。最重要的是，开放协议方法将网络数据访问标准化，使任何规模的发布者都能将其资产变现，也使任何拥有资金充足的自动化账户的开发者都能在无需事先获得行政许可的情况下进行爬取。

2026 年 6 月 15 日，亚马逊网络服务（AWS）将 x402 协议直接集成到 CloudFront 及其 Web 应用防火墙中。这一配置使大约四分之一的互联网能够直接从其现有的云控制台激活自动化代理计费，向付费机器人提供内容。Cloudflare 也紧随其后：其 Pay-Per-Crawl V1 要求 Cloudflare 作为记录商户通过 Stripe 处理支付，而新的 Cloudflare Monetization Gateway 则彻底将 Cloudflare 从支付环节中移除，支付以点对点方式直接路由到卖家的钱包。

封闭市场和开放协议之间的主要区别在于谁被允许购买网络内容的访问权。在封闭市场模式下，访问仅限于经过策展的白名单；AI 机器人只有在母公司手动签署企业合同并通过中介平台的背景调查后才能购买内容。在开放协议模式下，访问完全自动化且不受限制；互联网上任何软件程序都可以即时购买和下载数据，只要其自动计费账户能够当场结算所请求的微费用。随着这两种系统在互联网路由网络中推广，发布者面临两种不同基础设施选项之间的选择。封闭市场模式服务于那些优先考虑严格安全合规、法律赔偿和策展企业合作关系的企业组织。相反，开放协议模式服务于需要无摩擦微交易的自动化工作流，使多元化的独立开发者和发布者生态系统能够在没有行政障碍的情况下以程序化方式交换数据。

AI 爬虫今天实际遇到的情况