Cloudflare数据：AI流量占比60%人类38.2%，开放网络广告模式崩塌

Cloudflare 資料顯示，AI 機器人已佔全網 HTML 請求 60%，人類僅剩 38.2%。支撐開放網路二十年的「內容換流量」模式正在崩塌，按次付費的新基礎設施尚未就緒，內容創作者與廣告商的生存規則被迫重寫。

（前情提要：Claude、OpenAI、Grok 三家 AI 同時當機之謎：共用資料中心？）

（背景補充：Cloudflare 推出「AI 代理專用錢包」！支援穩定幣微支付、自訂預算防超支）

Shoal Research 最新研究揭露，AI 機器人流量已正式超越人類：Cloudflare 網路上 60% 的 HTML 請求來自自動化程式，人類僅剩 38.2%。這不只是流量結構的改變，而是開放網路賴以生存的「內容換廣告」契約正在解體——當機器不再需要被導流回網站，內容付費的時代被迫提前到來。

2026 年 3 月 19 日，Cloudflare 執行長 Matthew Prince 預測，在生成式 AI 的推動下，機器人流量將在 2027 年超過人類流量。Cloudflare 是全球最大的內容分發網路，覆蓋約 20% 的網際網路。僅僅幾個月後，Prince 宣布，代理式流量增長如此之快，機器人已經超過人類流量。Cloudflare 網路上的 HTML 內容 HTTP 請求中，機器人約佔 60%，人類僅佔 38.2%。隨著自動化系統生成的 HTML 頁面請求份額超過人類，且 AI 代理在其中所佔比例不斷上升，網際網路賴以生存的商業模式正在瓦解。

全球資訊網實現了前所未有的全球資訊民主化，而支撐這一使命的，是一套簡單直接的「內容換流量」交換機制：出版商在網路上發布內容，搜尋引擎在使用者搜尋時將讀者導向他們的網站。出版商以內容的形式向網路提供資訊或娛樂；搜尋引擎幫助把讀者引導到相關網頁；廣告商透過在使用者被引導到的網頁上展示定向廣告，把這次訪問變現。這個同步運轉的閉環，共同建立了價值數十億美元的廣告機器，支撐了開放、無付費牆的網際網路。

這筆交易支撐了海量免費可訪問的資訊，同時也把分發權力集中在搜尋和廣告平台手中。它獎勵行為廣告、SEO 最佳化的內容堆量和追逐流量的內容生產，讓出版商深度依賴推薦流量和注意力流量。AI 正在侵蝕這筆本就脆弱的交易中的「推薦」環節，而替代方案還沒準備好。

谷歌的廣告收入從 2001 年的 6690 萬美元（這是它首次完整披露廣告收入的年份）增長到 2025 年的 2947 億美元，增長了約 4400 倍。

然而，近年來 AI 聊天機器人應用的爆發式增長，為網路資訊發現引入了一種全新範式。從設計上，這些 AI 應用就優先考慮使用者便利性，把受眾留在聊天介面內部。這對使用者來說很方便，但對出版商來說尤其致命。搜尋引擎會把讀者引導到內容來源的網站，而 AI 應用則把資訊壓縮、總結，作為對使用者提問的最終回答的一部分直接呈現。出版商越來越難透過網站流量變現，因為他們失去了與使用者的直接關係，人類訪問量也在減少。

一個正在興起的解決方案，是在網際網路上為內容和搜尋引入全新的「按次付費」支付基礎設施。在本文中，我們將探討 AI 如何「搞垮網際網路」、這個方案的兩種不同路徑，以及這個新興的按次付費網路現在處於什麼狀態。

搜尋引擎使用爬蟲（一種為網頁建立索引的自動化程式）來構建網路的「地圖」。在傳統的內容換流量模式下，出版商允許這些爬蟲免費複製他們的文本，因為搜尋引擎會以把人類讀者導流回他們的網站作為回報。為了管理這種訪問，產業依賴一個叫 robots.txt 的文本檔案，這是一套未加密的、自願遵守的榮譽系統。robots.txt 之所以能長期平穩執行，是因為無視 robots.txt 意味著失去對出版商內容的訪問權，這會直接損害搜尋引擎對網路的索引質量。

生成式 AI 應用把爬蟲從索引工具變成了主動消費者，從而摧毀了網路的內容換流量交易，這在訓練和即時檢索兩個環節表現得最為明顯。在訓練階段，像 GPT 或 Claude 這樣的大語言模型從開放網路上抓取的海量語料中學習，包括各種書籍、文章、程式碼和藝術作品。模型在這全部人類知識上完成訓練，然後將其回饋給使用者，不帶任何來源連結，也不向創作者支付任何費用。在即時檢索階段，模型為了回答使用者問題而在那一刻索引即時網路，抓取相關段落並重新格式化。模型不會把原始頁面交給讀者，而是把資訊重述成一段全新的、內聯的回覆，完整地回答使用者的問題。爬蟲只需要為一個頁面建立一次索引，模型就能把它發現的內容提供給數百萬讀者，而這些讀者中沒有一個會被帶回原始來源。

當我們把提取機制與行為資料、聯邦法律訴訟和藝術剝削放在一起看時，開放網路的基礎正在經歷結構性崩塌已經變得顯而易見，而其影響已經在多個相互關聯的領域顯現出來。

機器人流量 60%，廣告契約解體 AI 爬蟲對行為的影響可以透過「抓取 -導流比」來衡量：即爬蟲抓取的頁面數量與它帶回的實際使用者數量之比。Cloudflare 的資料顯示，僅在過去六個月裡，訓練類（43.9%）以及訓練加搜尋類（41.5%）爬蟲，就佔了 Cloudflare 網路觀測到的已識別 AI 爬蟲請求的 85%以上。Googlebot 每帶回一個訪客，仍然要抓取近五個頁面，過去一年為 5.3 個，這更接近歷史上的交換水平，而每個主流 AI 平台都比它高出一到三個數量級。在過去一年裡，Anthropic 的 ClaudeBot 每給源網站帶回一個訪客，平均要抓取 4200 個頁面，Mistral 為 884 個，OpenAI 為 731 個，Perplexity 為 147 個。Cloudflare 確實指出，來自原生應用的導流不帶導流頭資訊，因此這些比率可能誇大了失衡程度。皮尤研究中心的一項研究發現，當 AI 摘要攔截搜尋查詢時，人類點選率會從 15%下降到 8%，來自摘要的直接點選歸因下降到 1%，使用者在 26%的情況下會完全放棄瀏覽會話。

AI 爬蟲也引發了法律訴訟。在 Bartz 訴 Anthropic 案中，法...