10 月 30 日,Google、Microsoft、Anthropic、OpenAI 宣布將支援同一個「禁止 AI 訓練」的 robots.txt 訊號,網站用一組規則就能對四家的訓練爬蟲表達拒絕,不必再逐家列 User-Agent。這是網站與 AI 公司之間少見的跨廠共同語言,但它目前只是個人提交的 IETF 草案,不是標準。昨日(Anthropic S-1 財務拆解)談公司財務,今天回到內容取用規則。
讀到的程度:我讀到 SiliconANGLE 全文與 IETF 草案原文(draft-kelley-aipref-training-preference-signal-00);Google 如何處理、Meta 的態度等細節來自搜尋結果摘要或單一轉述,下文會標明。
📖 學
一、要解決什麼問題
依 SiliconANGLE,robots.txt 本來是告訴爬蟲哪些內容可以取用的檔案,可全站封鎖或只封部分路徑,也能要求爬蟲別太頻繁來訪。現在它同時管著蒐集 AI 訓練資料的爬蟲,痛點是:想拒絕訓練用途,得為每家 AI 公司各加一條,業者若有多隻爬蟲,每隻都要一條。新做法是用單一條目涵蓋所有蒐集生成式 AI 訓練資料的爬蟲。
二、草案的語法:沒有新指令,只有新的 token
我讀到的草案由 Anthropic 的 Kevin Kelley 於 10 月 30 日提交,隸屬 IETF 的 AI Preferences 工作組,標示意圖為 Standards Track,2027 年 5 月 3 日到期。它定義一個政策 token __usage_ai-training,寫在一般的 User-Agent 行,範例如下:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/意思是:除了 /press-kit/ 之外,所有路徑都表達「不要拿去訓練」的偏好。草案強調它「沒有新指令名稱、沒有新文法」,路徑比對、最長匹配優先、群組結構都沿用原本 robots.txt 規則。一個群組可列多個政策 token,也能和一般產品 token 混用。
三、它不管什麼
這個設計有幾條容易被誤解的邊界,都寫在草案裡:
- 它不是爬取指令。草案說它「不是爬取行為的指令」,業者可以參考它決定要不要抓,但不強制。爬蟲仍須照自己的產品 token 檢查原本的規則,兩者「獨立且正交」。
- 只涵蓋生成式 AI 訓練,也就是用資料修改生成式模型的學習參數。只做分類、排序、評分的模型不在定義內。
- 星號群組(
User-Agent: *)不得被解讀為涵蓋這個 token;沒有任何群組寫到它,就等於沒有表達偏好。 - 偏好綁定在「抓取當下有效的 robots.txt」。依搜尋結果的摘要,改檔不會讓已收進資料集或已訓練的模型把內容移除,這點草案原文我沒逐字核對,但與「綁定抓取時點」的規定一致。
- 私下協議可以覆蓋這類偏好。
四、各家承諾的程度
SiliconANGLE 寫到:Microsoft 與 OpenAI 打算「在未來幾個月」加入支援,Google 要到明年;Meta 表示支持這個想法,但沒承諾實作與時程。另外 Microsoft 要提供獨立設定「AI Grounding」,管的是 AI 為了回答使用者問題而即時抓網頁,而非蒐集訓練資料,控制範圍也延伸到使用 Microsoft 技術的第三方 AI 工具。搜尋結果的單一轉述說 Google 的 John Mueller 表示會把這個 token 的拒絕視同封鎖 Google-Extended;我沒讀到原話,信心較低。草案本身完全沒提 Google-Extended。
五、我的判讀
這是個人草案,IETF 資料庫明載個人 Internet-Draft 不代表 IETF 背書、沒有正式地位,內容仍可能更動。此外它和另一條路線不同:Content Signals 是在 robots.txt 群組內寫 Content-Signal 行(如 ai-train=no),屬於另一個提案。兩者會不會合併,我沒找到可靠資料,不下判斷。對網站經營者而言,實務意義是:四家都只承諾「未來支援」,在各家真的上線前,原本逐家列 User-Agent 的寫法不能拆掉。
🧠 記
- 單一 token
__usage_ai-training寫在 User-Agent 行,沿用 robots.txt 既有文法與最長匹配規則。 - 它表達訓練偏好,不是爬取指令,也不追溯已收集的資料。
- 只涵蓋生成式 AI 訓練,星號群組不算數,沒寫就是沒表達。
- Microsoft 與 OpenAI「未來幾個月」、Google 明年、Meta 無時程;目前只是個人 IETF 草案。
✍️ 實踐
- 打開自己網站(或任一網站)的 robots.txt,列出現有的 AI 相關 User-Agent 條目,數一數要逐家維護幾條。
- 依草案範例,為一個假想網站寫出「全站拒絕訓練、只開放
/press-kit/」的群組,再說明為什麼不能只寫在User-Agent: *下。 - 到 IETF datatracker 讀草案原文,核對本文「不追溯已收集資料」那一點是否有明文。
- 比較本草案與 Content Signals 的
ai-train=no:各自把偏好放在哪一行、涵蓋範圍差在哪。
🔗 延伸學習
- SiliconANGLE:Google, Anthropic and others to support new AI crawling opt-out standard:事件主要來源,讀到全文。
- IETF:Machine-Readable Training Preference Signal(draft-kelley-aipref-training-preference-signal-00):草案原文,語法與限制都出自這裡。
- AI Weekly:OpenAI, Google, Microsoft, Anthropic Back One AI Opt-Out Token:二手轉述,只看到搜尋摘要。
- Content Signals in robots.txt:另一條提案路線,只看到搜尋摘要。
💬 問 AI
我讀到 2026-10-30 Google、Microsoft、Anthropic、OpenAI 宣布將支援單一 robots.txt 訓練偏好訊號;IETF 個人草案 draft-kelley-aipref-training-preference-signal-00 定義 token `__usage_ai-training`,寫在 User-Agent 行、沿用既有文法,不是爬取指令,星號群組不涵蓋它。Microsoft 與 OpenAI 預計未來幾個月支援,Google 明年。
請幫我:
1. 解釋「內容使用偏好」與「爬取許可」為何要分開,各舉一個實際情境。
2. 說明個人 Internet-Draft 與 RFC 標準之間還差哪些步驟。
3. 為一個新聞網站設計 robots.txt:拒絕訓練,但允許搜尋索引與 AI 即時引用,並說明現階段要保留哪些舊的逐家規則。
回答時請標示哪些是草案原文說的、哪些可查證、哪些是你的推論。