OpenAI、Google等四巨頭統一AI訓練拒絕規則，網站不用再逐家設置

動察 Beating AI 快訊，OpenAI、Google、微軟和 Anthropic 達成一致：以後網站只需在 `robots.txt` 中添加 `User-Agent: __usage_ai-training` 和 `Disallow: /` 兩條規則，就能同時告訴這幾家公司，不要拿自己的內容訓練 AI。過去，網站需要分別針對 GPTBot、ClaudeBot 等爬蟲設置規則。

這套規則只針對 AI 訓練，不會一併禁止爬蟲抓取網站，也不一定影響 AI 在回答中引用網站內容。它由 Anthropic 工程師提出，目前還是互聯網工程任務組（IETF）的技術草案。

各家公司對規則的執行方式不完全一樣。微軟允許網站單獨禁止 AI 訓練，同時保留內容被 AI 搜索引用的機會。Google 則計劃把這條規則與現有的 Google-Extended 設置綁定，可能連 Gemini 引用網站內容也一起限制。

Anthropic 已開始採用，微軟計劃在 2027 年 2 月生效，Google 計劃 2027 年支持，OpenAI 也將在未來數月上線。

但這些規則不能撤回此前已經用於訓練的數據，也無法強制 AI 公司遵守。