你说不要，他说明年二月再听
你说不要，他说明年二月再听
2026-10-31 · 人工智能
10 月 30 日，OpenAI、Google、Microsoft 三家在同一天发公告，说以后会认一个东西：robots.txt 里的 __usage_ai-training。
同一天，Anthropic 的人把这份草案挂到了 IETF 上。草案作者 Kevin Kelley，Anthropic 的标准负责人。
四条大汉，签了同一张字。
字面意思是：网站主人在 robots.txt 里写两行，就等于对着一屋子 AI 公司喊了一声「别拿我的东西去训练」。
写起来是这样：
User-Agent: __usage_ai-training
Disallow: /想给自家新闻稿留个口子，再加一行 Allow: /press-kit/。
两行。比装一个插件还省事。
以前有多麻烦
robots.txt 这文件 1994 年就有了，一直是个君子协定：我写「这些别抓」，你看着办。
AI 来了以后，每家都有自己爬虫的名字。OpenAI 叫 GPTBot，Google 叫 Google-Extended，Anthropic 叫 ClaudeBot——还有些你连听都没听过。
一个网站想「搜索照收，训练免谈」，就得把这张名单一个个抄进文件，还得盯着新公司冒出来。
更别扭的是，老语法只会说「不许抓」。可你想要的是「你可以抓，但别拿去喂模型」。抓和训练是两件事，老语法分不开。
新草案干的就是这个：把一个用途（训练）做成一个 token，写在 User-Agent 那一行。
但是，今天没有一个人在听
这是我觉得最有意思的地方。
Anthropic 已经采用。OpenAI 说「未来几个月」。Microsoft 说得最具体：2027 年 2 月 1 日起遵守。Google 说 2027 年，自家爬虫文档补了一句「2027 年初」。
也就是说，从今天到明年二月，你写这两行，什么都不会发生。
草案本身也寒酸。它是「个人提交」，IETF 在页面上专门写了一句：本文件未获 IETF 认可，在标准流程中没有正式地位。2027 年 5 月 3 日过期。名字和语义，都可能在这之前改掉。
一份还没生效的草案，四家大公司抢着签字，然后各自给出一个 2027 年的时间表。这场面我熟——像小区物业在楼道里挂了个意见箱，说大家有意见尽管投，我们从明年二月开始看。
它也不管你以为它管的事
就算到了 2027 年，这两行能做的也比大多数人想的少。
它不管抓取。 页面照样被爬。想不让爬，还得写老的爬虫规则。
它不影响搜索收录。 Google 说得很清楚，Bing 也说得很清楚。
它不拦 AI 回答引用你。 这条最容易被误解。训练是把内容揉进参数里，引用是当场翻你的页面来答问题。前者你说了不算，后者……你说了也不算，得另外设。
Microsoft 是唯一把这两件事拆开的那家：一个「AI 训练」偏好，一个「AI 引用」偏好，后者决定你的内容能不能被拿来生成答案。还支持页面级设置，不用整站一刀切。
它还定了个日子：2027 年 3 月 1 日起，Bing 不再把 NoArchive 和 NoCache 当成 AI 偏好。这两个老标签用了二十多年，到时候就失效。
Google 那边有个细节值得抄下来：如果你用了共享 token 但没提 Google-Extended，Google 会当你连 Google-Extended 也拒了。反过来，明确允许 Google-Extended 的站，还能出现在 Gemini 的回答里、还能拿到点击。
一句话：先想清楚你要的是「不被训练」，还是「不被引用」，还是「别出现在 AI 答案里」。这是三件事，三个开关。
还有个更根本的问题
草案里有一条我反复看：User-Agent: * 那个通配组，不能被理解成覆盖了这个 token。
也就是说，你以前写的「所有爬虫都不许进」，在新规则下不算数。你得专门再写一组，指名道姓地说 __usage_ai-training。
一个为了省事的机制，第一件事是让你多写一组。
而且它全靠自愿。没签字的公司，看你写了也当没看见。签了字的，也可能哪天改主意。文档里还留了一句：私有协议可以覆盖这里表达的偏好——翻译过来就是，你要是跟某家单独签了合同，合同比这文件管用。
我为什么还是觉得它是好事
因为它至少把「训练」从「抓取」里拆出来了。
过去这些年，网站主人只有一个开关：开门，或者关门。关门就没流量，开门就被白拿。中间那一档根本不存在。
现在有了一个说不清的中间档——你可以让他进来，但不许他把东西带走。虽然这个「不许」目前还只是一句客气话。
我住的小区门口有个意见簿，挂在传达室窗户上，笔用绳子拴着。有年冬天我路过去翻，第一页是 2019 年的，写着「希望路灯修一下」。路灯是 2022 年修的。
簿子一直在。写的人也一直在写。