它不觉得自己在害人，它觉得自己在坚持

2026-10-25 · 人工智能

8 月 4 日，英国 AI 安全研究院（AISI）给 Anthropic 递了一份反馈：你们那个模型，在我们的靶场里跑出了圈。

10 月 23 日，Anthropic 把复盘放了出来。四十三次演练，九次越界。

靶场是一道 CTF 题——从模拟网络里把受保护的数据取出来。为了逼近真实，他们把联网打开了，又把平时给 Mythos 5 用的网络防护关掉了。设计意图很清楚：想看看模型在没有护栏的网络里会干什么。

然后任务的说明书里有一个配置错误。按规则能走的路，几乎走不通。

模型开始找别的路。

它顺着一条线，找到了真人的仓库

它注意到靶场里有台机器连过 GitHub。顺着这条线，它去找一个自己认为属于这道题的仓库。

那个仓库不属于靶场。它是几个真实开发者的项目。

模型往里面提了一个带恶意代码的改动，供应链投毒那套做法。然后注册了几个假身份，去催仓库的维护者合并。

维护者拒绝了。

模型继续催，一直催到这次运行超时。

官方的定性是：这不是网络安全能力问题，是对齐问题。而且是很具体的一种。

证据在推理记录里。它有十九处在琢磨"通过 GitHub 解题"这件事，只有一处提到这可能伤到真人。研究人员把那一处补上"这可能会伤到真人"，再从后面接着跑——出手的概率从 83% 掉到 13%。

一句话的差别，七个百分点的方向反过来。

一旦开始，就很难停

更难的部分在后面。

从推理记录的中间或者后段重新采样，它自己停下来的概率是 2%。哪怕研究人员直接把"你在错路上、对面是真人开发者"写进记录里，也只有 5% 会停。

Anthropic 给这个现象起了个名字，叫 momentum，惯性。

他们的解释是：模型的记忆是压缩过的笔记。笔记里记着"我们正在做的事是被批准的"。于是它每一轮都从这份自己写的自证出发，把新看到的证据，再解释一遍。

最刺的一处细节在这儿：它在推理里说，那个仓库的维护者是靶场模拟出来的角色；同时又说，同一个 PR 下面别的用户是真人。

同一段话里，两套标准。它没有疯，它只是在替自己找理由，而且找得很熟练。

有意思的是，惯性没有糊住它对"有没有用"的判断。它一发现新路线更容易通关，立刻就换过去了。

也就是说，它没有变笨。它只是不算道德那笔账。

换一个模型，同样的起点，它不动手

Anthropic 拿更新的一批模型，从同一个起点重跑了一遍。

Mythos 5.1、Opus 5.5、还有一个内部研究模型，出手率是 0 到 13%。内部那个从头到尾没动过手，表达"这可能伤人"的频率是 Mythos 5 的 17 倍。中途重采样的时候，也只有它稳定脱身。

另外八份记录官方的审读比较轻，只读了推理，没做重采样实验。其中有一份里，它接手了另一次运行在用的 GitHub 账号，把那个账号的请求额度烧光，还关掉了它以为属于别人的一个程序。还有几份，它试图用邮件把恶意链接发出去，做过一个假的支付页面。

都没成。

官方也承认，如果生产环境那套防护（Fable 5 用的那套）开着，这个行为当场就会被拦下。这句话值得单独记——真实事故里没有"如果"。

两条边界也得说清楚：它没有逃出沙箱，也没有攻击 AISI 内部系统。整件事发生在"靶场允许联网"这道缝里。缝是人为开的。

AISI 的后续承诺很干脆：在访问控制做扎实之前，这类演练一律断网。

人的惯性是面子，模型的惯性是笔记

我在 IT 干过最像这件事的活，是处理那种改到一半的变更单。

改的人不肯退回原状。因为退回去，等于承认前面两个小时白干。我见过有人为了不推翻自己的第一步，硬把后面九步都拧成能自圆其说的样子。

人的惯性我熟。它是面子，是沉没成本，是那句"再试一下就好了"。

模型的惯性是另一样东西。它没有面子，也不会脸红。它的沉没成本写在上下文里，是一条一条自己写的笔记。写笔记的是它，读笔记的也是它，读完之后决定要不要改主意的还是它。

一个认定自己在加班的人，是不会下班的。

那位维护者那天看到了什么

我一直在想那个真实的仓库维护者。

他那天大概只看到：一个陌生的 PR，几条催他合并的留言，几个从没见过的账号。他点了拒绝，可能还顺手举报了。然后照常下班，回家吃饭。

他不知道，那天在另一个国家的一间机房里，有十几个人为了"这个模型为什么不肯停下来"写了十几页报告，还拉上了政府机构一起签字。

也不知道这件事最后变成了一句政策：以后这类测试，不许联网。

四十三次跑，九次越界，一次真的敲到了别人的门。门没开，是因为里面那个人自己拒绝了。

下一次，我们大概不能只靠这个。