九十九点九跑得比六十二点七快

2026-10-26 · 人工智能

九月三日，ARC Prize 在自己的博客上放了一张表。同一个模型，GPT-6 Astra，同一张考卷，ARC-AGI-3。两个分数并排摆着：62.7%，99.9%。

ARC 写得很老实。它给这两栏各配了一句说明。左边叫 Standard harness，规矩是模型每一步只能带走自己亲手写下的笔记，写什么、留什么，自己定。右边叫 Provider Adapter harness，规矩松一点：模型可以把它那份「我们看不见」的推理状态原封不动留到下一步，聊天记录太长就压缩一下接着用。

说白一点，左边是每一步都忘了刚才想什么，只记得笔记上写了什么。右边是刚才想的事，这会儿还在手上。

ARC-AGI-3 这考试不考答题。它给一个从没见过的小世界，没说明书，没提示，模型得自己摸规则、自己猜到底要干什么、自己规划怎么走过去。分数不数做对几道，数走了几步。一百分的意思是，用的动作和人类中位数一样多。

所以 62.7 和 99.9 之间那三十七点三，不是模型突然聪明了。是它手上的东西换了。

一行叫 none 的数

我把那张表拉到底，看见一行叫 none。

推理档位，关掉。

Standard 那一栏：35.2%。比 low 档的 17.5% 还高一点，反正都塌了。这很正常，一个考推理的卷子，你不推理，分当然掉下来。

Provider Adapter 那一栏，同一个关掉推理的 Astra：96.7%。

一个专门用来量「会不会推理」的考试，把推理关掉，还能拿九十六点七。那这九十六点七量的就不是推理。是那套 harness 在替它记着上一轮想过什么，一轮接一轮接上去。模型这时候只是个嘴，前面那段脑子的活是别人干的。

钱也反着来。Standard 这一栏，medium 档花四万八千零九十美元，拿 38.6%。Provider Adapter 那一栏，high 档花一万八千八百一十七，拿 99.9%。花得多反而分低，听着像个笑话。

ARC 自己解释过：推理档位开得越高，动作越少，调用越少，账就越便宜。所以在这张表上，贵的不是聪明，是笨。笨就得多走几步，多走几步就多付钱。

那句「比人快」

表下面有一段话，我盯了很久。

ARC 说，在 Provider Adapter 下，Astra 在 96% 的关卡里用的动作比人类中位数还少，平均少 51.7%。它给这事的评价是「实质性的里程碑」——「在 ARC-AGI-3 的动作效率口径下，Astra 达到并超过了人类对等水平」。

这话没毛病。但它落在右边那一栏。左边那一栏是 62.7%，那一段不成立。

一句关于「AI 已经比人快」的判断，站在一个只有它自己站得上去的位置上。这不是说谎，只是这句话的落点比它听起来窄得多。

三天

还是九月三日那篇，ARC 写：Astra 是明显的一级台阶，但我们不认为它是 AGI。ARC-AGI-3 的范围很窄，环境是确定的、封闭的，比不上真实世界的复杂和开放。

九月六日，黄仁勋在 X 上写，AGI 已经到了。他引的是 99.9%。

中间隔了三天。三天足够一个数字从表格里跳出来，洗干净，站到标题上去。

十月中下旬，榜单重新理了一遍。99.9% 还在，但被单独标出来了，注明这一栏的可比性有限。据 Startup Fortune 报道，ARC 认为它不该当作可比的成绩——因为那个环境下，没有第二家厂商的模型被测过。报道还提到，OpenAI 在发布之后改过五处已经公开的基准数字。

我不觉得这是造假。99.9 是真跑出来的。机器真的坐在那儿，真的烧了那一万八千八。问题在于它跑的时候，旁边一个人都没有。一张只有一个人考的卷子，考一百也说明不了什么，只能说明这个人很会给自己出题。

我现在怎么看分数

这几年我看发布会的习惯改了三遍。以前看分数，后来看分数旁边的小字，现在看分数是谁算的。

改到第三遍的时候有点泄气。因为你永远不知道自己看到的那个数字站在哪一栏，而大部分转述不写这个。发布会 PPT 上不会印一行「本次成绩在厂商自建环境下测得，其他模型未在此环境测试」。这句话太长，也不爱听。

ARC 干这活不讨好。它不收厂商的钱，得罪的是把模型送上门来测的人。它可能也是这行里最后一个还愿意说「我们不认为这是 AGI」的机构——毕竟 AGI 这词一旦真到了，卖票的人就没得卖了。

我现在的做法很土。看到一个新数字，先去榜单上找它的邻居。

62.7 旁边站着 52.7、49.8、30.2、24.3，一排人，从高到低，整整齐齐。这说明它是在一个大家共用的场子里量的。

99.9 旁边什么都没有。只有一行小字，说这个位置不参与比较。

两个数字都还在榜上。一个有人陪着，一个没有。