Karpathy 上周末在 X 上发了一条获得 185 个赞的推文:人们对 AI 能力理解的鸿沟正在扩大——很多人拿去年免费档 ChatGPT 的体验定义自己对 AI 的全部认知,而每天在前线用它的人看到的完全是另一个世界。这条推文的背后是一个更硬的问题:当我们讨论「AI 进展有多快」时,我们引用的数字本身可靠吗? 10 月 8 日,UC Berkeley 统计系的 Drew Nguyen 与 William Fithian 挂出的论文 2610.12466,把这个问题对准了过去两年最有影响力的一条曲线:METR 时间视界图。
一、一条曲线的权力
先把这条曲线的地位说清楚。METR 是伯克利的一家非营利研究机构,纽约时报称之为「世界非官方 AI 裁判」。它的时间视界图从 2025 年 3 月发布,随每个主要模型发布逐点更新,一直画到 2026 年 5 月的 Claude Mythos。图上是一条陡峭的指数上升线——模型能以 50% 概率独立完成的软件任务的人类耗时,从 GPT-4 时代的 4 分钟一路涨到数小时级。
这条线的文化影响远超学术圈。纽约时报把它与摩尔定律类比;安全研究者 Jacob Steinhardt 把它与基林曲线并列——后者是测量大气二氧化碳浓度的经典曲线,曾把抽象的气候风险变成全球政策共识;Bengio 与参议员 Sanders 引用它呼吁放缓 AI 开发,2026 年夏天「放缓」成了美国头版话题。资本、政策、公众预期,都被这条曲线的形状牵引着。问题在于:摩尔定律的纵轴是物理测量,而这条线的纵轴是一个统计估计量。 估计量可以被批评、被改进——这正是 Berkeley 论文的切入点。
二、50% 时间视界的构造
时间视界的构造分三步。第一步,METR 收集了 228 道手工设计的软件工程任务,每道题标注「人类耗时」——职业工程师完成它所需的时长,从几分钟到 30 小时不等。第二步,对每个模型在这些任务上重复多次独立运行,测出各任务的成功率。第三步,拟合一个模型,找出该模型以 50% 概率成功的任务对应的人类耗时——这就是时间视界。
基线方法(METR 研究笔记中的 shared-slope 逻辑斯谛模型)包含一个核心假设:任务对 AI 的难度随人类时长的对数线性增长。换句话说,10 倍的人类耗时增量,无论发生在 3 分钟到 30 分钟之间,还是 30 分钟到 5 小时之间,对 AI 而言难度增量相同。这个假设让曲线美观、外推方便,但它是假设,不是数据。
三、放松假设之后:一条有拐点的转换曲线
Berkeley 团队用两件武器重新分析同一份公开数据:样条函数与项目反应理论(IRT)。样条放松了线性假设,让数据自己说话;IRT 则把「任务难度」与「模型能力」放进同一个统计框架,用交叉验证的正当评分规则(proper scoring rules)客观比较新旧模型的预测质量。
核心发现浓缩成一句话:把人类时长转换成 AI 难度的那条函数,在 2 至 30 分钟区间内几乎平坦,在此之外才接近线性。 直觉解释是:人类耗时 3 分钟与 30 分钟的任务,对 AI 而言难度差距远小于线性假设的预期——简短任务凑起来都是「查个事实、改一行代码」级别的轻量活;而一旦越过 30 分钟,任务开始需要真正的多步规划与状态管理,难度才随时长陡增。
这直接改写了倍数的含义。视界从 3 分钟涨到 30 分钟,与从 30 分钟涨到 5 小时,虽然都是 10 倍,但后者代表的能力跃迁远大于前者。 换句话说,时间视界曲线在早段的陡峭爬升,一部分是指标构造的产物而非能力的等比例增长;真正高含金量的倍数集中在曲线的陡段。论文还发现,重算后的估计在评分规则下整体预测更准,而新旧估计分歧最大的区域,恰好落在转换曲线最平坦的部分——那里正是外推最危险的地方。
四、这不是第一条裂缝,但可能是最严谨的一条
对 METR 曲线的批评并不新鲜:LessWrong 上有人指出 80% 视界的估计可能偏差一个数量级,有人写过「如何操纵 METR 曲线」,还有研究者干脆论证「通用能力根本没有好的纵轴」。但此前批评大多停在「这数据有毛病」;Berkeley 论文的差异在于给出了更好的估计器——在留出数据上用评分规则证明自己预测更准,并配了一套诊断图,让任何使用者可以自查「构造效度」(construct validity):这个指标测的到底是不是我们以为它在测的东西。
作者还指出了前瞻性风险:当前任务库最长 30 小时,未来向更长任务扩展时,没有先验理由认为线性关系会延续——新任务区间可能再次出现平坦或陡峭段,而线性模型的检验根本发现不了这类拐点,诊断图可以。至于把这套方法外推到机器人等物理智能领域,作者提醒:锚定尺度未必还得是人类时间,选错锚定尺度的代价可能比统计误差大得多。
五、给读者的三个提醒
第一,单点趋势比精确倍率可靠。「视界在指数增长」这个定性判断,比「每 7 个月翻 2 倍」的定量声明更稳健;引用时优先用前者。第二,警惕跨区间比较倍数。平坦段的存在意味着同样的倍数在不同起点上含义不同,把 GPT-4 时代与前沿模型时代的「翻倍」直接等量齐观是方法错误。第三,指标与叙事之间保持一档距离。时间视界被设计出来的初衷是给从业者一个可解释的能力单位,当它被用于政策倡导与投资叙事时,附带误差条的仪表读数就会被自动翻译成不带误差的口号——Karpathy 说的理解鸿沟,一半来自这里。
统计学对一条明星曲线的审视,不是否认进展,而是让进展的度量配得上它承担的决策重量。METR 用一套可批评、可改进的公开方法建立了行业基准,这本身是件好事;现在这套方法被严格地检了一遍,曲线反而更可信了——前提是,读它的人知道该搭配哪些诊断图一起看。