Long-form

METR 时间视界曲线被统计学审视了:那条指数线可能没那么可靠

5 min read ·

Karpathy 上周末在 X 上发了一条获得 185 个赞的推文:人们对 AI 能力理解的鸿沟正在扩大——很多人拿去年免费档 ChatGPT 的体验定义自己对 AI 的全部认知,而每天在前线用它的人看到的完全是另一个世界。这条推文的背后是一个更硬的问题:当我们讨论「AI 进展有多快」时,我们引用的数字本身可靠吗? 10 月 8 日,UC Berkeley 统计系的 Drew Nguyen 与 William Fithian 挂出的论文 2610.12466,把这个问题对准了过去两年最有影响力的一条曲线:METR 时间视界图。

一、一条曲线的权力

先把这条曲线的地位说清楚。METR 是伯克利的一家非营利研究机构,纽约时报称之为「世界非官方 AI 裁判」。它的时间视界图从 2025 年 3 月发布,随每个主要模型发布逐点更新,一直画到 2026 年 5 月的 Claude Mythos。图上是一条陡峭的指数上升线——模型能以 50% 概率独立完成的软件任务的人类耗时,从 GPT-4 时代的 4 分钟一路涨到数小时级。

这条线的文化影响远超学术圈。纽约时报把它与摩尔定律类比;安全研究者 Jacob Steinhardt 把它与基林曲线并列——后者是测量大气二氧化碳浓度的经典曲线,曾把抽象的气候风险变成全球政策共识;Bengio 与参议员 Sanders 引用它呼吁放缓 AI 开发,2026 年夏天「放缓」成了美国头版话题。资本、政策、公众预期,都被这条曲线的形状牵引着。问题在于:摩尔定律的纵轴是物理测量,而这条线的纵轴是一个统计估计量。 估计量可以被批评、被改进——这正是 Berkeley 论文的切入点。

二、50% 时间视界的构造

时间视界的构造分三步。第一步,METR 收集了 228 道手工设计的软件工程任务,每道题标注「人类耗时」——职业工程师完成它所需的时长,从几分钟到 30 小时不等。第二步,对每个模型在这些任务上重复多次独立运行,测出各任务的成功率。第三步,拟合一个模型,找出该模型以 50% 概率成功的任务对应的人类耗时——这就是时间视界。

基线方法(METR 研究笔记中的 shared-slope 逻辑斯谛模型)包含一个核心假设:任务对 AI 的难度随人类时长的对数线性增长。换句话说,10 倍的人类耗时增量,无论发生在 3 分钟到 30 分钟之间,还是 30 分钟到 5 小时之间,对 AI 而言难度增量相同。这个假设让曲线美观、外推方便,但它是假设,不是数据。

三、放松假设之后:一条有拐点的转换曲线

Berkeley 团队用两件武器重新分析同一份公开数据:样条函数与项目反应理论(IRT)。样条放松了线性假设,让数据自己说话;IRT 则把「任务难度」与「模型能力」放进同一个统计框架,用交叉验证的正当评分规则(proper scoring rules)客观比较新旧模型的预测质量。

核心发现浓缩成一句话:把人类时长转换成 AI 难度的那条函数,在 2 至 30 分钟区间内几乎平坦,在此之外才接近线性。 直觉解释是:人类耗时 3 分钟与 30 分钟的任务,对 AI 而言难度差距远小于线性假设的预期——简短任务凑起来都是「查个事实、改一行代码」级别的轻量活;而一旦越过 30 分钟,任务开始需要真正的多步规划与状态管理,难度才随时长陡增。

这直接改写了倍数的含义。视界从 3 分钟涨到 30 分钟,与从 30 分钟涨到 5 小时,虽然都是 10 倍,但后者代表的能力跃迁远大于前者。 换句话说,时间视界曲线在早段的陡峭爬升,一部分是指标构造的产物而非能力的等比例增长;真正高含金量的倍数集中在曲线的陡段。论文还发现,重算后的估计在评分规则下整体预测更准,而新旧估计分歧最大的区域,恰好落在转换曲线最平坦的部分——那里正是外推最危险的地方。

四、这不是第一条裂缝,但可能是最严谨的一条

对 METR 曲线的批评并不新鲜:LessWrong 上有人指出 80% 视界的估计可能偏差一个数量级,有人写过「如何操纵 METR 曲线」,还有研究者干脆论证「通用能力根本没有好的纵轴」。但此前批评大多停在「这数据有毛病」;Berkeley 论文的差异在于给出了更好的估计器——在留出数据上用评分规则证明自己预测更准,并配了一套诊断图,让任何使用者可以自查「构造效度」(construct validity):这个指标测的到底是不是我们以为它在测的东西。

作者还指出了前瞻性风险:当前任务库最长 30 小时,未来向更长任务扩展时,没有先验理由认为线性关系会延续——新任务区间可能再次出现平坦或陡峭段,而线性模型的检验根本发现不了这类拐点,诊断图可以。至于把这套方法外推到机器人等物理智能领域,作者提醒:锚定尺度未必还得是人类时间,选错锚定尺度的代价可能比统计误差大得多。

五、给读者的三个提醒

第一,单点趋势比精确倍率可靠。「视界在指数增长」这个定性判断,比「每 7 个月翻 2 倍」的定量声明更稳健;引用时优先用前者。第二,警惕跨区间比较倍数。平坦段的存在意味着同样的倍数在不同起点上含义不同,把 GPT-4 时代与前沿模型时代的「翻倍」直接等量齐观是方法错误。第三,指标与叙事之间保持一档距离。时间视界被设计出来的初衷是给从业者一个可解释的能力单位,当它被用于政策倡导与投资叙事时,附带误差条的仪表读数就会被自动翻译成不带误差的口号——Karpathy 说的理解鸿沟,一半来自这里。

统计学对一条明星曲线的审视,不是否认进展,而是让进展的度量配得上它承担的决策重量。METR 用一套可批评、可改进的公开方法建立了行业基准,这本身是件好事;现在这套方法被严格地检了一遍,曲线反而更可信了——前提是,读它的人知道该搭配哪些诊断图一起看。

Frequently asked questions

METR 的 50% 时间视界到底是什么?
METR 给 228 道手工设计的软件工程任务标注「人类耗时」,然后对每个 AI 模型测出:它以 50% 概率自主完成的任务,对应的人类耗时是多少。比如 GPT-4 的时间视界约为 4 分钟,意思是人类 4 分钟能完成的任务它有五成把握独立搞定。时间视界越长,模型能稳定搞定的任务越长,这个指标把「AI 有多强」翻译成了人人都懂的时间单位。
新论文发现了什么核心问题?
METR 基线方法假设任务对 AI 的难度随人类时长的对数线性增长。Berkeley 团队用样条函数放松了这个假设,发现转换曲线在 2 到 30 分钟区间内几乎平坦,其他区间才接近线性。后果是:视界从 3 分钟涨到 30 分钟,远比从 30 分钟涨到 5 小时容易,尽管两者都是 10 倍。不同倍数背后的真实难度增量完全不同,把所有 10 倍等量齐观会误导外推。
这条曲线的影响力有多大,为什么值得较真?
它被纽约时报称为「世界非官方 AI 裁判」,被比作摩尔定律;安全研究者把它类比基林曲线——那条测量二氧化碳浓度、重塑全球气候政策的曲线。Bengio 与美国参议员 Sanders 等人引用它呼吁放缓 AI 发展,2026 年夏天「放缓开发」甚至登上美国头版。一条统计学构造的估计量,事实上参与了资本配置与政策辩论,质检它的方法论不是学术洁癖,是风险管理。
重算后的估计与原版差多少?
论文用交叉验证的正当评分规则(proper scoring rules)对比新旧估计,新模型在预测任务成功与否上整体更准;差异最大的正是曲线最平坦区间附近的模型——同样一条能力曲线,两种方法给出的时间视界读数可以差出可观幅度。作者的立场不是宣布原版错了,而是建议:时间视界必须搭配诊断图一起读,尤其是任务集向更长任务扩展、或有人基于视界提出新基准时。
普通人应该怎么使用时间视界这类指标?
把它当仪表盘读数而不是自然法则。任何复合统计量都叠加了任务采样、难度标定、模型随机性三层误差;单点趋势(在涨)通常比精确倍率(每年翻几倍)可靠得多。看到「视界每 7 个月翻倍」这类标题时,值得多问一句:这个倍数是在曲线的陡段还是平段测出来的?跨区间的倍数能直接比较吗?多一层追问,就少一次被指数叙事带偏。
// next.txt ›

Some outbound links in this post are affiliate links — see disclosure.