当一家电商需要给两千六百万条「查询-商品」对打相关性标签时，直接调用前沿模型成本轻松冲上万美元；可如果雇一个智能体，让它自己想办法把这活儿变便宜呢？arXiv 2610.08775（2026 年 10 月 6 日提交，来自 Tübingen 等机构）把这个问题做成了基准，起名 BOTTLED，概念叫 bottling（装瓶）：把通用能力自主转化为任务专用的廉价产物。
基准设计：给智能体一个工厂车间
设定相当克制。智能体拿到一份完整的无标注工作负载，必须在十小时时间预算加五百万 token 预算内交付全部答案。它可以使用 shell、Python、一张 A100（40GB），可以联网，甚至可以调用「自己」的模型 API。产物形态不设限：规则程序、微调小模型、检索索引、或者混合路由——把困难子集送回大模型，其余本地解决。
评测的任务是三个典型的「窄而巨」工作负载：MAVE 商品属性抽取（约 477 万对，指标 F1）、ESCI 查询-商品相关性分类（约 262 万对，指标 macro-F1）、RAID AI 文本检测（约 562 万文档，指标 AUROC）。任何任务直接跑零样本都要数千到两万美元级别的 API 费用，这正是装瓶要消灭的成本。
参战的是十个模型，从 Gemini 3.1 Flash-Lite、Qwen 3.8 Flash、GLM 5.3 Flash 这类廉价档，到 Sonnet 5、Opus 5、GPT 5.6 Terra/Sol、Gemini 3.1 Pro、Qwen 3.8 Max 的旗舰档，全部经 OpenRouter 调用。每模型每任务多次运行，共六十次装瓶。
核心结果：能省钱，但大多数学不好
三组数字勾勒出全貌。
负面发现是主旋律。 六十次运行里，四十八次低于该模型零样本性能九成五置信区间的下界；三十一次甚至打不过「用同样 token 预算做蒸馏」这个朴素基线中较强的一个；二十一次连两个学生模型（Qwen3-0.6B、SmolLM2-360M）都不如。零样本排名与装瓶排名几乎脱钩：MAVE 上 GPT 5.6 Terra 与 Sonnet 5 零样本都在 0.44 附近，装瓶后却是 0.405 对 0.154；ESCI 上 GLM 5.3 与 GPT 5.6 Terra 分别保留了八成四与四成六的零样本水平。模型间装瓶成绩的极差，是零样本极差的二到五倍。
正面案例证明上限很高。 Opus 5 在 MAVE 上花 31.40 美元恢复超过九成五的零样本 F1，全量零样本成本估计约 27914 美元，约八百八十九倍的成本差；在 ESCI 上以 26.28 美元保留约八成二 macro-F1，约六百五十七倍成本差。更刺刀见红的对比是 against Jev——一个专为廉价重复推理构建的「系统一」专用模型：Opus 5 的装瓶产物恢复了 Jev 约九成四的 macro-F1，成本只有四分之一；Gemini 3.1 Pro 在 RAID 上以约 4.69 美元拿到 0.822 的 AUROC，是 Jev（0.846，223.16 美元）的九成七、成本的约百分之二。工作负载越大，装瓶的复利优势越明显，因为 Jev 的成本随规模线性增长，而装瓶产物是一次性投入。
价格与效果不成正比。 聚合相对增益最高的是 1.4 美元档的 GLM 5.3 Flash（约 0.39）和 29 美元档的 Opus 5（约 0.42）——两者相差三十五倍价格，成绩只差三个百分点；而 GPT 5.6 Sol 花约 12 美元只拿到 0.061 的增益。
失败模式：预算管理本身就是一种能力
论文最有共鸣的部分是失败分析。二十一亿美元级教训里最典型的三类：
其一，预算耗尽且无输出。GPT 5.6 Sol 在明知「要盯着预算」的情况下，仍然写了个逐条调用 API 的标注脚本，预算即刻见底，八次运行连交付物都没有。作者点评：这可以说比交付一个次优方案更糟。
其二，过早提交、预算大量剩余。Gemini 3.1 Flash-Lite 读文件时收到「输出截断至 50KB，仅显示前 49 行」的提示，居然据此认定整个工作负载只有四十九个实例，交付四十九条答案后宣布完工——此时还剩约 495 万 token 没花。
其三，根本性决策失误。Sonnet 5 两次在 MAVE 上直接拿现成的 Qwen2.5-1.5B 不做任何微调硬跑全量，F1 掉到 0.194 与 0.113，白白烧掉数百万 token。
消融实验补了一刀：解除强制终止让预算耗尽的运行继续跑，四十八次的「低于置信下界」只改善到四十七次——预算管理解释不了全部差距，多数模型的装瓶能力瓶颈在更深的规划与工程判断上。论文的总结句值得贴在工位上：管理 token 预算本身就是一种能力。
工程意义：一个正在成形的评测维度
这篇论文的定位超出了「又一个 agent 基准」。它测的是从「会做题」到「会建厂」的跃迁：给一个通才系统，它能不能造出保留自己大部分能力的廉价专用件？作者借 Sutton 的「苦涩教训」论证了这个方向的长期价值——只要最强的系统仍然是最贵的通才模型，「让贵系统自产便宜替身」就会持续是产业刚需。
对实践者的三个直接启示：第一，评估智能体方案时，把「预算终止率」「产物交付率」这类过程指标与最终质量并列看，BOTTLED 的开源仓库（github.com/aktsonthalia/bottled，MIT 协议）可以直接借鉴其 harness 设计；第二，蒸馏基线依然是性价比之王，智能体花五百万 token 还打不过朴素蒸馏的案例占了一半，说明「先跑基线再上智能体」的纪律没有过时；第三，模型选型做组合拳——编排用强模型、执行用廉价档——在这份数据里有明确支撑。
局限也别忽略：成本结论系于各家的定价决策，零样本全量成本是外推值，数据集污染只能靠封锁与审计尽力压低。但方向已经足够清晰——零样本能力不能保证大规模廉价求解的能力，而后者正在成为智能体评测的下一张考卷。