9 月 23 日,Fireworks Research 发布特化推理模型 Ember-1:基于 Kimi K3 训练,目标一句话可以概括为「同样的答案,少四成的 token」。听起来像又一篇厂商营销稿,但这次官方给出的实验数据密度足够高——五个工业基准的逐项对比、两家客户的生产 A/B、一次刻意低调的内部灰度——值得拆开看看「特化模型」这条路到底走通没有。
一、要解决的问题:思考模型的推理税
先看数据背景。Kimi K3 这类强推理模型,生成 token 里有时超过 90% 花在内部推理上而非答案本身。单次请求贵也就算了,问题在 agent 场景被复利放大:多轮对话中每一轮都要把此前所有推理回放给模型,上下文规模随轮数近似平方增长,早期轮次的长推理会在后续每次调用里被重读、重计费。
行业里的第一反应是调低 reasoning effort,但 Fireworks 的数据显示这条路走不通:K3 在 effort low 档下,SWE-bench Verified 从 93.2 掉到 80.4,DeepSWE 1.1 从 66.4 掉到 55.8——省了钱,砸了活。要既保质量又砍 token,只能让模型自己学会更高效地推理,也就是训练。
二、怎么训的:从观察到产品
Fireworks 团队的关键观察是:K3 的推理并非全在浪费。真正有价值的部分是自我反思——重审假设、响应反馈、把结果追溯回早期决策,这些能力帮模型从错误中恢复;浪费的是无效循环和冗余重述。所以训练目标不是「少想」,而是「把无生产力的思考识别出来砍掉」。
实现路径是跨任务面的效率学习:训练数据覆盖数学、编码、指令跟随、对话、搜索、工具使用和软件工程,同时包含独立问题和长交互任务,用任务与环境反馈引导在线策略规划,让「反思是否有回报」成为可学习的信号。整个工程跑了 50 多次训练实验、200 多次评估,全部在 Fireworks 自家的 Serverless Training 上完成。官方宣称七项基准加两客户生产流量的结果是:推理长度可以缩短 35 到 50 而不损失准确率,且模型在失败尝试上也会收敛 token 消耗,不再陷入漫长的无效挣扎。
三、数字对账:五个基准逐项看
这是全文最值得留存的表格(成本为每任务美元,相对 K3-max):
基准 样本数 K3-max Ember-1 得分差 成本
Terminal Bench 2.1 89 80.9 82.0 +1.1 -51.9% -23.1
SWE-bench Verified 500 93.2 92.2 -1.0 -68.1(绝对值)
SWE-Interact 75 21.3 20.0 -1.3 -60.8(绝对值)
DeepSWE 1.1 113 66.4 75.2 +8.8 -126.9(绝对值)
τ-2 Bench Airline 50 64 66 +2.0 -0.3(绝对值)
三个要点。第一,Terminal Bench 和 DeepSWE 上 Ember-1 直接反超 K3-max——特别是 DeepSWE 的 8.8 分提升,说明砍推理不仅省钱,在交互式长任务上甚至可能因为摆脱无效循环而涨分。第二,SWE-bench Verified 微降 1 分是「用一个百分点的分数换 68 美元每任务」的交易,值不值取决于你的业务。第三,K3-low 在所有基准上被严格支配(SWE-Interact 上 6.7 对 20.0 的差距触目惊心),「调低 effort」这条老路可以正式排除了。
在 Fireworks 与 Doximity 合作的 Bedside Bench(500 个经医生验证的临床案例)上,Ember-1 在成本质量曲线上建立了新的帕累托前沿,对比对象包括 GPT-5.6 Sol、GPT-6 Astra 和 Claude Opus 5——一个特化小模型在垂直基准上压过通用旗舰,这是特化路线最有说服力的注脚。
四、生产验证:两个 A/B 和一次「没有新闻」
基准之外,两段生产数据更实在。两家客户的生产编码负载 A/B 测试中,Ember-1 每任务 token 少约 35,任务完成率、成功分、失败率等下游指标持平或改善;其中一家已把 Ember-1 推上全量生产,计划完全替换基座模型。内部灰度的细节最能说明问题:Fireworks 把自家开发者的日常编码流量切到 Ember-1,结果「没有新闻」——没人注意到切换,token 账单却降了。对一个卖点是「完全一样、只是更便宜」的模型,无感上线就是最高级别的验证。
单次任务的细粒度数据:K3 得分 0.751、输出 49.3K token;Ember-1 得分 0.753、输出 29.9K token,推理 token 降 71.3,总 token 降 39。注意推理 token 的降幅(七成)远大于总降幅(四成)——答案本身的 token 没怎么动,砍的全是思考过程。
五、和其他省钱路线放在一张桌上比
把 Ember-1 放到当前的「推理降本」工具箱里对照,位置会更清楚。工程侧手段(更激进的 KV 缓存、投机解码、缓存读取折扣)只降低单位 token 的价格,不减少 token 数量,且对推理 token 的复利放大无能为力;提示词侧手段(要求模型简短思考、限制思考预算)接近 K3-low 的效果,实验已经证明会明显掉分;蒸馏小模型路线能省 token,但能力天花板同步下移,SWE-bench 90 分段的蒸馏模型目前并不存在。Ember-1 所代表的「在原模型基础上训练效率」是唯一同时保住能力分位与砍掉推理冗余的路线,代价是需要一次完整的训练工程。
对用户来说还有一个隐性收益容易被忽略:多轮 agent 任务的延迟与 token 数强相关。推理 token 少四成,意味着每轮生成时间显著缩短、上下文回放更短,长任务的端到端时延改善会大于单次请求的改善。对交互式编码助手这类用户实时等待的场景,省时间可能比省钱更有感。
六、结论:特化模型的路线图时刻
定价与规格:输入每百万 token 3 美元、输出 15 美元、缓存 0.3 美元、100 万上下文,与 K3 完全一致——也就是说切换成本几乎为零,收益直接来自 token 消耗的下降。目前是 Research Preview,Fireworks 同时公布了新策略:研究模型给两周 serverless 体验期,社区有需求就转常驻,并提供基于自有数据训练定制特化模型的企业服务。
我的评价:Ember-1 最重要的不是它省了多少钱,而是它验证了一个方法论——「推理效率」可以作为独立的训练目标,和「推理能力」解耦优化。过去一年行业在 reasoning 上卷的是想得多深,现在开始卷的是想得恰到好处。Fireworks 把这条路命名为 specialized intelligence,Ember 是系列的第一发。对每月推理账单六位数以上的 agent 团队,这个模型值得立刻评测;对整个行业,这是一份特化路线可行性的公开验证报告——通用旗舰不会因此过时,但「每个工作负载都值得一个特化模型」的叙事,从今天起有了第一组完整数据。