Tools

工具速评:Step 5 Preview 的「帕累托前沿」宣称站得住吗——把评测数字一张张摊开看

6 min read ·

阶跃星辰发布的 Step 5 Preview,定位是「面向真实世界 Agentic 任务的旗舰基座模型」。规格上,它采用稀疏 MoE 架构,总参数量 600B,每个 token 激活 27B,支持 1M token 上下文窗口和视觉输入。

这套配置的关键在激活比例:27B 除以 600B 大约是 4.5% 的稀疏度,意味着单次推理的算力开销远小于 600B 这个数字所暗示的量级,而模型容量仍然处在 600B 档位。这正是它能同时往「智能水平」和「任务成本」两条线上走的物理基础。

官方给出的目标是「推动帕累托前沿」——帕累托前沿不等于所有指标都第一,而是在智能与成本的权衡平面上,无法在不牺牲另一项的前提下改进其中一项。它给出的人工智能分析智能指数是 44 分,并强调在相近智能水平下任务成本明显更低。所以评估它的正确方式,是把「单位任务成本对应多少智能」当作主指标。

下面把它公布的九个基准逐行摊开,对照表里的对手统一取各家 Max 档,Step 5 Preview 取 High 档。

一、软件工程与 Coding:逼近第一梯队,但没翻过去

基准Step 5 PreviewGLM-5.3Kimi K3GPT-6 AstraClaude Opus 5
DeepSWE v1.167.766.967.574.174.0
StepCodeBench49.040.243.961.063.9
ProgramBench80.572.077.885.482.3
Terminal-Bench v433.341.912.657.952.3

读这张表要点出三件事。

第一,DeepSWE v1.1 上它已经贴住了第二梯队的天花板。67.7 对 Kimi K3 的 67.5、GLM-5.3 的 66.9,差距在噪声范围内;但离 GPT-6 Astra 的 74.1 和 Claude Opus 5 的 74.0 还有 6 分多的落差。

第二,ProgramBench 是它表现最均衡的一项。80.5 排在 Claude Opus 5 的 82.3 之后但高于 GLM-5.3 的 72.0,说明在「能不能交付一个可运行程序」这类端到端任务上,它的稳定性不错。

第三,Terminal-Bench v4 是明显短板。33.3 对比 GLM-5.3 的 41.9 和 GPT-6 Astra 的 57.9,差距不是一点。终端操作要求模型在无图形界面下持续做对一连串小决策,这恰好考验长程一致性和对失败反馈的处理,而官方也承认,在最具挑战、运行时间更长的任务上还有提升空间。

值得一提的是 StepCodeBench 这个自研基准的构建方式:覆盖 553 个独立代码仓库、9 类任务(功能修改、Bug 修复、重构、文档生成、性能调优、CI/CD 运维等)、20 个应用领域和 33 种编程语言,评测设计参考了产业需求与专家工作流轨迹,指标是 avg@4。它在其中拿到 49.0,官方称在低、中等难度任务上结果接近 Claude Opus 5。自研基准天然对自己有利,把这条当作参考而非定论更稳妥。

二、金融:真正反超的一项

基准Step 5 PreviewGLM-5.3Kimi K3GPT-6 AstraClaude Opus 5
FrontierFinance66.464.162.655.069.7
DRACO83.382.378.576.887.6
GDPval-AA v215711634154815801735
ALE-CLI29.528.627.633.328.6

FrontierFinance 上 66.4 反超 GPT-6 Astra 的 55.0,这是整张表里最有说服力的一处「以小博大」。该基准覆盖 6 类投资场景、220 道专家设计的问题和 11,543 项评估标准,用细粒度 rubric 打分,专门考察复杂金融回答的质量。

官方还给了三项自研金融评测,考察点很具体:实时信息检索能否随需求变化检索并验证及时可靠的来源、企业估值能否把数据和合理假设转成内部一致的预测并复现、完整研究流程能否产出有充分依据的报告。三项都强调来源可追溯、假设明确、关键计算可复现——这正好是金融分析区别于普通问答的地方,也是模型最容易含糊过去的环节。

通用 Agent 上它表现中规中矩:GDPval-AA v2 拿到 1571,落在 GLM-5.3 的 1634 与 Claude Opus 5 的 1735 之间;ALE-CLI 29.5 略高于 GLM-5.3 与 Claude Opus 5,仍低于 GPT-6 Astra。

三、长程执行:三个值得看的案例

长任务真正难的,不是「跑得久」,而是模型能不能持续记住前面的结果、理解新反馈,并据此判断下一步。官方给的三个案例各有侧重。

GPU Kernel 优化:给模型 24 小时,在单张 H100 上从零优化一个 MLA Kernel(Head Dimension 512、Batch Size 1、64 Heads、8,192 Tokens)。模型自行实现、运行、再根据吞吐结果继续修改,遇到跑通但不如当前最佳的版本就放弃。每个模型独立跑 4 次取最优,Step 5 Preview 在约 22 小时后达到前向与反向合计 508 TFLOPS,是本次对比中的最高结果。

后训练数据流程自动化:同样 24 小时,要求它通过自动化后训练提升一个 Qwen3-30B-A3B 基础模型在 AIME24 上的表现。模型可以调用接入生产数据的标注器 API 并自行决定如何使用。最终在 AIME24 官方测试集上达到 60%,相比后训练前的 53.3% 有明显提升,官方称与 Claude Opus 5 持平但消耗的标注 token 更少。

Pokémon Red:这个案例和写代码无关,考验的是持续推进一个很远的目标。在未做任何专项优化的情况下,它已持续完成 3000 个以上回合,累计交互接近 600 万 token,截至公布时解锁了「居合斩」并在第 3,082 步击败枯叶道馆馆主马志士,拿到第三枚徽章,主线进度约三分之一。人类完成主线通常约需 26 小时。

四、可用性与选型建议

Step 5 Preview 现已可通过其产品与 API 使用,模型将于 10 月 15 日正式开源。这意味着现阶段你只能走 API 通道,自建部署和本地微调都还排不上。

选型上给三条具体建议。如果你的场景集中在金融分析、专业文档交付、需要人工复核的结构化产物(比如那份 17 个 Sheet、数据与结论可追溯的分析工作簿),它是当前值得优先试的选项,这一块它的数字确实硬。如果核心负载是终端自动化、CI/CD 运维或长时间无人值守的编码任务,先别急,Terminal-Bench v4 上的 33.3 说明这里有实质差距。如果是在成本敏感的高并发场景下替换现有模型,那它主打的效率叙事值得单独压测——但请用你自己的任务集测,而不是拿公开榜单换算。

最后提醒一句读榜的纪律:标了内部自研符号的项目要打折看,不同评测设置下的数字不能横向比,对手取 Max 档而它取 High 档的错位则意味着某些差距可能被高估。把这些前提记住,这张表才是有用的。

Frequently asked questions

Step 5 Preview 的规格在同类模型里算什么水平?
稀疏 MoE,总参数 600B,每个 token 激活 27B,支持 1M token 上下文窗口并接受视觉输入。这个配置的关键在于激活比例——约 4.5% 的稀疏度意味着单次推理的算力开销远小于总参数量所暗示的量级,而容量仍然在 600B 这个档位上,这正是它能同时打「智能水平」和「任务成本」两条线的物理基础。对自建部署来说,600B 的显存需求依然很高,真正容易落地的是它的 API 形态。
「帕累托前沿」这个说法在评测里怎么理解才准确?
帕累托前沿的意思不是「所有指标都最好」,而是「在智能与成本的权衡平面上,你无法在不牺牲另一项的前提下改进其中一项」。Step 5 Preview 给出的人工智能分析智能指数是 44 分,同时声称在相近智能水平下任务成本明显更低,这才是它的主张——不是绝对性能领先,而是单位成本上的效率。所以评估它的正确方式是把「每单位任务成本对应多少智能」当作主指标,而不是只看某一张榜单的第一名。
看它公布的分数时,最容易踩的坑是什么?
有三个。第一,标了内部自研符号的基准(StepCodeBench 及其两个变体、三项 FinStepBench)是自己设计的,指标体系天然对自己有利,应作为参考而非定论。第二,不同评测设置的数字不能横向比——官方明确说明 HLE w/ tools 一项里自家与 GLM-5.3 只跑了纯文本子集,其余模型跑的是完整数据集。第三,对手普遍取 Max 档而 Step 5 Preview 取 High 档,这意味着在某些项目上它其实是「以次档打对方顶配」,反而说明差距可能被高估。
它在哪些场景值得优先考虑?
金融与专业工作是最明确的方向。FrontierFinance 上拿到 66.4,反超 GPT-6 Astra 的 55.0;三项自研金融评测覆盖实时信息检索、企业估值和完整研究流程,强调的是来源可追溯、假设明确、计算可复现,这正是金融分析区别于普通问答的地方。此外结构化交付物能力值得一提:官方案例里有一份 17 个 Sheet 的分析工作簿,数据、公式与结论之间的追溯关系被完整保留,适合需要人工复核的采购与合同场景。
目前哪些方面还不够成熟?
终端操作与长程软件工程是两块短板。Terminal-Bench v4 只有 33.3,明显低于 GLM-5.3 的 41.9 和 GPT-6 Astra 的 57.9;StepCodeBench 的 49.0 也落后 Claude Opus 5 的 63.9 一截。官方自己也承认,在最具挑战、运行时间更长的任务上还有提升空间。另外它现在只是预览版,权重要到 10 月 15 日才正式开源,现阶段能拿到的是产品与 API 通道,自建部署和本地微调都还排不上。
// next.txt ›

Some outbound links in this post are affiliate links — see disclosure.