Tools

工具速评:System One Models 与 Jev,把智能做成类型化决策调用

5 min read ·

「模型已经超级会聊天好几年了,自动化在哪里?」——TypeSafe AI 创始人 Diogo Almeida 用这个问题开场。他曾参与构建让语言模型学会遵循指令与对话的方法,相关工作成为 ChatGPT 背后的研究基础。他的判断是:聊天模型很强,但缺了一块关键东西。

缺的那块,他认为是输出的类型。

一、主张:把智能做成函数调用

TypeSafe 在隐身两年后发布了第一类 System One Model,第一个公开模型叫 Jev,目前是早期访问。核心主张可以用项目方自己的一句话概括:

Jev 是一个前沿智能级别的函数调用:非结构化的状态输入,类型化的概率决策输出。

它明确放弃了字符串生成。换来的能力是:

  • 不可能有类型错误——所有可能的输出与结构在调用前由 schema 定义好;
  • 每个输出都附带校准过的置信度与不确定性分数;
  • 不能幻觉——因为它无法构造 schema 之外的东西。

代价也很直接:它不能写代码、不能写文档、不能做开放式对话。这不是一个更强的通用模型,是一个被换掉了输出空间的专用模型。

二、与现有 LLM 的对比

项目方给出的对照表,信息密度比宣传语高得多:

维度现有 LLMSystem One 与 Jev
优化方法RLHF / RLVRRLCD(面向校准决策的强化学习)
优化目标人类偏好、可验证奖励认识上诚实的概率
输入侧重顺序排列的消息结构化的程序状态
输出字符串(需解析与校验)类型化的结构化值
采样顺序,逐 token并行,一次查询产出全部输出
输入成本每百万 token 0.20 到 10 美元每百万 token 0.042 美元
输出成本约为输入的 5 倍不计费
端到端延迟3 到 329 秒70 到 500 毫秒

延迟那一行是整张表里最有冲击力的。它不是把同一个任务做得更快,而是换掉了任务的形态:不再需要生成一段文字再解析,而是直接产出决策。

三、评测方法值得单独看

那组「193.6 倍更快、444.6 倍更便宜」的数字来自一套自建的 workflow evals。方法设计得比常见做法讲究:

1. 假定存在一个正确的计算图(用代码写出的工作流)
2. 所有模型放进完全相同的工作流,不允许各自改 harness
3. 以最贵最强的外部模型的预测概率作为参考
4. 比较各模型输出与参考概率之间的差距

关键在于第 1 与第 2 步:它不优化某个标准答案的分类准确率,也不允许模型改自己的 harness。这一点很重要,因为如果允许改 harness,评测很容易变成 harness 工程能力的比拼而不是模型能力的比拼。

项目方也主动交代了几处偏差,这在产品发布里不常见:

  • 参考概率取的是两个特定前沿模型的平均,因此偏向 OpenAI 与 Anthropic;
  • 因此这一设定很可能低估了自家模型与 DeepSeek;
  • 工作流由自家能力团队构造,虽然不在训练分布内,但可能仍存在偏好;
  • 声称的倍数来自首页宣传,项目方判断「属于真实收益中偏高的一端」。

四、两个演示暴露了适用边界

Doom 演示:用结构化游戏状态作为输入的实时 bot,每秒约 10 次查询,成本约每小时 7 美元。这个数字之所以有意思,是因为它标出了实时 AI 应用的可行成本线——项目方的工程师原本担心 10 QPS 会太贵,结果低于预期。同时项目方也承认:非 AI 的 bot 能打得更好,他们想要的是「对不同状态表示作出反应且遵循指令」的 bot。

Wikiracing 演示:在维基百科页面间只靠链接跳转,每一步要在几百到几千个链接里选。这个任务测的不是「智能每秒」,而是高基数选择下不幻觉带来的复利收益——一次虚构的链接会让整条路径作废。项目方提到 Jev 支持的最高基数是 255,更高的基数走两阶段(先独立打分再显式选择),这也就是演示里偶发变慢的原因。

两个演示共同划出了它的主场:高频、结构化、单步决策、且错误代价高的场景。

五、该保留的怀疑

第一,评测是自建的,参考系也是自选的。项目方对偏差的披露很诚实,但诚实披露偏差不等于偏差被消除。193 倍与 444 倍应当在自家工作流上复核,而不是当作可迁移的数字。

第二,「不可能幻觉」是一个受限的真命题。它成立于「输出空间由 schema 完全定义」这个前提之下。一旦你的 schema 里有一个自由文本字段(比如「备注」),这个保证就不覆盖那个字段。实际使用时,把 schema 设计得足够窄是获得这个保证的前提,宽 schema 会把它稀释掉。

第三,类型安全与价格可持续性都没有长期证据。类型安全是构造性的,可信度高;但输出不计费这条定价策略,项目方自己也承认「需要长期来证明其可持续性」。在依赖它做容量规划之前,这一点应当计入风险。

第四,放弃字符串是硬约束。任何一个下游环节需要「让模型解释一下为什么这么判断」,在这个架构里都得不到——你能拿到的是概率分布,不是理由。需要理由的场景得另外找地方生成。

第五,早期访问 + 单一区域服务。项目方说明服务目前位于美国西海岸,其公布的延迟数字也是在那边测的。跨区域使用的实际延迟需要自己实测。

六、不选它也可能用得上的东西

即使不采用 Jev,这个项目里也有一个可以直接用的产出:项目方开源了一个把通用 LLM 约束成结构化决策输出的适配器(system-one-adapter-python),并说明用它来让 LLM 输出兼容的概率决策,是他们得到的「最准确的方式」,代价是比不输出概率更慢更贵。

这实际上是一份免费的对照工具:在同一套 schema 下同时跑你的现有模型与 Jev,比较准确率、成本与延迟。项目方发布的工作流示例、分歧案例与完整查询都是公开的,可以据此复现而不是只看结论。

结语

Jev 真正值得关注的不是那些倍数,而是它提出的一个分类问题:你现在跑的这个 LLM 调用,到底是一次「生成」还是一次「判断」?

如果答案是后者——分类、路由、打分、抽取、在写死的代码逻辑太脆的地方当一个模糊 if——那么这个世界里逐 token 生成字符串确实是一种昂贵的浪费,模型输出还得被解析和校验一遍。如果答案是前者,那它就不在你的候选列表里。

这个划界动作本身,比多一个模型选项更有价值。

Frequently asked questions

System One Model 这个命名指的是什么?
取自卡尼曼《思考,快与慢》里快直觉的系统一与慢推理的系统二的区分。TypeSafe 用它指代一类专门做快速结构化决策的模型,与做长链推理的模型区分开。公司由 Diogo Almeida 创立,他曾参与构建让语言模型学会遵循指令与对话的方法,相关工作成为 ChatGPT 背后的研究基础,此后在隐身状态下工作了两年。
它凭什么说自己「不可能幻觉」?
因为输出空间是被模式约束的。所有可能的输出及其结构在调用前就已由 schema 定义,模型在每个可选分支上给出概率分布,因此它无法生成 schema 之外的键或值,也就无法凭空构造一个不存在的字段。项目方强调这在构造上就是确定的,不需要经验测量,因此他们在类型安全相关的图上直接把错误率记为百分之零。
RLCD 与 RLHF、RLVR 的区别是什么?
RLHF 优化人类偏好,针对的是人评分员喜欢的文字;RLVR 优化可程序化验证的奖励,适合数学证明与内核优化这类 correctness 可廉价检验的任务;RLCD 优化的是校准过的决策,要求模型在看到答案时同时给出认识上诚实的概率。三者的训练信号来源不同,前两者产出字符串,第三者产出带置信度的类型化值。
那组「193 倍更快、444 倍更便宜」的数字怎么来的?
来自项目方自建的 workflow evals。方法是不以某个标准答案为准,而是假定存在一个正确的计算图即用代码写的工作流,把所有模型放进同一个工作流,再用最贵的几个外部模型的预测作为参考概率,比较各模型与参考之间的差距。项目方自己说明这个参考取的是两个特定前沿模型的平均,因此存在偏向,并判断这低估了自家模型和 DeepSeek 的表现。
什么情况下不该选它?
任何需要自由文本输出的任务都不适用,包括写代码、写文档、做开放式对话。它明确放弃了字符串生成能力,换来的是速度与类型安全,这两者不可兼得。此外长链推理、需要多步规划的任务也不是它的设计目标。项目方自己的定位是让它作为普通软件里的模糊判断规则使用,而不是替代通用模型。
// next.txt ›

Some outbound links in this post are affiliate links — see disclosure.