Tools

Cloudflare Clef 速评:开源决策模型登顶 Jev 榜,Clef-flash 中位延迟 38.8ms

6 min read ·

10 月 1 日 HN 的 400 分热帖属于 Cloudflare:继把 Jev 决策模型纳入自家产品体系后,他们直接开源了自己的决策模型 Clef 与 Clef-flash——Apache 2.0 协议,权重挂在 Hugging Face,托管在 Workers AI,还配了一条从流量采集到 RL 微调的完整产品线。这篇文章按惯例做一次速评:规格、基准、延迟、微调平台,最后给选型建议。

一句话定位

决策模型是这一年 Agent 基建里最实用的细分品类:不做生成,只做带概率的强类型判断——是非题、选择题、评分题。它活在 Agent 的热路径上:这条消息该不该升级人工、这张工单属于哪个队列、这个域名是不是恶意。Clef 的差异化 claim 很清晰:比 Jev 更准、更快、上下文更长、还带视觉。

规格速览

项目ClefClef-flash参考:Jev
基座(冻结)Qwen3.8-27BQwen3.5-9B未公开
微调方式rank-256 LoRA + 路由头联合优化同左未公开
上下文64k64k32k
视觉输入有有无
许可Apache 2.0Apache 2.0未开源

架构上两代模型同源:一次 prefill 后并行对全部合法 schema 选项打分,非自回归。训练用 label-smoothed 交叉熵加 Brier loss 做概率校准,再叠一层自研的 RLCD(面向校准决策的强化学习)。基座冻结只训 LoRA,这意味着显存门槛低,27B 版本单卡即可微调。

基准:十项拿六项,但不是全胜

Jev Decision Index 精选项目里,Clef 系拿六项最佳:BFCL case exact 98.47(Clef-flash 98.76 更高)、ToolRet nDCG@10 69.19、API-Bank 91.93、家电分类 Clef-flash 高达 97.73(Jev 仅 52.27)、BANKING77 94.20、CLINC150 97.43。Typesafe WorkflowEvals 四项工作流 Clef 赢三项。

但有三项没拿下,值得点名:When2Call(Jev 80.97 对 Clef 72.37)、BRIGHT(47.52 对 47.52 附近的 45.91)、PhishNChips 的 DiffusionGemma 变体(85.35)。也就是说「登顶」是均值意义上的,具体到你的判定维度,仍需用自己的数据复测——尤其 When2Call 这类「该不该调工具」的判断,Jev 仍领先 8 个点以上。

延迟:Clef-flash 是主角

43 项评测汇总的中位延迟:Clef 209.3ms、Clef-flash 38.8ms、Jev 524.1ms;p95 上 Clef-flash 122.4ms 全场最快。一个实际案例:Cloudflare 威胁情报团队用 Clef 加 Browser Run 做域名分类,抓取、渲染、分类全程 2.2 秒,最快的通用 LLM 做同样的事要 4.7 秒且只返回两个分类。注意评分里 Laya 中位延迟只有 5.8ms,但质量垫底——延迟榜永远要和质量榜一起看。

RL 微调平台:真正的护城河

开源权重本身不稀奇,稀奇的是配套的微调产品线,它把 Cloudflare 的存量设施拼成了一条完整链路:

AI Gateway(采集流量,自动构建数据集)
  -> Workers AI(对基座 Clef 生成 rollout)
  -> Containers(RL 沙箱,打分与重放 Agent 动作)
  -> Trainer(更新微调后权重)
  -> Workers AI + BYO Model(重新部署)

场景是 Trust & Safety 审核、Support 工单分类、爬虫善恶判定这类「牺牲通用性换领域准确率」的活。目前 FDE 团队人工协助先行,自助平台随后。对已经在 Cloudflare 上跑 Agent 流量的团队,这套东西的冷启动成本几乎为零——数据早就躺在 Gateway 里了。

怎么用

托管调用就是标准的 Workers AI 端点,请求里传待判断文本与强类型 schema,支持 noul(是非)、choice(多选一)、score(评分)三种字段,返回带概率的类型化结果:

POST /client/v4/accounts/<ACCOUNT_ID>/ai/run/@cf/cloudflare/clef
body: { "state": "...", "questions": [ ... ] }

本地跑则直接从 Hugging Face 拉权重。因为与 Jev API 兼容,存量 Jev 用户换模型名就能 A/B。

选型建议

三条决策线:已有 Jev 且被 32k 上下文卡住的,Clef 是零成本升级;追求极低延迟的在线判定,Clef-flash 的 38.8ms 中位延迟目前开源阵营没有对手;When2Call 类工具调用判断占大头,先复测再切,Jev 在这项仍领先。至于定价,公告未公布托管价格,预算敏感的团队建议直接本地化部署——Apache 2.0 允许你这么做。

训练管线里值得抄的三处

抛开模型本身,Cloudflare 公布的训练配方里有三处细节对自建决策系统的团队有直接参考价值。

第一,校准是一等公民。 训练目标里除了 label-smoothed 交叉熵,还叠加了 Brier loss 做概率校准,再以自研 RLCD 做二级优化。决策场景的特殊性在于下游动作直接消费概率:升级人工还是自动处理,阈值画在概率轴上。一个准确率高但过度自信的模型会把阈值调校变成玄学。把校准损失放进训练目标而不是事后做温度缩放,这个顺序值得照抄。

第二,冻结基座,只训 LoRA 与路由头。 rank-256 的低秩适配加一个联合优化的路由头,27B 基座全程冻结。这带来两个工程红利:灾难性遗忘的风险被结构性压低,判断能力不会在微调中丢失通用语言理解;同时单卡就能承载微调作业,领域团队不必排队等大集群。对想把开源决策模型改造成自家分类器的团队,这是成本最低的路径。

第三,用真实流量做 RL 数据。 RLCD 的奖励信号来自 AI Gateway 捕获的真实请求分布,而不是人工构造的合成集。这意味着模型见到的是带噪声、带长尾、带真实歧义的判定样本。合成数据训练的分类器上线后最常见的翻车原因就是分布失配,这条路从源头规避了它。

与「LLM 直接分类」方案的对比

很多团队今天的做法仍是用通用 LLM 加提示词做分类路由。放在一起比,决策模型的差异在四个维度同时拉开:

  • 延迟:中位 209.3ms 对通用 LLM 的 500ms 上下,Clef-flash 甚至压到 38.8ms——因为非自回归推理跳过了逐 token 生成;
  • 成本:输出只有几个 token 的概率分布,没有长文本生成成本;
  • 一致性:输出被 schema 强约束,不存在「模型今天用了另一种格式」的解析失败;
  • 可微调性:27B 规模单卡可训,通用大模型的微调门槛完全不在一个量级。

通用 LLM 的不可替代区在开放式判断——需要生成理由、处理 schema 覆盖不了的边角案例。合理的架构是把两者分层:决策模型守热路径,置信度低于阈值的流量再升级给通用 LLM。Cloudflare 自己的推荐用法正是如此。

迁移与试点 checklist

给准备试水的团队一份可执行清单:从 AI Gateway 导出最近一个月的真实判定流量,标注一千条作为评测集(这一步不可省,公开基准的强项未必是你的强项);用 When2Call 与自家复测结果交叉定位弱点维度;先在灰度流量上以 shadow 模式跑 Clef 与现有方案的并行对比,重点看 p95 延迟与低置信度率;确认收益后按「先 flash 后 27B」的顺序放量,把质量敏感的判定逐步切到 Clef。整套动作一周内可以走完,试错成本主要在标注。

Frequently asked questions

决策模型和普通 LLM 有什么本质区别?
决策模型不做开放式文本生成,只对给定的强类型选项打分:是非判断、多选一、评分。推理时一次 prefill 之后并行给所有合法选项打分,非自回归,不用逐 token 生成中间文本。因此延迟和成本远低于通用 LLM,输出的还带校准过的概率,适合放进 Agent 热路径做路由、分类、升级判断这类高频小决策。
Clef 与 Jev 是什么关系,能直接替换吗?
Clef 与 Typesafe AI 的 Jev 完全 API 兼容,请求格式一致,返回格式一致,官方定位就是可直接替换的竞品。迁移基本零改动,换一下模型名即可。差异点在 Clef 提供 64k 上下文(Jev 为 32k)且带视觉编码器可分类图像,这三点 Jev 目前都不支持。
Clef 和 Clef-flash 分别适合什么场景?
Clef 走精度路线:27B 基座,十项基准里 BANKING77、CLINC150、ToolRet 等六项最佳,适合质量敏感的工单分类、安全判定。Clef-flash 走延迟路线:9B 基座,中位延迟 38.8ms、p95 122.4ms,在 BFCL、API-Bank、家电分类三项反而超过 Clef,适合放在毫秒级敏感的在线链路。两者可以按流量比例混布。
RL 微调平台是怎么工作的,要准备什么数据?
平台把 Cloudflare 现有设施串成一条链:AI Gateway 捕获你的全部 AI 流量自动构建请求数据集,Workers AI 对基座 Clef 生成 rollout,Containers 跑 RL 沙箱给动作打分重放,Trainer 更新权重,最后经 Workers AI 重新部署。现阶段由 FDE 团队人工协助微调,自助平台随后推出。你主要需要定义好判断维度与奖励口径。
权重能本地跑吗,企业数据安全怎么保障?
权重以 Apache 2.0 协议开在 Hugging Face 上,可以下载后完全本地运行,不依赖 Cloudflare 托管。走托管 API 时企业客户的数据承诺是不读取、不存储、不用于训练,除非你主动使用微调产品。托管定价未在公告中公布,需查 Workers AI 价格页。
// next.txt ›

Some outbound links in this post are affiliate links — see disclosure.