10 月 1 日 HN 的 400 分热帖属于 Cloudflare:继把 Jev 决策模型纳入自家产品体系后,他们直接开源了自己的决策模型 Clef 与 Clef-flash——Apache 2.0 协议,权重挂在 Hugging Face,托管在 Workers AI,还配了一条从流量采集到 RL 微调的完整产品线。这篇文章按惯例做一次速评:规格、基准、延迟、微调平台,最后给选型建议。
一句话定位
决策模型是这一年 Agent 基建里最实用的细分品类:不做生成,只做带概率的强类型判断——是非题、选择题、评分题。它活在 Agent 的热路径上:这条消息该不该升级人工、这张工单属于哪个队列、这个域名是不是恶意。Clef 的差异化 claim 很清晰:比 Jev 更准、更快、上下文更长、还带视觉。
规格速览
| 项目 | Clef | Clef-flash | 参考:Jev |
|---|---|---|---|
| 基座(冻结) | Qwen3.8-27B | Qwen3.5-9B | 未公开 |
| 微调方式 | rank-256 LoRA + 路由头联合优化 | 同左 | 未公开 |
| 上下文 | 64k | 64k | 32k |
| 视觉输入 | 有 | 有 | 无 |
| 许可 | Apache 2.0 | Apache 2.0 | 未开源 |
架构上两代模型同源:一次 prefill 后并行对全部合法 schema 选项打分,非自回归。训练用 label-smoothed 交叉熵加 Brier loss 做概率校准,再叠一层自研的 RLCD(面向校准决策的强化学习)。基座冻结只训 LoRA,这意味着显存门槛低,27B 版本单卡即可微调。
基准:十项拿六项,但不是全胜
Jev Decision Index 精选项目里,Clef 系拿六项最佳:BFCL case exact 98.47(Clef-flash 98.76 更高)、ToolRet nDCG@10 69.19、API-Bank 91.93、家电分类 Clef-flash 高达 97.73(Jev 仅 52.27)、BANKING77 94.20、CLINC150 97.43。Typesafe WorkflowEvals 四项工作流 Clef 赢三项。
但有三项没拿下,值得点名:When2Call(Jev 80.97 对 Clef 72.37)、BRIGHT(47.52 对 47.52 附近的 45.91)、PhishNChips 的 DiffusionGemma 变体(85.35)。也就是说「登顶」是均值意义上的,具体到你的判定维度,仍需用自己的数据复测——尤其 When2Call 这类「该不该调工具」的判断,Jev 仍领先 8 个点以上。
延迟:Clef-flash 是主角
43 项评测汇总的中位延迟:Clef 209.3ms、Clef-flash 38.8ms、Jev 524.1ms;p95 上 Clef-flash 122.4ms 全场最快。一个实际案例:Cloudflare 威胁情报团队用 Clef 加 Browser Run 做域名分类,抓取、渲染、分类全程 2.2 秒,最快的通用 LLM 做同样的事要 4.7 秒且只返回两个分类。注意评分里 Laya 中位延迟只有 5.8ms,但质量垫底——延迟榜永远要和质量榜一起看。
RL 微调平台:真正的护城河
开源权重本身不稀奇,稀奇的是配套的微调产品线,它把 Cloudflare 的存量设施拼成了一条完整链路:
AI Gateway(采集流量,自动构建数据集)
-> Workers AI(对基座 Clef 生成 rollout)
-> Containers(RL 沙箱,打分与重放 Agent 动作)
-> Trainer(更新微调后权重)
-> Workers AI + BYO Model(重新部署)
场景是 Trust & Safety 审核、Support 工单分类、爬虫善恶判定这类「牺牲通用性换领域准确率」的活。目前 FDE 团队人工协助先行,自助平台随后。对已经在 Cloudflare 上跑 Agent 流量的团队,这套东西的冷启动成本几乎为零——数据早就躺在 Gateway 里了。
怎么用
托管调用就是标准的 Workers AI 端点,请求里传待判断文本与强类型 schema,支持 noul(是非)、choice(多选一)、score(评分)三种字段,返回带概率的类型化结果:
POST /client/v4/accounts/<ACCOUNT_ID>/ai/run/@cf/cloudflare/clef
body: { "state": "...", "questions": [ ... ] }
本地跑则直接从 Hugging Face 拉权重。因为与 Jev API 兼容,存量 Jev 用户换模型名就能 A/B。
选型建议
三条决策线:已有 Jev 且被 32k 上下文卡住的,Clef 是零成本升级;追求极低延迟的在线判定,Clef-flash 的 38.8ms 中位延迟目前开源阵营没有对手;When2Call 类工具调用判断占大头,先复测再切,Jev 在这项仍领先。至于定价,公告未公布托管价格,预算敏感的团队建议直接本地化部署——Apache 2.0 允许你这么做。
训练管线里值得抄的三处
抛开模型本身,Cloudflare 公布的训练配方里有三处细节对自建决策系统的团队有直接参考价值。
第一,校准是一等公民。 训练目标里除了 label-smoothed 交叉熵,还叠加了 Brier loss 做概率校准,再以自研 RLCD 做二级优化。决策场景的特殊性在于下游动作直接消费概率:升级人工还是自动处理,阈值画在概率轴上。一个准确率高但过度自信的模型会把阈值调校变成玄学。把校准损失放进训练目标而不是事后做温度缩放,这个顺序值得照抄。
第二,冻结基座,只训 LoRA 与路由头。 rank-256 的低秩适配加一个联合优化的路由头,27B 基座全程冻结。这带来两个工程红利:灾难性遗忘的风险被结构性压低,判断能力不会在微调中丢失通用语言理解;同时单卡就能承载微调作业,领域团队不必排队等大集群。对想把开源决策模型改造成自家分类器的团队,这是成本最低的路径。
第三,用真实流量做 RL 数据。 RLCD 的奖励信号来自 AI Gateway 捕获的真实请求分布,而不是人工构造的合成集。这意味着模型见到的是带噪声、带长尾、带真实歧义的判定样本。合成数据训练的分类器上线后最常见的翻车原因就是分布失配,这条路从源头规避了它。
与「LLM 直接分类」方案的对比
很多团队今天的做法仍是用通用 LLM 加提示词做分类路由。放在一起比,决策模型的差异在四个维度同时拉开:
- 延迟:中位 209.3ms 对通用 LLM 的 500ms 上下,Clef-flash 甚至压到 38.8ms——因为非自回归推理跳过了逐 token 生成;
- 成本:输出只有几个 token 的概率分布,没有长文本生成成本;
- 一致性:输出被 schema 强约束,不存在「模型今天用了另一种格式」的解析失败;
- 可微调性:27B 规模单卡可训,通用大模型的微调门槛完全不在一个量级。
通用 LLM 的不可替代区在开放式判断——需要生成理由、处理 schema 覆盖不了的边角案例。合理的架构是把两者分层:决策模型守热路径,置信度低于阈值的流量再升级给通用 LLM。Cloudflare 自己的推荐用法正是如此。
迁移与试点 checklist
给准备试水的团队一份可执行清单:从 AI Gateway 导出最近一个月的真实判定流量,标注一千条作为评测集(这一步不可省,公开基准的强项未必是你的强项);用 When2Call 与自家复测结果交叉定位弱点维度;先在灰度流量上以 shadow 模式跑 Clef 与现有方案的并行对比,重点看 p95 延迟与低置信度率;确认收益后按「先 flash 后 27B」的顺序放量,把质量敏感的判定逐步切到 Clef。整套动作一周内可以走完,试错成本主要在标注。