过去两年，开放权重模型的流行让 LLM 推理市场长出了一个新结构：同一个开源模型，几十家供应商各自部署对外售卖。客户端通常按两步做决策——先选模型，再按价目表挑一家便宜的供应商。9 月 29 日提交 arXiv 的论文《You Cannot Pick a Provider From the Price List: Market-Aware Routing for Open-Weight LLM Inference》（arXiv:2609.37902）用系统的实测数据证明：第二步完全是撞大运，而它恰恰是决定服务质量的那一步。
被忽略的第二个决策轴
现有 LLM 路由研究几乎全部聚焦在「选哪个模型」：按任务难度在大小模型间分配请求、按成本约束动态切换。这些工作共享一个隐含假设——同一个模型在任何供应商那里表现相同，供应商只是管道。论文作者对开放权重推理市场的实时端点做了多轮测量，覆盖多个开放模型、多家竞争供应商、多种任务类型和三个时间批次，结论推翻了这个假设。
同一模型在不同供应商之间的质量、延迟、可用性和价格差异剧烈，而且四个维度之间的相关性出人意料。唯一稳定的规律是：更贵的供应商一致地更快——溢价买到的确实是基础设施。但价格不预测质量，也不预测可用性。最反直觉的发现是任务选择性：论文记录了一个部署案例，该端点在知识类任务上表现几乎正常，在多步推理任务上却出现灾难性退化。这不是「差一点的 GPT」，而是「一半场景正常的假模型」——静态的评分卡根本无法刻画这种结构性畸变。
把供应商选择形式化成市场感知路由
论文把「同模型的供应商选择」定义为 price-taker 市场感知路由问题，并给出一个朴素的基线策略：measured-map——路由到「质量等价且健康」的供应商里最便宜的那家。这个策略基于实测地图运行，能在保证质量不降的前提下省钱，并避开已观测到退化的端点。对大多数团队，仅这一条原则就已经能改进现有的纯价格路由。
但实测地图会漂移：供应商会改硬件、换量化、调整服务配置，上周的测量本周可能作废。更麻烦的是，不同任务类型对供应商缺陷的敏感度完全不同，一张全局地图抹平了这种任务维度的异质性，按图索骥同样会踩坑。这就是论文的核心贡献 FACET（在线供应商路由器）要解决的问题。FACET 为每个供应商与任务类型的组合维护一个可行性认证（feasibility facet），认证过期的组合不参与放量；对未认证的供应商臂，流量先安全回退到锚点供应商，等认证完成再逐步迁移。这套机制本质上把灰度发布和健康检查的工程实践移植到了推理路由层——新端点先小额试探，拿到质量认证才接真实流量，任何时刻系统都知道哪条路是验证过的退路。
鲁棒性实验覆盖了放松后的部署假设：当任务分类器出错（把推理任务误标为知识任务）时，FACET 的损失可控；当健康反馈稀疏时，认证机制仍能维持下界。论文同时诚实地暴露了一条信任边界：如果质量评估依赖 LLM 评判，系统性评估器偏差会污染整个决策链，需要用带标准答案的探针或独立审计来校准。
实测验证：认证真的能省下真金白银
论文的收尾实验最贴近生产现实：在真实供应商上运行 FACET，认证机制成功把流量从溢价锚点端点迁移到「明显更便宜且通过质量认证」的替代端点。这证明市场感知路由不是实验室玩具——在一个供应商高度同质化竞争的市场里，质量等价前提下的价差是持续存在的套利空间，谁先建立测量与认证机制谁就能吃到。
对工程团队的启示可以归纳成三条。第一，聚合服务（OpenRouter 类）的用户不该只看价目表，同一模型名的不同后缀端点应被视为不同「产品」对待，按自己的任务类型实测后再选。第二，任何严肃的推理成本优化都必须内建测量与回退机制，静态选型在供应商随时变更部署的现实下是伪优化。第三，评估器本身需要被审计——用 LLM 评判 LLM 供应商，偏差会从评测层一路传导到路由层。
更大的图景：商品化市场的信息层
这篇论文的长期意义超出路由技术本身。开放权重模型正在把推理层推向彻底的商品化：模型相同、权重相同，供应商之间只剩基础设施与服务质量的竞争。在这样的市场里，价格本身失去信息量，「谁在服务、服务得怎么样」变成了需要主动测量才能获得的信息。FACET 展示的这个「测量、认证、放量、回退」循环，很可能成为下一代 LLM 网关产品的标准组件——就像 CDN 时代的健康检查与负载均衡一样，从可选优化变成默认架构。
模型层的竞争决定 token 的质量上限，市场层的竞争决定同样质量的 token 花多少钱。这篇论文是第一批认真对待后一个问题的系统性研究，值得每一个在成本曲线上挣扎的工程团队精读。