模型路由是过去两年推理服务里最实惠的省钱术：简单的请求交给小模型，困难的交给大模型，成本-质量的前沿就被推进了一截。ChatGPT 和 Cursor 的难度分流、开源的 RouteLLM，都是查询级路由的产物。但算法研究早已走到更细的粒度——token 级路由：在同一条响应的解码过程中，逐 token 决定由谁接手。清华与 CMU 在 10 月 8 日挂出的系统论文 TokenRouter（arXiv 2610.12242）回答的问题是：这些漂亮的算法为什么一直跑不快，以及怎么让它们真正落地。
一、算法很美，系统跟不上
token 级路由的吸引力有硬数据支撑。论文引用的 R2R 算法：只用 1.5B 小模型解码，遇到难的 token 才把 5% 的 token 路由给 32B 大模型，最终质量与全程 32B 相当——而查询级路由要把约 40% 的请求整体交给大模型才能达到同等质量。质量侧还有红利：不同专长的模型可以在一条响应里协作，超过任何单模型的水平，且成本-质量的权衡从几个离散档位变成连续可调。
但现有服务系统全部建立在单模型假设上：vLLM、SGLang 的连续批处理要求所有活跃请求在每一步同步推进。token 级路由打破了这一切，产生三个系统性障碍。步调失同步：不同模型每步延迟差异巨大，单一批次被迫等最慢的模型，快的模型大片空转。批次准入延迟：路由导致请求频繁换模型，请求到达目标模型时常撞上它正在处理前一批次，只能等待下一个批次，批次被切成碎片。实现复杂度：现有系统没有暴露逐步路由的编程接口，硬要在其中实现，得深改连续批处理、前缀缓存这些紧耦合的核心模块。
二、架构：请求为中心编程，模型为中心执行
TokenRouter 的设计哲学一句话可以说完：开发者描述一条请求的旅程，系统负责一群模型的高效协作。
编程侧暴露的是 route、send、receive 三个原语：route 决定何时切换到哪个模型，send 定义切换时传什么状态，receive 决定如何接受目标模型返回的 token 或分布。五花八门的 token 级路由算法——不管基于训练的路由器、置信度信号还是熵启发——共享同一个执行生命周期「选模型、传状态、收结果」，三个原语恰好覆盖。开发者像写单请求逻辑一样描述路由，完全不用碰并发。
执行侧，运行时为每个 LLM 启动一个自治的子服务器（subserver），内部跑三个解耦循环：客户端-服务循环管请求接入，解码循环管本模型的连续批处理与前缀缓存，跨模型循环管请求在模型间的交接。步调失同步由此消解——每个模型按自己的节奏满负荷跑自己的批次；模型切换由交接-恢复（handoff-resume）机制封装。对客户端，TokenRouter 只暴露一个外部接口，可以当普通单模型服务器的即插即用替代品。
三、延迟批处理：把数学用在调度上
批次准入延迟的解法是延迟批处理调度器：新请求到达时不急于塞进当前批次，而是按吞吐量数学模型推导出的最优超参数适度等待、攒批入队。论文明确给出该调度器的最优超参数推导，而不是靠网格搜索——这种「先建模再调参」的风格贯穿全篇，也是系统论文里少见的高贵品质。直觉上，延迟批处理在「批次大小」与「准入等待」之间找了解析最优解：批次越大单步效率越高，但等待时间吞掉延迟预算；有了吞吐量模型，这个权衡从拍脑袋变成解方程，且随负载变化可以在线重算。
三个机制合起来，正好逐一对症前面三个障碍：三循环解耦治步调失同步，子服务器自治治批次碎片，延迟批处理治准入延迟，route-send-receive 接口治实现复杂度。架构与问题之间的一一对应关系，是这篇论文读起来最舒畅的部分。
四、结果：2.01 到 64.15 倍
实验横跨不同路由算法、工作负载与模型对。总体结论：相比现有实现，解码吞吐量提升 2.01 至 64.15 倍。拆解一个代表性数据点：并发 8 时，纯工程优化贡献 1.71 倍，完整系统对 R2R 官方实现达到 2.76 倍；在更严格的延迟 SLO 下，差距拉大到 18.58 倍——SLO 越紧，调度质量越值钱。代码开在 GitHub 的 thu-nics/TokenRouter 仓库。
五、工程意义：把算法红利兑现成部署红利
这篇论文的位置很微妙：它不发明路由算法，而是给所有路由算法修高速公路。之前 token 级路由的论文数字都建立在「假设系统能高效执行」的前提上，实践中研究者只能用粗糙的自研实现跑实验，部署更是无从谈起。TokenRouter 把执行成本一次性打掉，等于宣布：token 级路由的算法红利现在可以兑现了。
对三类读者意义各异。自建推理服务的团队：开源代码可直接试，大小模型混合编队的成本曲线值得重算；用托管 API 的团队：它预示了下一代路由服务的形态——按 token 动态混合，而非按请求选档；做推理基础设施的同行：三个解耦循环与延迟批处理是可迁移的调度原语，与具体路由算法无关。
局限也照例说清：论文评估集中在学术工作负载与中小规模模型对，超大规模集群、异构硬件上的表现待验证；延迟批处理在低并发、强实时场景的收益会缩水。但方向已足够清晰——路由粒度每细化一层，就有一层系统债要还，TokenRouter 还掉了 token 这一层，下一步轮到谁？