10 月 4 日，一条 Show HN 风格的帖子在 Hacker News 上冲到 568 分：「在消费级硬件上跑 Qwen 3.8 Flash Next（125B），在 RTX 4090 上跑到每秒 100 token」。背后的项目叫 Strata，仓库创建于 9 月 24 日，到发稿时已经有超过一万一千 star，README 提供了包括简体中文在内的七种语言。它解决的问题非常具体：Qwen3.8-Flash-Next 是一个 125B 参数的模型，官方权重通常需要在服务器上跑，而 Strata 声称一张 12GB 显存的游戏卡就能把它跑起来，而且生成速度达到「比人阅读还快」的水平。
这不是又一个量化格式的搬运工。读完 README 和社区实测之后，我认为 Strata 值得写一篇完整的实战，因为它把「大模型塞进小显存」这件事从头到尾做成了产品：自动选档、自动安装、自动暴露 API，你甚至可以让你的编程助手替你完成整个过程。
Strata 到底做了什么
Strata 的核心是一个 C++ 写的推理引擎，专门针对 Qwen3.8-Flash-Next 这一个模型做了深度优化。它的工作原理可以概括成三句话：
第一，按显存预算切量化档位。同一个模型被预处理成多个不同压缩率的版本，从最激进的 Q2_0 到接近四比特的 IQ3_S，还有一个专门为代码任务准备的 Coder 档。档位越低，占用的显存和内存越少，速度越快，智能水平略降。
第二，显存放热点权重，内存和 SSD 做后备。12GB 显存当然装不下 125B 的全部参数，Strata 把当前层的权重常驻显存，其余部分放在内存里按需换入，SSD 做第三级缓存。这也是为什么它对内存的要求（32GB 起步，推荐 64GB）比显存更苛刻——真正的瓶颈在内存带宽和容量。
第三，暴露标准 API，对上层透明。引擎启动后在 8080 端口提供 OpenAI 和 Anthropic 兼容的接口，任何支持自定义模型地址的工具都能直接连上来，连图片输入都是可选开启的。
性能数据先看清楚
官方在两台普通游戏 PC 上测了数据。RTX 5070（12GB 显存）搭配 64GB 内存时：
量化档位 生成速度 预填充速度（32K 提示）
Q2_0 94 token/s 2650 token/s
IQ2_XS 79 token/s 2090 token/s
IQ3_XXS 62 token/s 1750 token/s
IQ3_S 53 token/s 1620 token/s
Coder 55 token/s 2180 token/sAMD 阵营的 RX 9070 XT（16GB）能跑到 Q2_0 下每秒 60 token 生成、1160 token 预填充。官方估计 24GB 的 RTX 3090 能到每秒 100 到 140 token。预填充速度是这里最亮眼的数字：32K token 的文档十几秒读完，这对长上下文的本地工作流来说是质变级别的体验。
社区数据更激进。Reddit 上有 4090 用户报告自己 50 到 60 token 每秒起步（后来发现只动用了一张卡），有 5090 用户晒出了单卡 200 token 每秒的演示视频，还有人实测「Strata 读 32K 上下文的速度达到 1500 token 每秒，同一个量化在原版 llama.cpp 上只有 100 token 每秒」。当然，也有用户反馈多卡场景下负载均衡还有粗糙的地方——四张 4090 只用上一张这种事，社区里不止一例。
十分钟装好它
安装路径有两条，我建议你都了解。
路径一：让 AI 替你装。 README 里直接给了一段可以粘给 Claude Code、Cursor 或 Codex 的提示词，指向仓库里的 AI_SETUP.md。助手会检查你的显卡、内存和磁盘，挑一个匹配的量化档位，下载模型并启动服务，最后告诉你怎么把其他应用接上来。这个「用 AI 装 AI」的闭环本身就是 Strata 的卖点之一——它内置了一个 MCP 服务器，编程助手可以通过 MCP 直接控制 Strata 的启停。
路径二：自己动手。 从 GitHub 拉下仓库后，Windows 双击 START-HERE.bat，Linux 执行 ./setup.sh。安装器会依次问你三个问题：
1. 选哪个模型档位？（回车取推荐值）
2. 要多大上下文窗口？
3. 是否需要图片输入？然后下载约 70GB 的模型文件并启动。有几个坑要提前知道：首次启动时机器会卡顿一到三分钟，因为要把 35 到 55GB 数据载入内存并锁定一部分给显卡，窗口会显示进度，千万别手贱关掉；下载中断了就重跑安装器，它会断点续传；磁盘要留够 80GB，SSD 明显更快。
档位怎么选：一张内存对照表
Strata 的档位选择逻辑主要看内存而不是显存，官方给的推荐是：
| 你的内存 | 推荐档位 | 说明 |
|---|---|---|
| 32GB | Coder | 唯一能塞进 32GB 的档，专为代码任务调优 |
| 48GB | IQ2_XS | 更大档位装不下，Q2_0 是速度最快的选择 |
| 64GB | IQ2_XS 或 IQ3_S | 全档位可跑，IQ3_S 最聪明也最慢 |
| 96GB 以上 | IQ3_S 或四比特 | 还有余量开图片输入和其他应用 |
我的建议是：如果主要拿来写代码，Coder 档在 32GB 内存机器上的性价比无敌；如果内存 64GB 起步且愿意为质量付出约四成的速度代价，直接上 IQ3_S。多卡用户记得看仓库里的 MULTI_GPU.md，两张卡分摊模型能同时提速和扩上下文。
接进你的工作流
Strata 启动后就是一个标准的本机 API 服务。以最常见的场景为例，把编程助手的模型地址指向 http://127.0.0.1:8080，选择模型名，就可以把 Claude Code 风格的 agent 工作流整个搬到本地。所有代码和上下文都不离开你的机器，这对企业内网和数据敏感场景是实打实的需求。
官方 README 里那个演示很能说明问题：一段提示词生成的体素宝塔花园动画，直接跑在 RTX 5070 的 IQ3_S 档、128K 上下文下。这类「一次成型、无需返工」的生成质量，放在一年前的本地模型上不可想象。
和 llama.cpp 手动方案比，值得换吗
如果你已经有一套调好的 llama.cpp 流程，迁移 Strata 的收益主要在三处：一是预填充速度，社区实测的差距在数倍量级，长文档场景体感明显；二是免调参，档位、上下文、显存分配全自动；三是 API 层兼容 Anthropic 协议，接 agent 工具更省事。代价是它目前只深度支持 Qwen3.8-Flash-Next 这一个模型，想跑别的还得回 llama.cpp。另外多卡负载均衡还年轻，多卡用户建议先小规模验证再上生产。
一年前我们还在讨论「本地能不能跑 70B」，现在一张游戏卡能把 125B 跑出服务器级的交互速度。Strata 不是这个趋势的终点，但它把工程门槛砍到了双击安装的水平——这才是它四天一万 star 的真正原因。