本地 Agent 这件事,过去一年真正的瓶颈从来不是模型能力,而是上手摩擦。想在本机跑一个能干活的 Agent,你得挑模型、找兼容的推理服务器、调量化参数、处理各种显存不足的报错,最后还要手动维持三者之间的版本兼容。很多人就是在第三步放弃的。
NVIDIA 在 IFA 2026 上联合微软和几个合作方,动的主要就是这一层。
一、三个应用,同一套底座
官方这次给出的方案是:三款使用最广的 Agent 应用,都在 Windows 上提供简化的本地模型设置。它们的共同点是底层都基于 llama.cpp,并集成了 NVIDIA 最新的推理优化,差别在定位。
| 应用 | 定位 | 平台 | 门槛 |
|---|---|---|---|
| Hermes Agent | 通用型,模型与供应商无关,长时间运行 | Windows(Linux 稍后) | RTX / RTX PRO / DGX Spark |
| OpenClaw | 开源 Agent 生态,Windows App 降低上手摩擦 | Windows | RTX GPU,至少 24GB 显存 |
| Perplexity Portable Computer | 任务型,本地优先 + 按需云端升级 | 先在 Linux,Windows 稍后 | RTX GPU,至少 24GB 显存 |
Hermes Agent 由 Nous Research 开发,定位是长时间运行的通用 Agent。它的差异化在于自我改进——使用工具、跨任务维持上下文、跨会话记住信息、并逐步生成可复用的技能。一键设置的逻辑是:自动检测 GPU、自动选模型与配置、直接通过集成的 llama.cpp 跑起来,全程不需要手动下载和调参。官方说 Linux 支持随后跟上。
OpenClaw 是开源 Agent 社区里规模最大的项目,官方给出的数字是超过 38 万星标。它的 Windows App 目标很明确:把「在任意 24GB 以上显存的 RTX GPU 上建立一个优化过的本地模型」这件事变成一个安装流程。
Perplexity Portable Computer 的设计最有意思,因为它明确做了一个折中:本地跑完整工作流不消耗额度,同时可以选择性地把任务的一部分升级到 15 个以上的云端前沿模型。关键在于升级之前会请求许可,这样敏感信息默认留在设备上。官方给的用例里,财务场景那个例子很能说明它的定位——把两年的券商对账单、合并后的税务表和报税单交给 Agent,让它找出产生最多可避免费用和税务拖累的持仓,每个数字都引用到具体文件和页码,而整份文档从未离开本机。
二、性能:这次涨在哪里
推理性能的提升是配套的,否则一键设置只是把慢变简单。
| 运行时 | 平台 | 提升 |
|---|---|---|
| llama.cpp | GeForce RTX 5090 | 最高 1.9 倍吞吐 |
| vLLM | RTX PRO 6000 Blackwell 工作站版 | 1.2 倍 |
| vLLM | 双 DGX Spark 集群 | 最高 1.4 倍 |
具体手段是内核优化、改进的投机解码,以及更快的 prefill。vLLM 那侧则靠 FlashInfer 里新的 XQA attention 内核和一批后端优化。这些收益同时出现在直接使用和通过 LM Studio、Ollama 使用时。
这里值得多说一句:1.9 倍这个数字来自吞吐而不是延迟。对 Agent 场景来说这是对的方向,因为 Agent 的典型负载是多轮工具调用加并发子任务,吞吐决定你能同时跑多少个 subagent,而不是单次响应快多少毫秒。
三、本地模型的可用清单
配套发布的模型值得列一下,因为它决定了你买 24GB 还是 128GB。
- Nemotron 3.5 Lightning:300 亿参数,可跑在 RTX PC、RTX PRO 工作站、DGX Spark 与 Jetson 上
- Qwen3.8-Flash-Next:开放权重多模态 MoE,可跑在 DGX Spark 与 DGX Station;同系列的 Qwen3.8-27B 面向本地 Agent 与编码
- Meta Muse Glimmer:300 亿参数开放权重,面向编码与 Agent 负载,覆盖 GeForce RTX PC 到 Jetson
- DeepSeek v4 Flash:2840 亿参数 MoE、激活 130 亿,需要双 DGX Spark 集群或 DGX Station
- GLM-5.3-Flash(Z.ai):多模态 MoE,面向 DGX Station
- 视频方向有 LTX 2.5 与 MiniMax-H3,另外 FastH3 是四步蒸馏版,官方称性能提升 7 倍
这张清单透露的信息很清楚:30B 级别是本地 Agent 的甜蜜点。24GB 显存能覆盖它,而它在编码和工具调用这类结构化任务上的表现,已经接近「够用」的门槛。
四、硬件侧的变化
RTX Spark 会在 10 月上市,规格是 1 Petaflop 的 RTX Blackwell GPU、最高 128GB 统一内存、20 核 Grace CPU。它的定位是让高性能轻薄本也能跑常驻 Agent,配合新的 Windows Agent 框架,让 Agent 能在操作系统级控制下安全地在后台运行。
这个组合值得关注,因为它改变的不是「能不能跑」,而是**「能不能一直跑」**。常驻 Agent 的前提是功耗与散热可接受,而这正是一体化芯片方案相对独显加通用 CPU 的优势所在。
另外,MLPerf Client v2.0 增加了针对 Agent 与图像生成的基准,这至少让本地 AI PC 之间有了可比的口径——过去这个领域最大的问题是各家跑各自的模型、报各自的数字。
五、选型建议与真实边界
按场景给三条判断:
- 要长期在线、能积累技能的通用助手,选 Hermes Agent。它的跨会话记忆与技能生成是核心差异点。
- 看重开源生态与社区技能复用,选 OpenClaw。38 万星标意味着绝大多数现成技能都有适配。
- 场景涉及敏感数据且需要分析型任务,选 Perplexity Portable Computer。本地优先加按需云端升级这个折中,比纯本地或纯云端都更贴近真实需求。
必须说清楚的边界有三条。
第一,24GB 显存是硬门槛。 低于这个数字,三个应用里有两个直接不适用。它不是可调参数,而是模型加载的物理下限。
第二,Windows 优先。 一键设置目前以 Windows 为主,Linux 支持「即将到来」,macOS 侧除了前面提到的网络分发工具外没有同步覆盖。Linux 用户应当先确认目标应用的支持状态。
第三,本地不等于免费。 省掉的是 API 费用,付出的是硬件成本、电费和你的时间。如果每天只跑几个短任务,云端 API 的总成本仍然更低。本地方案真正的价值在隐私、离线可用和长尾任务不受额度约束这三点上。
顺带说明一句,同期的 NVIDIA PAIR——把本地网络里多台 PC 的推理能力聚起来做分发——是一条独立的路线,本站此前已有专文拆解,这里不再展开。
结语
这次更新的意义,是把本地 Agent 的门槛从「愿意折腾」降到了「愿意买一台够显存的机器」。配置摩擦的消失会显著扩大用户基数,而性能优化让 30B 级别的本地模型第一次在吞吐上能支撑多子任务的 Agent 负载。
但选型时不必被「一键」这个词带偏。三款应用的真正差异不在安装体验,而在记忆模型、生态规模、以及隐私与云端的边界怎么划。这三件事才决定它能不能在你手上撑过第一周。