~/yomxxx/posts/2026-09-15-local-agent-one-click-stack-tools.mdx
Tools

$ cat 工具速评:本地 Agent 的一键部署来了,Hermes、OpenClaw 与 Perplexity 该怎么选

-- 6 min read ·

本地 Agent 这件事,过去一年真正的瓶颈从来不是模型能力,而是上手摩擦。想在本机跑一个能干活的 Agent,你得挑模型、找兼容的推理服务器、调量化参数、处理各种显存不足的报错,最后还要手动维持三者之间的版本兼容。很多人就是在第三步放弃的。

NVIDIA 在 IFA 2026 上联合微软和几个合作方,动的主要就是这一层。

一、三个应用,同一套底座

官方这次给出的方案是:三款使用最广的 Agent 应用,都在 Windows 上提供简化的本地模型设置。它们的共同点是底层都基于 llama.cpp,并集成了 NVIDIA 最新的推理优化,差别在定位。

应用定位平台门槛
Hermes Agent通用型,模型与供应商无关,长时间运行Windows(Linux 稍后)RTX / RTX PRO / DGX Spark
OpenClaw开源 Agent 生态,Windows App 降低上手摩擦WindowsRTX GPU,至少 24GB 显存
Perplexity Portable Computer任务型,本地优先 + 按需云端升级先在 Linux,Windows 稍后RTX GPU,至少 24GB 显存

Hermes Agent 由 Nous Research 开发,定位是长时间运行的通用 Agent。它的差异化在于自我改进——使用工具、跨任务维持上下文、跨会话记住信息、并逐步生成可复用的技能。一键设置的逻辑是:自动检测 GPU、自动选模型与配置、直接通过集成的 llama.cpp 跑起来,全程不需要手动下载和调参。官方说 Linux 支持随后跟上。

OpenClaw 是开源 Agent 社区里规模最大的项目,官方给出的数字是超过 38 万星标。它的 Windows App 目标很明确:把「在任意 24GB 以上显存的 RTX GPU 上建立一个优化过的本地模型」这件事变成一个安装流程。

Perplexity Portable Computer 的设计最有意思,因为它明确做了一个折中:本地跑完整工作流不消耗额度,同时可以选择性地把任务的一部分升级到 15 个以上的云端前沿模型。关键在于升级之前会请求许可,这样敏感信息默认留在设备上。官方给的用例里,财务场景那个例子很能说明它的定位——把两年的券商对账单、合并后的税务表和报税单交给 Agent,让它找出产生最多可避免费用和税务拖累的持仓,每个数字都引用到具体文件和页码,而整份文档从未离开本机。

二、性能:这次涨在哪里

推理性能的提升是配套的,否则一键设置只是把慢变简单。

运行时平台提升
llama.cppGeForce RTX 5090最高 1.9 倍吞吐
vLLMRTX PRO 6000 Blackwell 工作站版1.2 倍
vLLM双 DGX Spark 集群最高 1.4 倍

具体手段是内核优化、改进的投机解码,以及更快的 prefill。vLLM 那侧则靠 FlashInfer 里新的 XQA attention 内核和一批后端优化。这些收益同时出现在直接使用和通过 LM Studio、Ollama 使用时。

这里值得多说一句:1.9 倍这个数字来自吞吐而不是延迟。对 Agent 场景来说这是对的方向,因为 Agent 的典型负载是多轮工具调用加并发子任务,吞吐决定你能同时跑多少个 subagent,而不是单次响应快多少毫秒。

三、本地模型的可用清单

配套发布的模型值得列一下,因为它决定了你买 24GB 还是 128GB。

  • Nemotron 3.5 Lightning:300 亿参数,可跑在 RTX PC、RTX PRO 工作站、DGX Spark 与 Jetson 上
  • Qwen3.8-Flash-Next:开放权重多模态 MoE,可跑在 DGX Spark 与 DGX Station;同系列的 Qwen3.8-27B 面向本地 Agent 与编码
  • Meta Muse Glimmer:300 亿参数开放权重,面向编码与 Agent 负载,覆盖 GeForce RTX PC 到 Jetson
  • DeepSeek v4 Flash:2840 亿参数 MoE、激活 130 亿,需要双 DGX Spark 集群或 DGX Station
  • GLM-5.3-Flash(Z.ai):多模态 MoE,面向 DGX Station
  • 视频方向有 LTX 2.5 与 MiniMax-H3,另外 FastH3 是四步蒸馏版,官方称性能提升 7 倍

这张清单透露的信息很清楚:30B 级别是本地 Agent 的甜蜜点。24GB 显存能覆盖它,而它在编码和工具调用这类结构化任务上的表现,已经接近「够用」的门槛。

四、硬件侧的变化

RTX Spark 会在 10 月上市,规格是 1 Petaflop 的 RTX Blackwell GPU、最高 128GB 统一内存、20 核 Grace CPU。它的定位是让高性能轻薄本也能跑常驻 Agent,配合新的 Windows Agent 框架,让 Agent 能在操作系统级控制下安全地在后台运行。

这个组合值得关注,因为它改变的不是「能不能跑」,而是**「能不能一直跑」**。常驻 Agent 的前提是功耗与散热可接受,而这正是一体化芯片方案相对独显加通用 CPU 的优势所在。

另外,MLPerf Client v2.0 增加了针对 Agent 与图像生成的基准,这至少让本地 AI PC 之间有了可比的口径——过去这个领域最大的问题是各家跑各自的模型、报各自的数字。

五、选型建议与真实边界

按场景给三条判断:

  1. 要长期在线、能积累技能的通用助手,选 Hermes Agent。它的跨会话记忆与技能生成是核心差异点。
  2. 看重开源生态与社区技能复用,选 OpenClaw。38 万星标意味着绝大多数现成技能都有适配。
  3. 场景涉及敏感数据且需要分析型任务,选 Perplexity Portable Computer。本地优先加按需云端升级这个折中,比纯本地或纯云端都更贴近真实需求。

必须说清楚的边界有三条。

第一,24GB 显存是硬门槛。 低于这个数字,三个应用里有两个直接不适用。它不是可调参数,而是模型加载的物理下限。

第二,Windows 优先。 一键设置目前以 Windows 为主,Linux 支持「即将到来」,macOS 侧除了前面提到的网络分发工具外没有同步覆盖。Linux 用户应当先确认目标应用的支持状态。

第三,本地不等于免费。 省掉的是 API 费用,付出的是硬件成本、电费和你的时间。如果每天只跑几个短任务,云端 API 的总成本仍然更低。本地方案真正的价值在隐私、离线可用和长尾任务不受额度约束这三点上。

顺带说明一句,同期的 NVIDIA PAIR——把本地网络里多台 PC 的推理能力聚起来做分发——是一条独立的路线,本站此前已有专文拆解,这里不再展开。

结语

这次更新的意义,是把本地 Agent 的门槛从「愿意折腾」降到了「愿意买一台够显存的机器」。配置摩擦的消失会显著扩大用户基数,而性能优化让 30B 级别的本地模型第一次在吞吐上能支撑多子任务的 Agent 负载。

但选型时不必被「一键」这个词带偏。三款应用的真正差异不在安装体验,而在记忆模型、生态规模、以及隐私与云端的边界怎么划。这三件事才决定它能不能在你手上撑过第一周。

Frequently asked questions

一键设置具体省掉了哪些步骤?
过去要自己挑模型、找兼容的推理服务器、调量化参数、再手动维护更新。现在应用会自动检测 NVIDIA GPU,选出合适的模型与配置,通过集成好的 llama.cpp 加 NVIDIA 推理优化直接跑起来,省掉了手动下载模型和调参这两个最费时间的环节。
三个 Agent 应用的定位有什么区别?
Hermes Agent 是通用型、模型与供应商无关,强调长时间运行、跨会话记忆和自我改进。OpenClaw 是开源 Agent 运动里规模最大的项目,Windows App 主要解决上手摩擦。Perplexity Portable Computer 更偏任务型,强调本地跑完整工作流并可按需升级到云端前沿模型。
显存门槛是多少?
Perplexity Portable Computer 和 OpenClaw Windows App 都要求 NVIDIA RTX GPU 至少 24GB 显存。这个门槛决定了你能跑多大的模型:24GB 大致对应 30B 级别的量化模型,想要更大的 MoE 或更高精度就需要工作站级或多机方案。
本地跑和云端前沿模型的差距还大吗?
差距在收敛但仍在。官方列出的本地模型里,Qwen3.8-27B、Meta Muse Glimmer 30B 这类已经能覆盖日常编码与 Agent 任务,DeepSeek v4 Flash 这类 284B 参数的 MoE 需要双 DGX Spark。但若任务本身需要最强推理,本地仍然不是替代方案。
到底该选哪一个?
如果你要的是长期运行、能自己积累技能的通用助手,选 Hermes Agent。如果看重开源生态和社区技能,选 OpenClaw。如果你的场景是数据处理与分析且对隐私敏感,选 Portable Computer,因为它的本地优先加按需云端升级这个折中设计最贴合这类需求。
// next.txt ›

Some outbound links in this post are affiliate links — see disclosure.