OpenAI、Meta、谷歌都想让你的智能体替你做一切：订晚餐、清收件箱、买鞋。但 10 月 17 日 The Verge 的一篇报道给这个愿景泼了一盆冷水：热门网站正在纷纷对 AI 智能体关门。Meta 的 Muse、xAI 的 Grok、OpenAI 的 Dots、Instinct 的智能体，用户报告它们在头部网站上的操作接连被挡。Yelp 告诉 TechCrunch，它只允许参加其数据授权计划的智能体进入；达美航空阻止智能体替用户订票；摩根大通与嘉信理财以安全为由确认封锁智能体访问账户。更微妙的是 Cars.com 和 Amtrak——用户反映这些曾经能用的站点悄无声息地不再放行，没人发布公告，访问就是失败了。
如果把视线拉开一点，这不是一次产品故障，而是一场三层战争。技术墙、利益墙、法律灰区，三条战线同时推进，而智能体恰好站在三者的交叉点上。
第一层：技术墙——反爬虫系统分不清智能体和骗子
最直接的冲突发生在反爬虫层面，而且很多时候网站甚至不是故意的。
EquiStamp 的 CEO Chris Canal 对 The Verge 说得很直白：「网上有各种各样东西，本来就不是为拦智能体，而是为拦一般的机器人或想骗想黑的程序。这些 AI 智能体会触发同样的防护。」Reddit 上有用户报告谷歌以「可疑活动」封禁使用 Muse 的账号，还有人在沃尔玛结账时遇到阻碍——尽管沃尔玛是 Meta 的合作伙伴。欺诈防护系统看的是行为特征：非常规设备、异常节奏、脚本化操作。智能体为了替用户办事，行为模式和欺诈机器人高度相似，误伤于是成为常态。
网站基础设施提供商则在这堵墙上不断加砖。Cloudflare 2025 年推出一键封禁 AI 爬虫功能，随后开始打击同时为搜索索引和 AI 训练抓取内容的多用途爬虫。背景是 AI 爬虫对互联网基础设施的压力——电子前哨基金会（EFF）早在 2025 年 6 月就警告过 AI 爬虫正在让网络不堪重负。Canal 的预言更灰暗：「我们可能很快就在一个普通的杂货购物网站上看到验证界面，你得跳过一堆圈来证明你是真人。」墙在加高，而智能体是撞墙最频繁的那一个。
第二层：利益墙——谁拥有用户，谁就拥有交易
技术墙只是表象，真正的博弈是利益。这一层最完整的案例是亚马逊与 Perplexity 的持续战争。
2025 年，亚马逊禁止了 Perplexity 的智能体购物功能并起诉这家 AI 初创公司，称自己「反复要求」Perplexity 停止让智能体在其网站购物，并主张代用户购物的第三方公司「应当公开运作，并尊重服务提供商是否参与的决定」。Perplexity 的回应发表在官方博客，标题就是「Bullying is not innovation」：亚马逊反对智能体 roaming 其平台，是因为不想让广告眼球被分流——这确实是电商巨头的真实痛点；亚马逊「不相信你有权雇用劳动力，让助手或员工代表你行事」。法院曾下令禁止 Perplexity 的智能体购物，2026 年 8 月上诉法院推翻了这一裁决，亚马逊随后提交了修订诉状，战争至今没有终局。
同样的剧本在 Meta 身上重演。亚马逊称 Muse 的「持续访问」违反站点政策，xAI 的 Grok、Instinct 的智能体和 OpenAI 的 Dots 也被报告无法使用亚马逊，马斯克的回应是也许该「创办一家亚马逊的竞争对手」。Meta 选择了另一条路：它没有硬碰，而是转向合作——与沃尔玛、Gap、Sephora、Best Buy 等零售商达成协议，允许 Muse 在这些站点购物。Meta 在官方帖子里把话挑明了：「拒绝一个个人智能体，就是拒绝它背后的客户。我们更愿意与企业合作解决 underlying 担忧，而不是看着他们失去那个客户。」Shopify 也开放了其店铺目录给更多智能体。
两条路线泾渭分明：对抗式（硬闯，吃官司）与合作式（谈判，分利益）。而 Yelp 的付费授权是第三条：想进可以，进数据授权计划。网站的逻辑一致而清晰：智能体带来的流量不经过人的眼睛，广告变现链条就断了；既然拦不住趋势，就把访问本身变成商品。
第三层：法律灰区——robots.txt 是一块没有强制力的牌子
就在智能体被技术墙和利益墙挤压的同时，Meta 用一份条款文件把战火烧进了法律层面。
10 月 17 日，Nieman Lab 报道：Meta 即将生效的商业条款授权 Meta（或其代理方）使用自动化软件——网页抓取器、机器人、爬虫、用户代理——访问、索引、缓存、分析、收集、检索或抓取与商业账户产品相关的域名与页面，并定期拉取更新。此前版本中的 train 一词在修订中被删除，用途也被限定在「广告和商业产品」，但报道指出，修订版仍然允许宽泛抓取，且可能凌驾于 robots.txt 之上。Meta 发言人坚称 robots.txt 偏好一直受尊重，「没有变化」——但修订后的条款文本里，没有任何一句明确写着尊重 robots.txt。新条款 10 月 30 日生效，商业账户在此之前无法退出。
三位法律专家的质疑集中在两点。Loevy & Loevy 的媒体与知识产权律师 Matt Topic：「修订版仍允许 Meta 用抓取内容开发任何『商业产品』。这似乎不是一个有定义的术语，而且想必 Meta 正在开发 AI 商业产品。我认为『develop』宽到足以包含『train』。」康奈尔法学院数字与信息法教授 James Grimmelmann：「更新没有解决我的担忧。虽然加了更多关于许可用途的语言，但『develop 广告和商业产品』仍然宽到能开过一辆卡车。这对限制『与你的产品或服务相关』的语言毫无作用——那足以让 Meta 抓取整个站点。」威斯康星大学法学院教授 Benjamin Sobel 则点破了 robots.txt 的法律本质：它表明网站的偏好，但遵守完全自愿，就像房主挂一块「别看我家的牌子」，牌子本身不给房主一个可执行的权利来阻止别人看。
出版界的反应迅速而激烈。欧洲出版商委员会宣布将正式请求欧盟委员会与电信监管机构「紧急审查这些条款，包括其对版权、合同公平性与市场力量滥用的影响」；英国新闻媒体协会声明谴责这是「不知羞耻的土地掠夺」，呼吁大臣与监管者介入；美国新闻媒体联盟主席 Danielle Coffey 称其「骇人听闻且很可能非法」，「绝不能允许它在 10 月 30 日实施」。背景板上还有另一块拼图：9 月 30 日，联邦上诉法院维持了汤森路透具有里程碑意义的 AI 版权胜诉——法院系统已经在给「抓取训练」定性，而 Meta 选择在此时把抓取权写进每个商业账户都躲不掉的条款里。
开发者启示：五条现实出路
把三层战争翻译成工程决策，智能体开发者有五条路，按推荐顺序排列：
- 身份透明。明确标识智能体身份、遵守目标站点的 robots.txt 与服务条款。这既是伦理底线也是生存策略——伪装成普通用户的智能体一旦被识别，连累的是整个产品的信誉。DeepSeek 官方文档在 Fetch API 里明说「抓取受目标站点的可用性与访问策略约束」，这是负责任的表述范式。
- 付费授权通道。Yelp 模式：站方把数据授权做成计划，智能体方付费进场。对数据质量要求高的场景（点评、票价、库存），这是最稳的路，成本可预期、法律风险低。
- 合作渠道。Shopify 与沃尔玛模式：站方主动开放结构化接口，智能体方按规矩接入。Meta 用「拒绝智能体就是拒绝客户」的话术促成的正是这类合作。对开发者，盯住各平台的智能体开放计划，比硬爬更快也更持久。
- 中立第三方服务。用 DeepSeek Search 与 Fetch 这类不站队的工具 API 做内容获取——价格每千次成功请求 0.75 美元，且文档明确尊重站点策略。它不解决「操作型智能体被墙」的问题（那是账号与登录的事），但解决「读内容」这一半。
- 产品级降级设计。访问被拒时明确告知用户「该站点暂不支持智能体操作」，给出手动链接或替代来源；静默失败是智能体产品信任度的第一杀手。Canal 的判断值得贴在墙上：当越来越多的公司在主动让智能体干不了活，「智能体将渗透生活方方面面、能做我们在网上能做的一切」这个叙事就在缩水—— perceived value 的损耗最终由产品承担。
结语：墙会一直加高，但门也会一直开
这场战争没有终局，只有反复。网站用反爬虫和验证码加高墙，用授权计划和合作渠道开小门，用条款和法律划定灰色地带；智能体厂商在对抗与合作之间摇摆，开发者则在中间找缝隙。但有三件事已经确定：第一，操作型智能体的每一扇门背后都是真金白银的交易闭环，没有一站会免费开放；第二，「读网页」正在被第三方工具 API 商品化，价格战已经开始；第三，robots.txt 的自愿性本质不会变，变的只是有没有人替它写进条款。
对开发者，最清醒的姿态是：把智能体当成一个需要资质、预算和议价能力的新用户类别来设计，而不是一个更聪明的爬虫。门会一直开——只是每扇门上都装了价格标签。