跳到正文
原文
Anthropic 官方(新闻+研究)·· 3 天前精选AI 评分60

Anthropic 如何为 Claude 系列产品做隔离与管控

How we contain Claude across products

AI 导读

Anthropic 发文说明 claude.ai、Claude Code 和 Claude Cowork 三款智能体产品各自的隔离架构,包括 gVisor 容器、操作系统级沙箱和本地虚拟机三种模式。

推荐理由

Anthropic 公开三款智能体产品的隔离架构与真实事故复盘,为部署智能体时的权限边界设计提供可迁移经验。

正文 · AI 翻译

十二个月前,我们还会毫不犹豫地拒绝让 Claude 获得足以关停 Anthropic 内部服务的访问权限。如今这种级别的访问已是常态,Anthropic 的开发者也因此更加高效。这类部署的风险包含两个部分:故障发生的可能性,以及一次故障可能造成的损害。安全防护和模型训练方面的进展稳步降低了前者;而后者——理论上的影响范围——只会随着能力和访问权限的扩展而不断扩大。然而,当智能体能够完成过去需要一个人甚至一个团队才能完成的工作时,不部署的代价会变得足够大,以至于只要产品能够保证安全,风险与回报的权衡就会大幅倾向于采用。工程问题于是变成了如何限制影响范围。

做到这一点大致有两种方式。

第一种是通过人在回路的方式监督智能体的行为。Claude Code 此前通过在每一轮询问用户许可,来防止智能体采取非预期操作。理论上这行得通,但我们发现这种方法并不可靠。我们的遥测数据显示,用户批准了大约 93% 的权限提示。用户看到的批准请求越多,对每一个的关注就越少,久而久之监督就变得远不如从前细致。我们最近构建了 Claude Code 自动模式,它自动完成更安全的批准,以减少这种批准疲劳。尽管如此,漏洞依然存在——任何概率性防御都有非零的漏检率。1

限制影响范围的第二种方式——也是本文大部分内容的重点——是隔离。我们不去监督智能体做了什么,而是通过沙箱、虚拟机和出口控制等手段强制执行访问边界,来监督它能够做什么。这正是 Anthropic 工程团队投入最多精力之处,也是许多最令人意外的安全故障发生之处。

过去两年,我们推出了三款主要的智能体产品:claude.ai、Claude Code 和 Claude Cowork。每款产品面向不同的用户群体,需要不同的隔离架构。本文分享哪些做法经受住了考验、哪些出了问题,以及我们在此过程中对智能体安全的认识。

三类风险,三道防线

智能体面临的安全风险可归为三类:


用户滥用:用户——无论是恶意还是疏忽——指示智能体去做有害的事。这包括从要求智能体绕过他们觉得烦人的检查,到运行他们并不理解的破坏性命令,再到明确指定要造成伤害。

模型行为不当:智能体采取了无人要求的危害性操作。随着我们的模型不断改进,它们在大多数行为评估上变得更加对齐,但这并不意味着风险必然缩小。能力较弱的模型更容易误判形势、犯下明显的错误。能力更强的模型犯的错误更少,但它们也更擅长找到通往目标的意外路径,往往是通过绕开没人想到要写下来的限制。

在 Anthropic,我们见过 Claude 模型“热心地”逃出沙箱以完成任务、查看 git 历史以找到编码测试的答案,以及自发识别出自己正在运行的基准测试,从而解密其答案密钥。每个模型都会带来一组新的能力,而这些能力有时会以意想不到的方式被使用。

外部攻击者:智能体通过工具、文件或网络访问等外部途径受到攻击。此类别既包括提示注入,也包括对智能体运行时、编排层或代理的常规攻击。

在构建遏制与防御系统时,我们对三个主要组件施加防御:

智能体运行的环境。我们通过进程沙箱、虚拟机、文件系统边界和出口控制来限制智能体可以在何处以及如何行动。目标是给智能体能够触及的范围设定硬性边界。例如,如果凭据从未进入沙箱,它们就无法被窃取,无论起因是用户、模型找到了一条“有创意”的路径,还是攻击者。

严密的边界也意味着你可以放松监督。Claude Code 的参考 devcontainer 正是为了让智能体能够无人值守运行、无需逐项操作审批而存在。

智能体所咨询的模型。这里的机制包括系统提示、分类器、探针和训练修改。由于模型是概率性的,这些机制只塑造智能体倾向于做什么,而不是它在理论上能够做什么。

这些防御很强大。在测试提示注入易感性的 Gray Swan Agent Red Teaming 基准测试中,Claude Opus 4.7 在单次尝试中将攻击成功率控制在约 0.1%,在 100 次自适应尝试后约为 5–6%。Claude Code 自动模式能在约 83% 的过度积极行为执行之前将其拦截。然而,即使拥有业界一流的防御,模型层的保护也永远不会 100% 有效,这就是它不能单独存在的原因。

智能体能够触及的外部内容。MCP 服务器、第三方插件和网络搜索工具都会将来自你无法控制的来源的内容送入智能体的上下文。经过审计的连接器并不等同于经过审计的数据——例如,GitHub 连接器尽管通过了恶意软件检查,仍可能将一份被投毒的 README 直接加载到模型上下文中。细粒度地限制工具权限有助于限制影响范围。例如,一个具有只读数据库访问权限的智能体,其部署范围可以远比一个会写入生产环境的智能体广泛得多。

防御应当相互重叠、互为补充。当环境防御不可用时,模型层必须承担起弥补作用(这正是 Claude Code 的自动模式的设计目的)。在本地,环境和模型防御可以防范恶意的工具输出,但也可以通过限制工具的能力和访问权限,在链条的更上游添加防御。

遏制智能体的模式

聚焦环境层,我们描述三种隔离模式,以及它们如何针对每个 Claude 平台——claude.ai、Claude Code 和 Cowork——进行定制。每一种设计都是在我们找到智能体所需能力与用户所需干预程度之间的平衡之后,逐步得出的。

模式 1:临时容器(claude.ai 代码执行)

虽然 claude.ai 最为人熟知的是聊天界面,但它也能编写和运行代码、生成文件并调用连接器。当 Claude 在 claude.ai 内运行代码时,它是在隔离基础设施上的 gVisor 容器中执行的。该智能体完全在服务端运行;本地机器上不运行任何代码,文件系统是临时的(按会话)。影响范围很小,但 Claude 能做的事情上限也同样有限——没有持久化工作区,也无法访问用户的文件系统。

这也使 claude.ai 受制于一种更传统的威胁模型。我们要保护的不是用户机器免受智能体影响,而是我们自己的基础设施以及各租户彼此之间的隔离。我们为 claude.ai 所做的发布前工作,主要都是传统安全工作,比如网络配置、内部服务认证和编排。

这项工作再次印证了安全领域最古老的教训:最薄弱的环节是你自己构建的那一层。gVisor 和 seccomp 面对资源充足的对手进行加固的时间,远比智能体 AI 存在的时间长,因此审查精力都投入到了我们在它们之上构建的较新组件上。我们稍后会回到这一点,因为我们的自定义代理也正是我们在最具影响的事故中出问题的那一环。

模式 2:人在回路沙箱(Claude Code)

Claude Code 运行在用户机器上,可访问其文件系统、shell 和网络。没有这些访问权限,编码智能体的实用性就会受限,因此必须找到一种安全授予这些访问权限的方法。

一种方法是依赖人在回路。这对 Claude Code 来说之所以可行,是因为普通用户是开发者,熟悉编码环境:他们能读懂 bash,明白 rm -rf 的作用,而且每周都会多次从不可信来源运行 npm install。这意味着当“允许此操作”对话框弹出时,他们极有可能具备准确评估智能体试图做什么以及所涉风险的专业知识。鉴于此,Claude Code 发布时采用了最简单的防御:允许读取,写入、bash 和网络访问需要批准。

然而,如前所述,批准疲劳在数周内就显现出来。讽刺的是,这意味着一个原本旨在提供监督的功能,可以说可能产生相反的效果——一些用户可能干脆不再关注。作为缓解轻率批准的第一步,我们发布了一个操作系统级沙箱(macOS 上的 Seatbelt,Linux 上的 bubblewrap)来加固边界:允许读取,允许在工作区内写入,但默认拒绝网络。在沙箱内,智能体基本可以不受打断地运行。结果是权限提示减少了 84%,我们还开源了该运行时,因此边界是可审计的。

我们的匿名化使用数据还显示,经验丰富的用户自动批准的比例大约是新手用户的两倍,但他们也更频繁地在执行过程中打断智能体。经验丰富的用户不是对每个步骤都设卡,而是更倾向于只在智能体偏离正轨时才进行监督。虽然这可能是人们与智能体协作方式的一种自然演进,但这种方式同样容易出错,需要用户具备足够的技术能力和注意力,才能第一时间察觉偏离。随着模型能力提升、智能体开始编写越来越复杂的 bash 脚本,察觉此类偏离变得更加困难。而当用户转向多智能体系统时,这种方式也更不可能成为有效的监督策略。

我们遗漏的风险:信任对话框之前的一切

2025 年年中至 2026 年 1 月期间,我们通过负责任披露计划收到了关于 Claude Code 漏洞的报告。其中三个漏洞针对的是在用户尚未同意任何内容之前就执行的代码。要理解这怎么可能,不妨看最直接的情形:一名开发者克隆仓库以审查拉取请求,而该仓库包含一个定义了 hook 的 .claude/settings.json。由于 Claude Code 在启动时读取项目设置——早于呈现标准的“你信任此文件夹吗?”提示——攻击者编写并提交的 hook 就会自动执行。其余案例在结构上类似,即来自尚未受信任目录的输入在信任边界建立之前就被解析了。

每个案例的修复方式都相同:将项目本地配置的解析和执行推迟到用户接受信任提示之后。如果你正在构建类似的东西,请把项目打开、配置加载和 localhost 监听器当作来自互联网的任何入站请求来对待。它们不应仅仅因为感觉上是本地的、且在用户同意之前到达就被隐式信任。

我们遗漏的风险:用户作为注入载体

2026 年 2 月,在一次受控的内部红队演练中,一名研究人员成功钓鱼了一名员工,诱使其用恶意提示启动 Claude Code。这封钓鱼邮件看起来像普通的协作请求——一封“你能帮我运行一下这个吗?”的邮件,附有一段可直接粘贴的提示——而提示本身读起来像常规任务说明。但在某个设置步骤中,它温和地要求 Claude 读取 ~/.aws/credentials,对内容进行编码,并将其 POST 到外部端点。在该提示的 25 次重试中,Claude 有 24 次完成了数据外泄。

这是一次直接提示注入——攻击者的指令是通过用户传入的,而不是通过工具输出或获取的内容。我们的模型层防御以用户意图为锚点——当输入指令的是用户本人时,分类器就无从捕捉异常。换作人类承包商拿到同样的脚本,也会做同样的事。

在这种情况下唯一有效的防御是环境,具体来说是出口控制(无论意图如何都阻止该 POST)以及文件系统边界(从一开始就让 ~/.aws 无法触及)。

(当我们在内部 Slack 中分享工作提示词以供讨论时,有人指出一些内部 agent 会读取 Slack。此时 payload 已经处于环境之中。我们在该线程中添加了一个金丝雀字符串,以便在有任何东西读取它时能察觉。在一个 agent 会读取一切的世界里,调查工具本身也是攻击面。)

模式 3:本地 VM(Claude Cowork)

Claude Cowork 运行在用户桌面上,可访问用户选定的工作区文件夹。由于该平台是为通用知识工作而非软件工程构建的,普通用户不太可能精通 bash。

因此,human-in-the-loop 沙箱策略可能无法沿用;不应期望非技术型知识工作者去判断诸如 find . -name "*.tmp" -exec rm {} \; 这样的 bash 咒语。当批准例外需要普通用户并不具备的专业知识时,管理员应设置一个绝对且始终生效的边界。

为实现这一点,我们第一版 Claude Cowork 运行在完整的虚拟机中,使用平台厂商的 hypervisor(macOS 上为 Apple 的 Virtualization framework,Windows 上为 HCS)。该 VM 拥有自己的 Linux 内核、自己的文件系统和自己进程表。用户选定的工作区和 .claude 文件夹被挂载;宿主机上的其他内容均不可见。凭据保留在宿主机的钥匙串中,绝不会进入客户机。此设计可防范 Claude 在某个时刻以不对齐方式行事的可能性。被攻陷的 Claude 仍可能破坏工作区文件夹内的内容,因此该架构旨在确保这是它唯一能触及的东西(直到用户添加连接器),并且由用户控制那里挂载了什么。

在最初的架构——我们称之为 full-VM 模式——中,agent 循环本身运行在客户机内,因此 Claude 以普通 Linux 用户身份执行,并不知道自己处于沙箱中。相比之下,在 Claude Code 中,一个特权进程位于沙箱之外,逐命令决定是否强制执行;一段有说服力的注入提示词或一次疲劳的批准点击就可能让该进程运行未沙箱化的内容。而在这里,没有外部进程持有逃生舱钥匙,因此也没有组件拥有授予例外的权限。

然而,我们很快意识到,在 full-VM 模式下运行整个 agent 会带来实际问题:VM 启动期间的任何失败都会使 Cowork 无法使用。将 agent 循环移到 VM 之外,同时将代码执行保留在 VM 之内,使 Claude 仍能响应用户并帮助调试问题,而不是在错误上冻结。这一变更对安全的影响极小,因为 VM 仍对 agent 执行的代码实施文件系统和网络控制。

另外,我们还将本地 MCP 服务器移出了 VM。在 VM 内运行它们使其更难审计,在 VM 更新时造成脆弱的依赖问题,并且不支持需要与本地进程(如数据库)交互的 MCP——此类服务器无论如何都必须在宿主机上运行。这一变更使 Claude Cowork 与本地 MCP 服务器在 Claude Desktop 中已有的工作方式保持一致:将它们视为用户可能选择安装的任何软件,并交由管理员决定启用哪些本地 MCP(如果有的话)。远程 MCP 服务器不受影响,因为它们不在用户机器上运行。

文件系统控制是另一项重要的架构选择。Claude 需要能够访问主机上的部分文件才能发挥作用,但我们希望将影响范围降到最低,并向用户透明地展示本地文件访问情况。我们发现,提供不同的文件挂载模式有助于精细控制风险;Claude Cowork 提供只读、读写和读写但不删除三种模式。这里有一个潜在的陷阱:符号链接解析必须在路径验证之前进行,而不是之后,否则授权文件夹内的符号链接可能指向外部并逃逸。对于企业客户,我们允许管理员通过 MDM 设置中的挂载路径允许列表来控制这一点。

我们遗漏的风险:通过已批准域名进行数据外泄

通过已批准域名进行数据外泄的一个清晰例子来自第三方披露。Claude Cowork 的出站允许列表正确地将流量放行至 api.anthropic.com——该产品如果不调用我们自己的 API 就无法运行。在这种情况下,放置在用户挂载工作区中的恶意文件携带了隐藏指令,以及由攻击者控制的 API 密钥。Claude 按照指令读取了工作区中的其他文件,并使用攻击者的密钥调用了 Anthropic 的 Files API。出站代理检查了目标地址,看到 api.anthropic.com,便放行了。文件被上传到攻击者的 Anthropic 账户。沙箱完美运行,然而数据还是被外泄了。

此前,我们将允许列表概念化为目标过滤器,即告诉 Claude 这些域名可以通信。 但更好的概念化方式或许是能力授予。通过允许列表中任何域名可达的每个功能现在都成了攻击面。允许 api.anthropic.com 就意味着允许向任意 Anthropic 账户上传文件。

我们通过在 VM 内部使用防御性中间人代理来修复这个问题,该代理会拦截发往我们 API 的流量。它只放行携带 VM 自身预置会话令牌的请求;攻击者嵌入的密钥会被代理拒绝。它还会阻止那些会启用服务器端抓取的标头。该代理位于 VM 内部而非我们的服务器上,因为只有 VM 知道来源——从服务器的角度看,Cowork 请求与其他任何 API 客户端无法区分。

这也是“你自己构建的软件往往是最薄弱环节”这一原则的第二个实例。我们各产品中的 hypervisor、seccomp 和 gVisor 一直很可靠。我们自定义的允许列表代理才是失败的那一环。

我们遗漏的风险:VM 隔离也把端点检测软件挡在了外面

在评估 Claude Cowork 时,企业安全团队问道:“为什么我们的 EDR 看不到内部?”答案是,将 Claude 限制在内的同一套隔离机制,也把基于主机的端点检测与响应挡在了外面。从 EDR 的角度看,Claude Cowork 是一个不透明的 hypervisor 进程。它无法检查客户机内部。

隔离降低了可见性,而对于合规态势依赖于端点可见性的团队来说,不透明是个问题。我们目前的缓解措施是使用基于拉取的 OTLP 导出,让管理员事后检索事件日志,但这与实时监控并不相同。如果你正在构建类似的东西,请尽早为这场对话做好预算。

信任智能体所读取的内容

企业经常问我们如何保护 MCP 连接。这是个好问题,但真正该问的问题范围比 MCP 更广。提供给智能体的任何外部资源都同时带来两种风险:传统供应链意义上的代码执行风险,以及提示注入途径。传统的依赖审计(固定版本、验证签名、审查源码)能解决第一种,却漏掉了第二种。

远程与本地之别比看起来更重要。本地安装的工具是可审计的。你可以阅读代码、固定版本,并确信它不会在你眼皮底下发生变化。远程工具——托管的 MCP 服务器、云连接器——可能在你批准之后的任何时刻改变行为;你安装时的信任决定可能不再适用。我们的连接器目录通过持续审查来应对这一点,但目录之外的一切都应视为不可信。先让它针对假数据运行,并且要在恶意工具的影响范围可控的环境中运行。

即便工具可信,工具输出也是攻击面。前面提到的 GitHub README 示例正是这种情况;对网页施加的任何输入扫描,都必须以同样的严格程度施加到联网工具的结果上。尽管这会增加延迟,也不是完美的防御,但我们倾向于实时检查:一旦被投毒的工具返回值引导智能体窃取数据,日志只会显示一次成功的、已授权的 API 调用。事后没有任何信号可供追查。

在 Claude Code 和 Claude Cowork 中,工具调用经由代理路由,这些代理执行网络和文件策略,并能在返回值进入模型上下文之前对其进行检查。执行检查的分类器可以是一个小而快的模型;它不必是负责推理的那个模型。

展望未来

模型和产品正在快速进步。随着它们的进步,风险也在变形和演化,我们的缓解措施必须跟上步伐以应对它们。

持久记忆投毒。跨会话持久保留的智能体上下文占比不断增长——这包括产品记忆、CLAUDE.md 文件、挂载的工作区,以及定时和长期运行智能体的状态目录。落入其中任何一处的注入,都会在智能体每次启动时被重新加载。随着越来越多的智能体状态在会话结束后存活,我们面临经典后利用意义上的新型持久化机制威胁。会话启动时的良好分类器将需要变得更加普遍。

多智能体信任升级。一方面,子智能体可以隔离不可信内容,向主智能体返回结构化事实而非原始文本。另一方面,这也可能被滥用:如果子智能体的输出因为来自“我们”而被视为比原始工具结果更可信,就引入了提示注入的新途径。在多智能体系统中,分配不同信任级别与容易遭受信任升级之间存在权衡。

Agent 身份。Claude Cowork 对 agent 身份的回答很具体:凭据保留在主机钥匙串中,VM 获得一个按会话缩小权限的令牌,且该令牌可以独立于用户令牌被撤销。然而,我们开始着手应对跨平台 agent 身份这一更广泛的问题。Agent 应该拥有自己的主体身份,还是应作为用户的延伸并继承用户的权限?最终,答案可能是两者的融合。

随着 agent 能力不断增强,攻击面也在不断变化。我们所见过的故障类型很可能会在各行各业和实验室中重演。我们需要集体投入于 agent 专属的安全态势,从共享基准和披露规范,到通用身份标准和跨厂商红队测试。本文聚焦于遏制,但这只是 agent 安全图景的一部分。关于治理、可观测性以及技术栈的其余部分,请参阅NIST 关于 AI agent 身份与授权的项目、由澳大利亚 ACSC 联合 CISA 和英国 NCSC 牵头的六机构关于采用 agentic AI 的指南,以及 AI 管理标准 ISO/IEC 42001。我们的 Glasswing 计划是其中一项贡献,但我们期待与合作伙伴和竞争对手共同应对这一关键问题。

总结

简而言之,我们反复回到几条原则:

首先在环境层设计遏制,然后在模型层引导行为。教会我们最多的两起事件——员工钓鱼和第三方允许列表泄露——都是出站(egress)案例,数据通过被允许的路径离开。在每起事件中,模型层都无能为力;没有任何异常可供它捕捉。当所有概率性手段都失效时,确定性边界才是最后的防线。

让隔离强度与用户的监督能力相匹配。能读懂 bash 的开发者和读不懂的知识工作者,运行的并不是同一个威胁模型。用户能否评估 agent 即将做什么,这一问题应有助于确定遏制策略,而无论朝哪个方向答错——对专家摩擦过多,对非专家信任过多——本身就是一种失败。

警惕自定义组件。经过实战检验的虚拟机监控程序、系统调用过滤器和容器运行时,所经受的对抗性关注远超你能构建的任何东西。在本文描述的每一次部署中,标准原语都经受住了考验,而我们围绕它们所做的工作却暴露了缺陷。

归根结底,尽管 agent 可能是一类新的软件,但它们的系统级交互并非如此。它们仍然读取文件、打开套接字、生成进程;这使得用成熟工具进行遏制成为一种至关重要的可行防御。随着 AI 的发展,部署的风险回报平衡将持续变化,但对爆炸半径设置硬性限制往往能推动这一平衡朝正确方向倾斜。

来源:Anthropic 官方(新闻+研究) · anthropic.com