跳到正文
原文
Anthropic 官方(新闻+研究)·· 24 天前精选AI 评分62

Anthropic 研究:实测 AI 智能体的自主度

Measuring AI agent autonomy in practice

AI 导读

Anthropic 分析了 Claude Code 与公开 API 上数百万次人机交互,测量用户实际授予智能体的自主度。Claude Code 最长会话的连续工作时长在三个月内从不到 25 分钟增至超过 45 分钟,且这一增长在多次模型发布之间平滑过渡。

推荐理由

Anthropic 用自家 API 与 Claude Code 的真实交互数据,量化了用户实际授予智能体的自主度与监督方式变化。

正文 · AI 翻译

AI 智能体已经到来,并且正被部署到后果差异极大的各种场景中,从邮件分诊到网络间谍活动。理解这一谱系对于安全部署 AI 至关重要,然而我们对人们在现实世界中究竟如何使用智能体却知之甚少。

我们使用隐私保护工具分析了 Claude Code 和我们的公共 API 中数百万次人机交互,以探究:人们赋予智能体多少自主权?随着人们经验增长,这一情况如何变化?智能体在哪些领域运作?智能体采取的行动是否有风险?

我们发现:

下面,我们将更详细地介绍我们的方法和发现,最后为模型开发者、产品开发者和政策制定者提出建议。我们的核心结论是,对智能体的有效监督将需要新形式的部署后监控基础设施以及新的人机交互范式,帮助人类和 AI 共同管理自主性与风险。

我们将我们的研究视为朝着实证理解人们如何部署和使用智能体迈出的虽小但重要的第一步。随着智能体被更广泛地采用,我们将继续迭代我们的方法并传达我们的发现。

在真实环境中研究智能体

智能体难以进行实证研究。首先,对于智能体是什么尚无公认的定义。其次,智能体正在快速演进。去年,许多最先进的智能体——包括 Claude Code——只涉及单一对话线程,但如今已有能够自主运行数小时的多智能体系统。最后,模型提供商对其客户智能体的架构可见性有限。例如,我们无法可靠地将发往我们 API 的独立请求关联为智能体活动的“会话”。(我们将在本文末尾更详细地讨论这一挑战。)

鉴于这些挑战,我们如何对智能体进行实证研究?

首先,在本研究中,我们采用了一个在概念上有依据且可操作化的智能体定义:智能体是一种配备工具、能够采取行动的 AI 系统,例如运行代码、调用外部 API,以及向其他智能体发送消息。1 研究智能体所使用的工具,能让我们对其在世界中的行为有大量了解。

接下来,我们开发了一组指标,这些指标的数据来自我们 public API 的智能体式使用情况,以及我们自己的编码智能体 Claude Code。这些指标在广度与深度之间提供了一种权衡:

  • 我们的 public API 让我们能够广泛了解数千个不同客户的智能体部署情况。我们没有试图推断客户的智能体架构,而是在单个工具调用的层面进行分析。2 这一简化假设使我们能够对现实世界中的智能体做出有依据且一致的观察,即便这些智能体的部署环境差异很大。这种方法的局限在于,我们必须孤立地分析各个动作,无法重建单个动作如何随时间组合成更长的行为序列。
  • Claude Code 提供了相反的权衡。由于 Claude Code 是我们自己的产品,我们可以跨会话关联请求,并从头到尾理解整个智能体工作流。这使得 Claude Code 特别适合研究自主性——例如,智能体在没有人工干预的情况下运行多长时间、什么会触发中断,以及用户随着经验积累如何对 Claude 保持监督。然而,由于 Claude Code 只是一个产品,它无法像 API 流量那样提供对智能体式使用的多样化洞察。

通过使用我们的隐私保护基础设施从这两个来源获取数据,我们可以回答任何单一来源都无法回答的问题。

Claude Code 正在更长时间地自主工作

智能体实际上在没有人类参与的情况下运行多久?在 Claude Code 中,我们可以通过逐轮跟踪 Claude 开始工作到停止(无论是完成任务、提出问题,还是被用户中断)之间经过的时间,来直接衡量这一点。3

轮次时长是自主性的一个不完美代理指标。4 例如,能力更强的模型可以更快完成同样的工作,而子智能体允许同时完成更多工作,这两者都会推动轮次变短。5 与此同时,用户可能随着时间推移尝试更宏大的任务,这会推动轮次变长。此外,Claude Code 的用户群正在快速增长——因而也在不断变化。我们无法孤立地衡量这些变化;我们衡量的是这种相互作用净结果,包括用户让 Claude 独立工作多长时间、他们交给它的任务难度,以及产品本身的效率(产品效率每天都在提升)。

大多数 Claude Code 的回合都很短。回合时长中位数约为 45 秒,过去几个月这一时长仅有轻微波动(在 40 到 55 秒之间)。事实上,99 分位以下的几乎每个百分位都保持相对稳定。6 这种稳定性正是我们对一个快速增长产品的预期:当新用户采用 Claude Code 时,他们相对缺乏经验,而且——正如我们在下一节所展示的——不太可能给予 Claude 充分的自主空间。

更具揭示性的信号在尾部。最长的回合最能说明 Claude Code 最雄心勃勃的用途,也指向自主性的发展方向。2025 年 10 月至 2026 年 1 月间,99.9 分位的回合时长几乎翻倍,从不到 25 分钟增至超过 45 分钟(图 1)。


值得注意的是,这一增长在各模型发布之间是平滑的。如果自主性纯粹是模型能力的函数,我们会预期每次新模型发布都出现急剧跃升。这一趋势的相对平稳反而表明,有若干潜在因素在起作用,包括高级用户随时间推移建立起对工具的信任、将 Claude 应用于越来越宏大的任务,以及产品本身的改进。

自 1 月中旬以来,极端回合时长有所下降。我们推测有几个原因。首先,Claude Code 的用户群在 1 月至 2 月中旬之间翻了一番,更大、更多样化的会话群体可能重塑了分布。其次,随着用户结束假期归来,他们带给 Claude Code 的项目可能从业余项目转向了边界更明确的工作任务。最可能的情况是这些因素与我们尚未识别的其他因素共同作用的结果。

我们还研究了 Anthropic 内部的 Claude Code 使用情况,以了解独立性与实用性如何共同演进。从 8 月到 12 月,Claude Code 在内部用户最具挑战性任务上的成功率翻了一番,同时每次会话的平均人工干预次数从 5.4 次降至 3.3 次。7 用户正在给予 Claude 更多自主权,并且至少在公司内部,在需要更少干预的同时取得了更好的结果。

这两项测量都指向显著的部署落差:模型有能力处理的自主性超出了它们在实践中实际行使的范围。

将这些发现与外部能力评估进行对比是有益的。最广为引用的能力评估之一是 METR 的“Measuring AI Ability to Complete Long Tasks”,其估计 Claude Opus 4.5 能以 50% 的成功率完成人类需要近 5 小时的任务。相比之下,Claude Code 中 99.9 分位的回合时长约为 42 分钟,中位数则短得多。然而,这两项指标并不能直接比较。METR 评估捕捉的是模型在无人交互、无现实后果的理想化环境中的能力。我们的测量捕捉的是实践中的情况,即 Claude 会暂停征求反馈,用户也会打断。8 而 METR 的五小时数字衡量的是任务难度——即人类完成该任务需要多长时间——而非模型实际运行多长时间。

能力评估或我们的测量单独都无法完整描绘智能体自主性,但两者结合起来表明,实践中赋予模型的自主空间落后于它们能够处理的范围。

Claude Code 的资深用户更频繁地启用自动批准,但打断也更频繁

人类如何随时间调整与智能体协作的方式?我们发现,随着使用经验的积累,人们会授予 Claude Code 更多自主权(图 2)。新用户(少于 50 次会话)约有 20% 的时间采用完全自动批准;到 750 次会话时,这一比例升至超过 40% 的会话。

这种转变是渐进的,表明信任在稳步积累。同样重要的是,Claude Code 的默认设置要求用户手动批准每个操作,因此这一转变部分可能反映用户随着对 Claude 能力的熟悉,将产品配置为符合自己更偏好独立性的习惯。

批准操作只是监督 Claude Code 的一种方式。用户还可以在 Claude 工作时打断它,以提供反馈。我们发现打断率随经验增长而上升。新用户(约 10 次会话)在 5% 的轮次中打断 Claude,而更有经验的用户约在 9% 的轮次中打断(图 3)。

打断和自动批准都随经验增长而增加。这一表面矛盾反映了用户监督策略的转变。新用户更倾向于在每个操作执行前予以批准,因此很少需要在 Claude 执行中途打断。有经验的用户更倾向于让 Claude 自主工作,在出现问题或需要调整方向时介入。更高的打断率也可能反映用户更积极的监控——他们对何时需要干预有更敏锐的直觉。我们预计,随着用户形成稳定的监督风格,每轮打断率最终会趋于平稳,而事实上在最资深的用户中该曲线可能已经趋平(不过会话数较高时置信区间变宽,使这一点难以确认)。9

我们在公开 API 上看到了类似的模式:在最低复杂度的任务(如编辑一行代码)上,87% 的工具调用有某种形式的人类参与,而在高复杂度任务(如自主寻找零日漏洞或编写编译器)上,这一比例仅为 67%。10 这看似反直觉,但有两种可能的解释。第一,随着步骤数量增加,逐步批准变得不太现实,因此在结构上更难对复杂任务的每个操作进行监督。第二,我们的 Claude Code 数据表明,有经验的用户倾向于授予工具更多独立性,而复杂任务可能不成比例地来自有经验的用户。虽然我们无法直接衡量公开 API 上用户的资历,但整体模式与我们在 Claude Code 中观察到的一致。

综合来看,这些发现表明有经验的用户未必是在放弃监督。打断率与自动批准率随经验一同上升,说明存在某种形式的主动监控。这印证了我们此前提出的观点:有效的监督并不要求批准每一个操作,而是要在关键时刻能够介入。

Claude Code 为寻求澄清而暂停的频率高于人类打断它的频率

当然,人类并不是塑造自主性在实践中如何展开的唯一参与者。Claude 也是一个积极的参与者,当它不确定如何继续时,会停下来请求澄清。我们发现,随着任务复杂度的增加,Claude Code 请求澄清的频率也随之增加——而且比人类选择打断它的频率更高(图 4)。


在最复杂的任务上,Claude Code 请求澄清的频率是最低复杂度任务的两倍以上,这表明 Claude 对自身的不确定性有一定的校准能力。然而,重要的是不要夸大这一发现:Claude 可能并未在正确的时刻停下来,它可能会提出不必要的问题,而且其行为可能受到诸如 Plan Mode 等产品功能的影响。无论如何,随着任务变得更难,Claude 越来越多地通过停下来咨询人类来限制自身的自主性,而不是要求人类介入。11

表 1 展示了 Claude Code 停止工作以及人类打断 Claude 的常见原因。


这些发现表明,由智能体主动发起的停止是已部署系统中一种重要的监督方式。训练模型识别并依据自身的不确定性采取行动,是一项重要的安全属性,可与权限系统和人类监督等外部保障措施相辅相成。在 Anthropic,我们训练 Claude 在面对模糊任务时提出澄清问题,并鼓励其他模型开发者效仿。

智能体已被用于高风险领域,但尚未大规模应用

人们将智能体用于什么?这些部署的风险有多大?这些智能体的自主性如何?风险是否与自主性相互权衡?

为了回答这些问题,我们使用 Claude 来评估来自我们公共 API 的单个工具调用中所存在的相对风险和自主性,评分范围为 1 到 10。简而言之,风险评分为 1 反映的是即使出错也不会产生后果的操作,风险评分为 10 则涵盖可能造成重大伤害的操作。我们以相同的量表对自主性进行评分,其中低自主性意味着智能体似乎在遵循明确的人类指令,而高自主性意味着它在独立运作。13 然后我们将相似的操作归入聚类,并计算每个聚类的平均风险和自主性评分。

表 2 提供了处于风险和自主性两极的聚类示例。

鉴于我们对这些智能体的可见性有限,这些操作有可能是模拟的(例如,我们无法确定 Claude 下达的金融交易是否实际执行,并且我们认为许多“数据外泄”都是评估)。而且,尽管这些较高风险的操作在整体流量中所占比例很小,但单次错误的后果仍可能十分严重。

我们发现,80% 的工具调用来自似乎至少具备一种保障措施(如受限权限或人工审批要求)的智能体,73% 似乎以某种方式有人类参与其中,只有 0.8% 的操作似乎是不可逆的(例如向客户发送电子邮件)。14

为了可视化所有聚类中风险和自主性的联合分布,我们按每个聚类在两个维度上的平均得分进行绘制。图 5 中的每个点对应一个相关操作的聚类,其位置由平均风险和自主性决定。

我们在公共 API 上的绝大多数操作都是低风险的。不过,尽管大多数智能体部署相对温和,我们还是在风险与自主性的前沿看到了一些新颖的用法。15 风险最高的那些集群——同样,我们预计其中许多是评估——往往涉及敏感的安全相关操作、金融交易和医疗信息。虽然风险集中在量表的低端,但自主性的差异更大。在低端(自主性评分为 3-4),我们看到智能体为人类完成小型、范围明确的任务,比如预订餐厅或对代码做小幅调整。在高端(自主性评分高于 6),我们看到智能体向数据科学竞赛提交机器学习模型,或对客户服务请求进行分诊。

我们还预计,在风险与自主性两端运行的智能体将变得越来越普遍。如今,智能体集中在单一行业:软件工程占我们公共 API 上工具调用的近 50%(图 6)。除编程之外,我们在商业智能、客户服务、销售、金融和电子商务领域看到了一些较小的应用,但它们的流量占比都不超过几个百分点。随着智能体扩展到这些领域——其中许多领域比修复 bug 风险更高——我们预计风险与自主性的前沿将会扩大。

这些模式表明,我们正处于智能体采用的早期阶段。软件工程师是最早大规模构建和使用智能体工具的人,而图 6 表明其他行业也开始尝试使用智能体。16 我们的方法使我们能够监测这些模式如何随时间演变。值得注意的是,我们可以监测使用情况是否倾向于更自主、更高风险的任务。

虽然我们的总体数字令人安心——大多数智能体操作风险低且可逆,而且通常有人类在环——但这些平均值可能掩盖前沿的部署情况。采用集中在软件工程,加上新领域不断增长的试验,表明风险与自主性的前沿将会扩大。我们在文末的建议中讨论了这对模型开发者、产品开发者和政策制定者意味着什么。

局限性

这项研究只是一个开始。我们仅提供了对智能体活动的部分视角,我们希望坦诚说明我们的数据能告诉我们什么、不能告诉我们什么:

  • 我们只能分析来自单一模型提供商 Anthropic 的流量。基于其他模型构建的智能体可能表现出不同的采用模式、风险特征和交互动态。
  • 我们的两个数据源提供了互补但不完整的视角。公共 API 流量让我们覆盖数千个部署的广度,但我们只能孤立地分析单个工具调用,而非完整的智能体会话。Claude Code 为我们提供完整会话,但仅限于一个绝大多数用于软件工程的产品。我们的许多最有力发现都基于 Claude Code 的数据,可能无法推广到其他领域或产品。
  • 我们的分类由 Claude 生成。我们为每个维度提供一个退出类别(例如“无法推断”“其他”),并在可能的情况下对照内部数据进行验证(详见我们的附录),但由于隐私限制,我们无法人工检查底层数据。一些保障措施或监督机制也可能存在于我们所能观察到的范围之外。
  • 本分析反映的是一个特定时间窗口(2025 年末至 2026 年初)。智能体的格局正在快速变化,随着能力提升和采用演进,模式也可能发生转变。我们计划随时间推移扩展这一分析。
  • 我们的公共 API 样本是在单个工具调用的层面抽取的,这意味着涉及大量连续工具调用的部署(例如需要反复编辑文件的软件工程工作流)相对于以更少动作达成目标的部署而言被过度呈现。这种抽样方式反映的是智能体活动的数量,但不一定反映智能体部署或使用的分布。
  • 我们研究 Claude 在我们的公共 API 上使用的工具以及这些动作周围的上下文,但对我们客户在公共 API 之上构建的更广泛系统,我们的可见性有限。一个在 API 层面看似自主运行的智能体,其下游可能存在我们无法观察到的人工审核。特别是,我们的风险、自主性和人工参与分类反映的是 Claude 能从单个工具调用的上下文中推断出的内容,并不区分在生产环境中采取的动作与作为评估或红队演练一部分采取的动作。若干最高风险的集群似乎是安全评估,这凸显了我们对每个动作周围更广泛上下文可见性的局限。

展望未来

我们正处于智能体采用的早期阶段,但自主性正在提高,更高风险的部署正在出现,尤其是随着像 Cowork 这样的产品让智能体更易获取。下面,我们为模型开发者、产品开发者和政策制定者提供建议。鉴于我们才刚刚开始测量真实环境中的智能体行为,我们避免给出强硬的规定,而是强调未来工作的方向。

模型和产品开发者应投资于部署后监控。部署后监控对于理解智能体的实际使用方式至关重要。部署前评估测试的是智能体在受控环境中的能力,但我们的许多发现无法仅通过部署前测试观察到。除了理解模型的能力之外,我们还必须理解人们在实践中如何与智能体交互。我们在此报告的数据之所以存在,是因为我们选择构建了收集这些数据的基础设施。但还有更多工作要做。我们还没有可靠的方法将发往公共 API 的独立请求关联成连贯的智能体会话,这限制了我们对于 Claude Code 等第一方产品之外的智能体行为的了解。以保护隐私的方式开发这些方法,是跨行业研究与协作的一个重要领域。

模型开发者应考虑训练模型识别自身的不确定性。训练模型识别自身的不确定性并主动向人类暴露问题,是一项重要的安全属性,可与人工审批流程和访问限制等外部保障措施相辅相成。我们训练 Claude 做到这一点(我们的分析显示,Claude Code 提出问题的频率高于人类打断它的频率),我们也鼓励其他模型开发者这样做。

产品开发者应围绕用户监督进行设计。对智能体的有效监督,远不止是把人放进审批链条。我们发现,随着用户对智能体越来越熟悉,他们往往会从逐个批准单个操作,转向监控智能体的行为并在需要时介入。例如在 Claude Code 中,经验丰富的用户自动批准的次数更多,但打断的次数也更多。我们在公开 API 上也看到了相关模式:随着目标复杂度的提高,人类的参与似乎反而减少。产品开发者应投入建设工具,让用户能够可信地了解智能体正在做什么,并提供简单的干预机制,使他们在出现问题时能够重新引导智能体。这是我们持续为 Claude Code 投入的方向(例如通过实时引导和OpenTelemetry),我们也鼓励其他产品开发者这样做。

现在强制规定具体的交互模式还为时过早。我们确实有信心给出指导的一个方面,是不要强制规定什么。我们的发现表明,有经验的用户会从批准智能体的单个操作,转向在需要时进行监控和介入。规定具体交互模式的监督要求(例如要求人类批准每一个操作)会制造摩擦,却未必带来安全收益。随着智能体和智能体度量科学的成熟,重点应放在人类是否处于能够有效监控和介入的位置,而不是要求特定形式的参与。

这项研究的一个核心教训是:智能体在实践中行使的自主性,是由模型、用户和产品共同构建的。Claude 在不确定时会停下来提问,从而限制自身的独立性。用户在与模型协作的过程中建立信任,并相应调整自己的监督策略。我们在任何部署中观察到的现象,都源于这三股力量的共同作用,因此仅靠部署前评估无法完整刻画它。要理解智能体的实际行为,需要在真实世界中对它们进行测量,而支撑这一点的基础设施仍处于早期阶段。

附录

更多细节请参见本文的PDF 附录。

来源:Anthropic 官方(新闻+研究) · anthropic.com