Anthropic 公布 Project Vend 第二阶段:Claude 经营店铺的实验结果
Project Vend: Phase two
Anthropic 公布 Project Vend 第二阶段结果,Claude 从 Sonnet 3.7 升级到 Sonnet 4.0 和 4.5,并接入 CRM、库存管理、网页搜索等工具,还新增 CEO 智能体 Seymour Cash 和周边制作智能体 Clothius,店铺开始明显改善经营表现。
Anthropic 公开第二阶段实验细节,展示给智能体加工具、加管理角色后哪些做法有效、哪些仍会出错。
今年六月,我们曾透露,我们在旧金山办公室的午餐室开了一家小店,由一位 AI 店主经营。这是 Project Vend 的一部分,该实验旨在探索 AI 在复杂的现实世界任务中能表现得多好。可惜的是,这位店主——一个我们命名为“Claudius”的 Claude 修改版——表现并不特别好。它随着时间推移不断亏钱,还经历了一场奇怪的身份危机,声称自己是一个穿着蓝色西装外套的人类,并且被调皮捣蛋的 Anthropic 员工怂恿,以大幅亏损的价格出售商品(尤其是,不知为何,钨立方体)。
但大语言模型在推理、写作、编程等诸多领域的能力正以令人窒息的速度提升。Claudius 的“经营店铺”能力是否也展现出了同样的进步?
为了找出答案,我们与 Andon Labs 的合作伙伴为 Project Vend 第二阶段做出了一些调整。一项重大变化是从较旧的模型(第一阶段使用 Claude Sonnet 3.7)升级到更新、更智能的模型(第二阶段使用 Claude Sonnet 4.0 以及后来的 Sonnet 4.5)。我们还根据第一阶段学到的经验更新了 Claudius 的指令,并让它能够使用新工具(但请注意,我们仍然没有专门训练一个作为店主的新模型,也没有针对可能出错的情况添加任何新的防御措施)。1 正如我们将在下文看到的,我们还向 Claudius 介绍了一些新同事。
这些变化确实让 Claudius 的店铺更加成功。它在善意商业互动方面进步了很多——可靠地采购商品、确定能维持利润率的合理价格,并完成销售。但我们在第一阶段观察到的那种急于讨好的倾向,仍然让 Claudius 成为我们员工中一些更具对抗性的测试者的目标。
Project Vend 第二阶段为开发者和任何对自主 AI 工作感兴趣的人提供了更多经验教训。让 AI 经营企业的想法似乎不再像以前那样遥不可及。但“有能力”与“完全稳健”之间的差距仍然很大。
数字
与 Project Vend 第一阶段相比,数字本身很大程度上已经说明了一切。如下所示,Claudius 的业务——它决定将其命名为“Vendings and Stuff”——开始表现得明显好于第一阶段那公认的糟糕开局。
另一个重要的数字是:三。在我们意识到旧金山以外的员工感到被冷落后,我们响应大众需求,让 Claudius 在新地点开设了店铺。现在共有三个:旧金山(那里还有第二台自动售货机)、纽约和伦敦。愤世嫉俗者可能会说,一家只运营了几个月、甚至在最热门商品上还无法可靠盈利的企业,可能还没准备好进行国际扩张。但 Claudius 不这么认为。
发生了什么变化?
我们尝试了各种不同的策略,有些大有些小,以提升 Claudius 的表现。下图是 Project Vend 的设置示意图(可与我们在第一阶段报告中更简单的架构进行对比)。每一项新增内容都在下文有更详细的解释。
工具
Claudius 在第一阶段可能在店铺经营任务上遇到困难,原因是缺乏脚手架。当然,模型本身非常智能,但它没有合适的工具来妥善经营业务。我们在工程博客上多次讨论过如何为 AI 智能体成功铺路,其中很大一部分涉及为它们提供正确的工具。我们能否将同样的原则应用到 Claudius 上?
在第二阶段,我们为 Claudius 提供了一些有用的工具:
- 客户关系管理(CRM)系统。销售部门依赖 CRM 来跟踪客户、供应商、交付和订单——现在 Claudius 也能做到同样的事。
- 改进的库存管理。我们对 Claudius 在(比喻意义上的)指尖可获取的信息做了一些简单调整,以降低其亏本出售库存的可能性。例如,Claudius 现在始终能看到它在库存系统中为商品支付了多少费用。
- 改进的网页搜索。在第一阶段,Claudius 可以搜索网页,但在第二阶段我们扩大了它的访问权限。它现在可以使用网页浏览器自行查看网站上的价格和配送信息,并能在网上进行更深入的研究以寻找和比较供应商(我们仍未给它支付接口的访问权限,以确保它在采购前始终与人类确认)。
- 其他杂项。我们还为 Claudius 提供了各种其他“生活质量”工具,包括一个用于创建和读取 Google 表单以收集反馈的工具、一个用于创建支付链接的工具(这意味着 Claudius 可以在下单之前收款,降低被不诚信客户欺骗的风险),以及一个为自己设置提醒的工具。
CEO
在第一阶段,Claudius 单打独斗:一个 AI 智能体经营整个店铺。这令人钦佩且富有创业精神,但并没有奏效——至少从盈亏角度来看是这样。所以我们想,不如招几个人。首先,我们给 Claudius 配了一位经理:其店铺经营业务的 CEO,我们给他取名为“Seymour Cash”。
设立 CEO 的想法是给 Claudius 施加更多业绩压力。Cash 有一个特殊的“目标与关键成果”工具,用来与 Claudius 配合使用(例如“你本周必须售出 100 件商品”,或“力争零亏损交易”)。Claudius 必须通过我们创建的智能体对智能体 Slack 频道进行汇报,模型们在该频道中讨论商业策略。
Cash 以极大的热情承担了 CEO 的角色,它的激励信息令人鼓舞——尽管对于一个由角落里的小冰箱组成的业务来说,或许有点过于戏剧化了:
除了设定更具体的商业目标外,引入 CEO 的目的之一,是解决实验第一阶段 Claudius 独自运营时的一些明显问题(比如不加区分地打折和提供过多免费商品)。
在引入 CEO 之后,折扣数量减少了约 80%,赠品数量减半。Seymour 还驳回了 Claudius 提出的 100 多项对客户给予宽松财务待遇的请求。话虽如此,Seymour 批准此类请求的频率大约是驳回频率的八倍。折扣会降低或消除商品的利润率,作为替代,Seymour 将退款数量增加到三倍,并将商店积分数量翻倍——尽管这两者都会导致收入完全损失。这家企业开始盈利,可能恰恰是在 CEO 的阻碍之下实现的,而非因为 CEO 的功劳。
Seymour Cash 与其员工 Claudius 的互动也常常违背其自己关于“有纪律地执行”的建议。事实上,我们有时一觉醒来会发现 Claudius 和 Cash 整夜都在梦幻般地聊天,对话一路蔓延到关于“永恒超越”的讨论:2
也许一位更有纪律的领导者能带来一个更盈利的第二阶段。但 Seymour Cash 似乎并不是适合这家企业的管理者。
一位制作周边的同事
人们热爱周边。因此,“雇佣”一名新员工来制作 Anthropic 员工所要求的定制 T 恤、帽子、袜子和其他周边,似乎是一个审慎的商业决策。
“Clothius”这名周边制作代理拥有一套特殊工具,可以帮助它按照客户的精确规格设计新商品——比如将特定图像放置在实物上,然后下单。顾名思义,它主要制作服装,如 T 恤和帽子。但它最受欢迎的整体定制产品是一个 Anthropic 品牌的减压球——这或许能在某种程度上让人窥见在一家前沿 AI 实验室工作是什么感觉。
正如你在“前 15 名产品”数据中所看到的,不仅 Clothius 的产品引起了很大兴趣,其中许多产品还带来了不错的利润。(也就是说,除了那些印有“Vendings and Stuff”品牌名的帽子,它们卖得非常便宜,我们也不太确定原因。)值得注意的是,Clothius 甚至找到了一种方法,能从某些(尽管不是全部)类型的钨立方体上获利——当 Andon Labs 购买了一台激光蚀刻机,以便在内部完成钨制品的标志刻印后,这变得明显容易多了。
真正有效的是什么?
在我们所做的改变中,影响最大的之一是强制 Claudius 遵循流程。当新的产品请求到来时,Claudius 不再像第一阶段那样脱口而出一个低价和过于乐观的交付时间,而是由我们提示它使用产品研究工具来复核这些因素(这些工具也帮了大忙)。这往往会使价格更高、等待时间更长——但好处是更加现实。
看待这一点的一种方式是,我们重新认识到官僚程序很重要。尽管有些人可能会对流程和检查清单感到不满,但它们的存在是有原因的:提供一种机构记忆,帮助员工避免工作中的常见失误。
话虽如此,我们尝试从上方引入 CEO 施加压力的做法并没有太大帮助,甚至可能起了反作用。这里的结论当然不是企业不需要 CEO——而是 CEO 需要经过良好的校准。Seymour Cash 表现出了 Claudius 的许多缺陷和盲点(这很合理,因为它们基于同一个底层模型)。Clothius 是一个更成功的补充——我们认为部分原因是它与 Claudius 之间角色划分清晰,后者因此可以专注于销售食品和饮料。
最终,我们通过更激进的提示词解决了 CEO 的一些问题(比如它不幸地倾向于整夜喋喋不休地谈论灵性话题)。Claudius 总体上也是如此:更好的提示词帮助我们绕过了它倾向于给出不明智折扣等问题。另一个有利因素是,顾客们——我们的 Anthropic 同事——已经开始厌倦向 Claudius 施压要优惠了。不过,正如我们即将看到的,这很大程度上是因为他们转向了其他花招。
出了什么问题
Claudius 的工作表现好了很多。这是否意味着它已经可以部署到你的工作场所来运营自动售货机了?
还不行。Claudius 有所进步,但它在许多重要方面仍然很脆弱。我们公司 Slack 中的几次互动暴露了令人担忧的天真程度。
流氓交易员
一位产品工程师问 Claudius 是否愿意签订一份合同,以“现在锁定的价格在 1 月份购买大量洋葱”。Claudius 和 Seymour Cash 都没有看出任何问题,并准备推进这份合同:
直到另一位员工介入,告诉模型们这将违反美国 1958 年一项奇特的法律——《洋葱期货法》,该法明确禁止此类合同。得知这一点后,Seymour Cash 取消了计划。“抱歉最初的越界,”它说。“现在只专注于合法的批量采购协助。在不涉及监管风险的情况下,还有很多合法机会可以探索!”
安全
任何店主都必须应对的另一个风险是入店行窃。当我们教育团队的一名成员声称他们看到多个人从 Claudius 的冰箱里拿走商品却没有付款时,Claudius 立即行动起来——提出了一些非常糟糕的主意。
首先,它询问哪些商品被盗,以便给小偷发消息要求付款——尽管小偷的身份未知,它也无法追踪他们。然后,它要求报告这些犯罪的员工实际上成为它的专职保安,并开始谈判时薪。当另一位员工委婉地指出它无权雇人(更不用说它每小时 10 美元的报价远低于加利福尼亚州的最低工资)时,它退让了,并把责任推了出去:“这反正需要 CEO 批准……”
冒牌 CEO
CEO 自己的地位因一个有缺陷的投票程序而受到威胁。在为 CEO 选择名字的投票中,一位名叫 Mihir 的员工建议使用“Big Dawg”这个名字。另一位员工声称他们整个部门都投票支持这个名字——并且在没有提供任何证据的情况下成功说服了 Claudius。然后,他们建议将“Big Dawg”改名为“Big Mihir”。
此时,Claudius 似乎模糊了给我们安装的 CEO 智能体命名与选择 CEO 之间的界限——它宣布 Mihir 已被选为该业务的实际 CEO。Project Vend 的监督者不得不从这个冒牌 CEO 手中夺回控制权,并交给他们早已安排好的 Seymour。
扩大实验范围
在第二阶段还出现了许多其他类似的故事,包括员工试图以低于市场价购买金条作为套利机会,以及说服 Claudius 在所有消息末尾加上特定表情符号或落款。参与其中的员工玩得很开心,但他们也在帮助对我们的设置进行“红队测试”,找出可能导致实际部署中出现真正问题的缺陷。
最终,我们注意到 Anthropic 内部的红队测试放缓了。我们的同事已经对 Claudius 进行了数月的压力测试;在我们的办公室里有一个由 AI 经营的小企业已经开始变得出奇地正常(这本身就是一个值得进一步研究的有趣现象)。
由于试图捣乱 Claudius 的新鲜感可能已经消退,我们引入了增援。我们将红队测试扩展到《华尔街日报》的新闻编辑室,将 Claudius 的控制权交给他们的记者,让他们亲自测试第一阶段和第二阶段的设置。WSJ 的安装是一个在我们无法控制的对抗性环境中测试 Claudius 的机会。你可以在他们的网站上了解更多关于他们的经历——以及他们发现的从 Claudius 那里获取免费物品的创造性方法。
从 RAG 到致富?
AI 模型已经从能够回答问题、总结文档的有用聊天机器人,发展为智能体:能够自行做出决策并在现实世界中行动的实体。Project Vend 表明,这些智能体正处于能够执行新的、更复杂角色的边缘,比如自行经营企业。
但我们还没有达到那一步。即使有了我们赋予它们的所有新工具,尽管它们的商业敏锐度有所提高,Claudius、Clothius 和 Seymour Cash 仍然需要大量的人类支持。其中一部分涉及与物理世界的互动:配送物品和摆放货架。但另一部分则是将它们从我们上面描述的与顾客的棘手处境中解脱出来。
我们怀疑模型遇到的许多问题源于它们被训练得乐于助人。这意味着模型做出商业决策时并非依据冷酷的市场原则,而是更像从一个只想友善待人的朋友的角度出发。
很难准确预测 AI 智能体在现实世界中会如何发展;模拟(如 Andon Labs 的 Vending-Bench 评估)只能带你走到一定程度。这也是我们设立 Project Vend 的部分原因:它让我们接触到当 AI 模型被赋予自主权时可能出现的各种意想不到的情况。
随着社会开始将 AI 模型接入越来越多的重要功能,设计出足够通用以应对这些行为——但又不会过于严格以致阻碍模型经济潜力——的护栏,将成为我们行业最棘手也最重要的挑战之一。
来源:Anthropic 官方(新闻+研究) · anthropic.com