跳到正文
原文
新智元(公众号)·· 5 小时前AI 评分22

复旦等机构提出 LoLBench:5000 词需求文档下,28 种 Agent 组合最高解决率仅 14%

5000词需求文档,Claude也只能交付14%!实测28种Agent组合

AI 导读

复旦大学、香港城市大学等机构提出 LoLBench,把 Agent 放进平均约 240 万行源代码的软件系统,评估从功能提案到模块交付的完整过程。6 个前沿模型与 5 个脚手架共 28 种组合中,Opus 5 搭配 Claude Code 或 mini-SWE-agent 以 14% 解决率并列最高,全部组合中位数仅 2%。

来源:新智元(公众号) · mp.weixin.qq.com