美团图灵团队详解 Agent 评测:从评测体系搭建到长程 Agent 观测演进
美团图灵 Agent 评测团队公开内部博客,由浅入深介绍 Agent 评测,前两章讲评测是什么以及如何建立评测体系,第二章的方法论来自团队两年深入各业务团队的实践。
美团图灵 Agent 评测团队公开内部博客,由浅入深介绍 Agent 评测,前两章讲评测是什么以及如何建立评测体系,第二章的方法论来自团队两年深入各业务团队的实践。
Ethan Mollick 提出,通用基准难以衡量写作、共情与商业判断等能力,企业应像招聘一样对 AI 做严格面试。他引用 OpenAI 的 GDPval 研究:专家用平均 14 年经验设计需 4 到 7 小时完成的真实任务,再由第三方专家盲评,结果显示最强模型在软件开发、个人理财顾问等任务上超过人类,而药剂师、工业工程师和房产经纪人明显胜过最好的 AI,且不同模型表现各异。
Ethan Mollick 认为 AI 智能体已能完成有经济价值的真实任务。他让 Claude Sonnet 4.5 仅凭论文与复现数据包,自行读取论文、把 STATA 统计代码转成 Python 并完成复现,结果经 GPT-5 Pro 二次验证通过;OpenAI 的新测试中人类专家仅以微弱优势胜出,且 AI 失分主因是格式与指令遵循而非幻觉。