跳到正文
热点事件历史事件

南大团队发布TestPrism基准,揭示Coding Agent测试合格率被高估

1 篇报道1 个报道来源5 天前更新

先了解这件事

AI 综述

2026年11月12日,新智元报道南京大学刘佳恒团队提出测试生成基准TestPrism,用于检验Coding Agent所写测试的可靠性。该基准包含300个任务和3000个候选实现,核心指标JSF要求测试同时拒绝所有错误实现并接受所有正确实现。报道称,Coding Agent在写测试上集体失败,AI代码合格率被高估一倍。目前该报道为事件最新进展,尚无后续报道补充或修正相关数字与结论。

AI 根据报道生成 · 4 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月12日
  1. 新智元(公众号)
    南京大学团队发布 TestPrism:Coding Agent 写测试集体失败,AI 代码合格率被高估一倍

    南京大学刘佳恒团队提出测试生成 Benchmark TestPrism,用 300 个任务、3000 个候选实现检验测试可靠性,核心指标 JSF 要求测试同时拒绝所有错误实现并接受所有正确实现。

本事件热度走势

当前热度 3·可比范围峰值 9(11月12日 18:00)·近 24 小时可比范围变化 -51%

02.557.51011月12日18:0011月13日08:0011月13日22:0011月14日12:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。