机器之心(公众号)·· 1 天前AI 评分20
NeurIPS 2026 | SpanUQ 提出 Span 级不确定性估计,推理速度提升 10~20 倍
NeurIPS 2026 | 从Token到Span:重新思考大语言模型的不确定性估计
AI 导读
亚马逊提出 SpanUQ,将大模型不确定性估计从 Token 级推进到语义片段(Span)级,可精准定位回答中不可靠的内容。SpanUQ 是一个约 25M 参数的轻量级 Probe,利用预训练 LLM 的 Hidden States 单次前向传播完成语义片段检测与不确定性估计,推理速度比传统多次采样方法快 10~20 倍。
来源:机器之心(公众号) · mp.weixin.qq.com