跳到正文
原文
新智元(公众号)·· 13 小时前AI 评分10

NeurIPS 2026 | OASIS 给注意力加"弃权"选项,改善长上下文与低比特鲁棒性

NeurIPS'26 | 注意力也能弃权!改善长上下文、低比特鲁棒性

AI 导读

西北大学、伊利诺伊理工学院、罗格斯大学等机构提出 OASIS,为 AttnResidual 的 token 层与 depth 层路由各加显式 null 选项,并用 token 层 null 概率协调跨层分支选择,论文已被 NeurIPS 2026 接收。

来源:新智元(公众号) · mp.weixin.qq.com