新智元(公众号)·· 13 小时前AI 评分10
NeurIPS 2026 | OASIS 给注意力加"弃权"选项,改善长上下文与低比特鲁棒性
NeurIPS'26 | 注意力也能弃权!改善长上下文、低比特鲁棒性
AI 导读
西北大学、伊利诺伊理工学院、罗格斯大学等机构提出 OASIS,为 AttnResidual 的 token 层与 depth 层路由各加显式 null 选项,并用 token 层 null 概率协调跨层分支选择,论文已被 NeurIPS 2026 接收。
来源:新智元(公众号) · mp.weixin.qq.com