跳到正文
原文
新智元(公众号)·· 6 天前AI 评分12

注意力也是FFN?北邮团队提出MiTA五维框架,重新理解高效注意力 | NeurIPS 2026

注意力也是FFN?从快权重出发,重新理解高效注意力 |NeurIPS'26

AI 导读

北京邮电大学团队提出 Mixture-of-Top-k Attention(MiTA),将快权重视角发展为五维分类框架,用少量地标查询构造可复用的 Top-k 专家与全局共享专家,该工作已被 NeurIPS 2026 接收并开源代码。

来源:新智元(公众号) · mp.weixin.qq.com