热点事件持续更新
复旦OpenMOSS提出混合位置架构
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
2026年11月1日，复旦创智OpenMOSS团队（邱锡鹏团队）发表《混合架构的长文力学》，在376M至3B四种规模上比较RoPE/NoPE全注意力、滑窗注意力与GLA/GDN门控线性注意力的混合架构，提出“混合位置”思路。研究发现，滑窗混合的长度外推能力更强，但在扩长训练后被线性混合反超；团队据此提出滑窗线性注意力SWLA，在RULER NIAH-SK1任务上实现4k到64k的16倍免训练外推，并保持100%准确率。
AI 根据报道生成 · 3 小时前更新
最新进展11月1日 12:00
团队提出滑窗线性注意力SWLA，实现4k到64k免训练外推且准确率100%。报道时间线
沿着报道，了解事件的不同侧面。
11月1日
- 机器之心（公众号）复旦创智OpenMOSS团队提出混合位置架构：滑窗注意力与线性注意力全都要
复旦创智邱锡鹏团队发表《混合架构的长文力学》，在376M至3B四种规模上比较RoPE/NoPE全注意力、滑窗注意力与GLA/GDN门控线性注意力的混合架构，提出"混合位置"思路。研究发现滑窗混合长度外推更强但扩长训练被线性混合反超，并提出滑窗线性注意力SWLA，在RULER NIAH-SK1任务上实现4k到64k的16倍免训练外推且保持100%准确率。
本事件热度走势
当前热度 8·可比范围峰值 8（11月1日 19:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。