复旦创智OpenMOSS团队提出混合位置架构：滑窗注意力与线性注意力全都要

复旦创智邱锡鹏团队发表《混合架构的长文力学》，在376M至3B四种规模上比较RoPE/NoPE全注意力、滑窗注意力与GLA/GDN门控线性注意力的混合架构，提出"混合位置"思路。研究发现滑窗混合长度外推更强但扩长训练被线性混合反超，并提出滑窗线性注意力SWLA，在RULER NIAH-SK1任务上实现4k到64k的16倍免训练外推且保持100%准确率。