机器之心(公众号)·· 9 小时前AI 评分20
SC26 论文:清华翟季冬团队八卦炉 2 让万卡集群运行时自适应化解显存尖峰
SC26 顶会论文:八卦炉 2—— 让万卡集群学会临场应变
AI 导读
清华大学翟季冬团队主导的八卦炉 2(BaGuaLu-2)被 SC26 录用,可在 MoE 训练中运行时自适应化解显存尖峰,无需停任务或改配置。系统在万卡智算中心实测覆盖 128 至 12,288 张海光 DCU、188B 至 1.04 万亿参数,平均吞吐比基线高 1.14×,12,288 卡下总吞吐 2.012 EFLOPS、平均 MFU 32.9%。核心代码已在 GitHub 开源。
来源:机器之心(公众号) · mp.weixin.qq.com