机器之心(公众号)·· 2 天前AI 评分22
港科大与华为提出 BalanceRoute:破解大模型推理数据并行负载均衡瓶颈,解码吞吐提升约 15%
卡加了,吞吐为何没跟上?大模型推理中的等待,有了新解法
AI 导读
香港科技大学周子杰团队与华为 2012 实验室理论部联合提出 BalanceRoute,通过数学建模刻画同步等待、将短期负载预测转化为在线路由决策,在 96 卡主实验中解码吞吐相对最强基线提升约 15%。该工作已被 NeurIPS 2026 接收,并已部署于双方共建的 MaaS 推理服务系统 MathBot-Pie。
来源:机器之心(公众号) · mp.weixin.qq.com