得物技术(公众号)·· 12 小时前AI 评分22
昇腾 910C 大模型推理优化:镜像更新与参数调优让 Qwen3.5-35B-A3B 提速 40%
国产算力·昇腾 910C 大模型推理优化(上):镜像更新与参数调优,提速 40%|得物技术
AI 导读
得物技术团队在华为昇腾 910C 上优化 Qwen3.5-35B-A3B 在线推理,仅通过镜像版本升级与参数调优,c=1 的 TPOT 从基线 14.22ms 降至 7.8ms,下降 45.1%。
来源:得物技术(公众号) · mp.weixin.qq.com