得物技术(公众号)·· 10 小时前AI 评分18
昇腾 910C 大模型推理优化:vllm-ascend 源码与算子改造提速 30%
国产算力·昇腾 910C 大模型推理优化(下):源码修改与算子优化,提速30%|得物技术
AI 导读
得物技术公开昇腾 910C 上 vllm-ascend 的源码与算子层优化实践,通过 MoE 共享专家多流重叠、decode host 侧开销削减、采样与 MTP 投机解码路径改造,将 c=1 场景 TPOT 从 8.2ms 压到 8.0ms。
来源:得物技术(公众号) · mp.weixin.qq.com