热点事件持续更新
得物分享昇腾910C大模型推理优化实践
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
2026年10月26日,得物技术通过公众号公开其在昇腾910C上进行大模型推理优化的实践,涉及vllm-ascend的源码与算子层改造。报道称,优化手段包括MoE共享专家多流重叠、decode阶段host侧开销削减,以及采样与MTP投机解码路径改造;在c=1场景下,TPOT由8.2ms降至8.0ms,整体提速约30%。目前该实践以技术分享形式披露,尚无后续进展报道。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 18:30
得物技术公开昇腾910C上vllm-ascend源码与算子优化,c=1场景TPOT降至8.0ms。报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- 得物技术(公众号)昇腾 910C 大模型推理优化:vllm-ascend 源码与算子改造提速 30%
得物技术公开昇腾 910C 上 vllm-ascend 的源码与算子层优化实践,通过 MoE 共享专家多流重叠、decode host 侧开销削减、采样与 MTP 投机解码路径改造,将 c=1 场景 TPOT 从 8.2ms 压到 8.0ms。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。