机器之心(公众号)·· 19 天前AI 评分34
无问芯穹联合清华、上海交大开源端侧推理引擎 APXInf,π0.5 推理提速 10.7 倍
提速10.7倍!这个端侧推理引擎一开源,机器人本体跑大模型终于不卡了
AI 导读
清华大学联合无问芯穹与上海交通大学开源面向具身模型的端侧推理引擎 APXInf,在不改动 π0.5 模型的前提下,于 Thor 芯片 FP8 配置下将推理延迟从 278ms 降至 26ms,端到端提速约 10.7 倍,达到 38.46Hz 的实时控制频率。
来源:机器之心(公众号) · mp.weixin.qq.com