跳到正文
原文
机器之心(公众号)·· 1 天前AI 评分12

阿里千问提出 TRACE:FP4 W/A+FP4 KV 强化学习也能又快又稳,Rollout 最高加速 5.4 倍

FP4 W/A+FP4 KV的强化学习也能「又快又稳」:阿里千问提出TRACE,Rollout最高加速5.4倍

AI 导读

阿里千问联合俄亥俄州立大学提出 TRACE,用 Rollout 侧真实 FP4 量化结果反向指导训练侧舍入方向,缩小两条低精度路径的差异。

来源:机器之心(公众号) · mp.weixin.qq.com