亚马逊与杜克大学研究：大模型后训练中万分之一 token 监督即可提升推理能力

亚马逊与杜克大学研究发现，在大模型后训练中每条 rollout 仅随机保留一个 token 的梯度信号（约 0.025%），学生模型推理能力仍显著提升。基于 Qwen3 系列的 9 组教师—学生配置中，保留分歧最大的 1-2 个 token 可匹配甚至超过全信号训练，且仅更新 10% 网络参数。该现象在代码推理、Llama 系列及 PPO 的 RLVR 场景中同样成立。