Q Labs 推出 Dust：不用反向传播也能预训练 Transformer

Q Labs 提出零阶优化方法 Dust，通过给每层激活值按 token 独立加高斯噪声、构建「虚拟种群」，在 Transformer 预训练中绕开反向传播。实验最大做到 2.43 亿参数、2000 万 token，部分设置下效果超过反向传播，但成本仍高出数个数量级。第三方复现显示，反向传播换用更合适的优化器后仍明显领先。