机器之心(公众号)·· 1 天前AI 评分12
LeCun 论文证明:下一 token 预测路线效率低,1.09 亿参数模型对齐效果超过 720 亿 LLM
LeCun证明了:规模从未起作用,下一token路线效率低
AI 导读
LeCun 参与提交的论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》从数学上论证了下一 token 预测路线效率低下,并提出用「好视图」JEPA 训练替代。
来源:机器之心(公众号) · mp.weixin.qq.com