新智元(公众号)·· 3 天前AI 评分22
清华团队开源 Puro-2B:RTX 5090 预训练成本不到 5090 美元
小团队也能预训练!普罗2B:RTX5090训练成本不到5090美元
AI 导读
清华大学陈文光、吕凯风团队开源全流程预训练方案 Puro-2B(普罗-2B),在 RTX 5090 集群上从头训练约 20 亿参数模型,最多使用 1.4 万亿 token,约 4400 美元的预训练计算成本即可在 15 项任务平均指标上超过 Qwen2-1.5B,6900 美元版本接近 Qwen2.5-1.5B。
来源:新智元(公众号) · mp.weixin.qq.com