机器之心（公众号）·· 14 小时前AI 评分15
百度开源文心 5.5 Flash Base 预训练基模，主打效率
刚刚，百度开源全新预训练基模，还是主打效率的Flash
AI 导读
百度 11 月 5 日发布并开放文心 5.5 Flash Base（ERNIE 5.5 Flash Base）权重，这是一个总参数 280B、每 token 激活 14B 的稀疏 MoE 语言模型，在 33.5T tokens 上从零预训练，训练上下文 128K，微调与推理阶段外扩至 1M tokens。
来源：机器之心（公众号） · mp.weixin.qq.com