谷歌牵头 32 位作者 154 页综述：大模型为何数不清 strawberry 里的 r

谷歌联合 20 多家研究机构、32 位作者发布 154 页 Token 综述，指出大模型数不清 strawberry 里字母 r、算错多位数加减法，病根在文本进入模型前的分词环节。论文普查 Hugging Face 约 74 万个模型发现，94% 的模型直接复用他人分词器，下载量第一的是 2018 年的 BERT 分词器，占 23.2%。