阿里技术(公众号)·· 4 天前AI 评分12
手把手从零实现一个完整的 LLM(CS336)——Transformer 篇
手把手带工程同学从零实现一个完整的 LLM(CS336)——Transformer 篇
AI 导读
工程背景作者跟随斯坦福 CS336 课程 Assignment1,从零手搓一个引入 RoPE、SwiGLU 等变体的 Transformer,而非原始论文版本。文章从 MLP 与线性回归、梯度下降讲起,再过渡到 Transformer 构建,全程禁用 PyTorch 现有模块(Parameter、Module、Optimizer 除外)。
来源:阿里技术(公众号) · mp.weixin.qq.com