跳到正文
原文
阿里技术(公众号)·· 4 天前AI 评分12

手把手从零实现一个完整的 LLM(CS336)——Transformer 篇

手把手带工程同学从零实现一个完整的 LLM(CS336)——Transformer 篇

AI 导读

工程背景作者跟随斯坦福 CS336 课程 Assignment1,从零手搓一个引入 RoPE、SwiGLU 等变体的 Transformer,而非原始论文版本。文章从 MLP 与线性回归、梯度下降讲起,再过渡到 Transformer 构建,全程禁用 PyTorch 现有模块(Parameter、Module、Optimizer 除外)。

来源:阿里技术(公众号) · mp.weixin.qq.com