CS336：从零构建语言模型

从 tokenizer 和 Transformer 出发，继续走过训练系统、GPU kernel、并行策略、scaling laws、数据工程与对齐，完整理解语言模型如何被构建。

一个字符串如何变成可训练的张量，又怎样在有限算力与数据上稳定地产生有用的表示？

斯坦福大学

Percy Liang、Tatsu Hashimoto

2026 年春季

从这里开始

课程总览与 Tokenization

已完成 0 / 19 讲 · 记录保存在当前浏览器

0 / 19讲义已完成

已完成 0 / 5 份实践
由你确认，不自动标记

读讲义，理解原理与机制。
逐层标出 token、shape、dtype 与设备位置。

做推演与自测，检验理解。
沿 forward、loss、gradient 和 optimizer state 找出真正的瓶颈。

用工作簿与实验验证方法。
改变 batch、序列长或 kernel，连接曲线与可解释的机制。

文本怎样变成可训练的张量？

计算、内存与通信怎样协作？

有限算力应该花在哪里？

训练信号怎样塑造模型行为？

语言模型的边界怎样扩展？

推演与概念检查已编排在各讲中。

把理解落到可检查的推导、测试与实现证据。