全部课程/EECS498

EECS498:重新理解深度学习

不是重做作业,而是从你保存下来的实现、Notebook 输出和模型文件反推一条可复习的深度学习演化路线:Code → Mechanism → Mental Model → Modern Connection。

当代码已经能跑时,怎样从 shape、gradient 与实验迹象反推出模型真正学到的机制?

密歇根大学Repository-backed personal review历史代码 · 2022–202314 讲官方课程 ↗

从这里开始

神经网络是一条可微函数链

已完成 0 / 14 讲 · 记录保存在当前浏览器
开始学习

学习进度

0 / 14讲义已完成

已完成 0 / 6 份实践
由你确认,不自动标记

课程地图

  1. 1梯度与优化第 1–3 讲

    一个可微函数怎样学会预测?

  2. 2视觉表示第 4–6 讲

    空间结构怎样写进模型?

  3. 3序列与注意力第 7–9 讲

    模型怎样使用上下文?

  4. 4生成与迁移第 10–14 讲

    表示怎样用于新的任务?

三种学习方式

学习

读讲义,理解原理与机制。
先找输入、参数、shape 与模块 contract,而不是背 API 名称。

查看讲义

思考

做推演与自测,检验理解。
把 forward、backward、optimizer state 和数值证据串成一条链。

进入推演

实践

用项目与历史代码复盘机制。
改变初始化、数据或结构,解释哪个 invariant 让模型变好或失效。

查看实践

课程讲义

梯度与优化

一个可微函数怎样学会预测?

  1. 01神经网络是一条可微函数链讲义
  2. 02反向传播与计算图讲义
  3. 03优化与训练动力学讲义

视觉表示

空间结构怎样写进模型?

  1. 04CNN:把空间结构写进模型讲义
  2. 05视觉网络如何构造表示讲义
  3. 06检测:从分类到结构化预测讲义

序列与注意力

模型怎样使用上下文?

  1. 07RNN:沿时间携带信息讲义
  2. 08LSTM:更好的记忆,相同的串行瓶颈讲义
  3. 09从原始序列到 Embedding讲义

生成与迁移

表示怎样用于新的任务?

  1. 10Attention 是动态信息路由讲义
  2. 11Encoder、Decoder 与 Cross Attention讲义
  3. 12训练一个自回归条件生成模型讲义
  4. 13从当年的模型走到现代 LLM讲义
  5. 14生成建模:VAE 与 GAN讲义

思考 · 推演与自测

推演与概念检查已编排在各讲中。

从第一讲的练习开始 →

实践 · 历史代码复盘

把理解落到可检查的推导、测试与实现证据。

  1. 01从 tensor 操作到可信实验工作簿
  2. 02从 score 到可学习 representation工作簿
  3. 03模块化反向传播与卷积网络工作簿
  4. 04从可视化到序列记忆工作簿
  5. 05从 dense feature 到结构化预测工作簿
  6. 06VAE 与 GAN 的两个生成契约工作簿