CS267：并行计算机应用

从内存层次、Roofline 与通信成本出发，系统学习 OpenMP、MPI、CUDA、线性代数、图算法和科学计算中的并行方法。

当计算可以并行而数据搬运不行时，怎样安排工作与通信才能真正加速？

加州大学伯克利分校

Aydin Buluç、James Demmel、Kathy Yelick

2025 年春季

从这里开始

导论与概述

已完成 0 / 27 讲 · 记录保存在当前浏览器

0 / 27讲义已完成

已完成 0 / 7 份实践
由你确认，不自动标记

读讲义，理解原理与机制。
把算力、内存带宽、延迟与通信量放在同一张成本图上。

做推演与自测，检验理解。
沿线程、rank、GPU block 和同步点检查每份数据由谁持有。

用工作簿与实验验证方法。
改变规模、布局或负载，解释性能曲线而不只报一个 speedup。

数据移动为何比计算更贵？

线程、进程与 GPU 怎样协作？

如何调度大规模学习任务？

矩阵与网格怎样分解？

不规则任务怎样高效运行？

推演与概念检查已编排在各讲中。

把理解落到可检查的推导、测试与实现证据。