大规模并行处理器：高性能计算与CUDA编程（第4版）
Programming Massively Parallel Processors: A Hands-on Approach, 4th Edition
GPU 并行计算的权威教材
GPU 并行计算领域的权威教材，由 NVIDIA 首席科学家 David Kirk 和伊利诺伊大学 Wen-mei Hwu 教授合著。系统讲解 GPU 架构、CUDA 编程模型、并行算法设计、性能优化等核心主题。第4版新增 Ampere/Hopper 架构、Tensor Core、CUDA 新特性等内容。
关联抽象层级
本教材覆盖以下抽象层级，帮助你建立从底层到顶层的完整知识体系。
GPU视角
本教材涉及的抽象层级在 GPU 上的对应实现：
计算与内存
CPU 与内存
16896 CUDA 核心 + 528 Tensor Core（H100），HBM3e 显存 8 TB/s 带宽
内存带宽：CPU ~100 GB/s vs GPU ~8000 GB/s
计算机体系结构
计算机体系结构
SIMT 架构（132 SM × 128 CUDA 核心），Warp 调度器，NVLink 900 GB/s 互联
互联带宽：PCIe 5.0 ~64 GB/s vs NVLink ~900 GB/s
低级代码
低级代码
PTX 中间码 → SASS 原生码，CUDA 核函数，Warp 级并行
指令延迟：CPU ~1-4 cycles vs GPU ~4-20 cycles（但高并发）
为什么读这本书
这本书是 GPU 并行计算领域的圣经级教材。它不仅教你如何使用 CUDA 编程，更深入讲解 GPU 架构的设计哲学和并行算法的设计模式。理解这些原理，你才能写出真正高效的 GPU 程序。
🎯AI 时代的学习建议
在 AI 能生成代码的今天，读这本书的价值不在于"学会写代码"，而在于建立判断 AI 输出的能力。当你理解了计算与内存、计算机体系结构、低级代码的核心原理，你就能：
- •判断 AI 生成的代码是否符合底层约束 — 当 AI 推荐一段"优化"方案时，你能从指令执行与存储的角度判断它是否真的有效
- •向 AI 提出正确的问题 — 理解计算与内存、计算机体系结构、低级代码的设计动机，让你能精准描述问题，而不是模糊地求助
- •在 AI 方案遇到瓶颈时定位根因 — 当 AI 推荐的架构方案在流量峰值下崩溃，你能从汇编语言出发，推导出正确的取舍
阅读策略：不要试图记住所有细节。重点理解每一章的设计动机（为什么需要这个抽象？）和边界条件（什么情况下会失效？）。这些是 AI 无法替代你判断的部分。
理论-实践双轨学习路径
在 AI 代码生成能力快速演进的今天，掌握计算与内存、计算机体系结构、低级代码的本质概念比以往任何时候都更具战略价值。如何在 AI 时代系统性地掌握这些本质概念？我们推荐"理论-实践"双轨学习路径：
理论轨道：从经典教材中找 What 和 Why
通过经典教材深入理解每一层的核心概念（What）、设计动机（Why）与边界条件。理解为什么需要这个抽象？什么情况下会失效？这些是 AI 无法替代你判断的部分。
实践轨道：从交互沙盒中找 How
通过交互沙盒亲手操作、观察行为变化、建立工程直觉（How）。当你既理解了理论，又积累了实践经验，便能在 AI 生成的代码出现性能瓶颈时快速定位根因，在架构设计面临权衡时做出基于原理的决策。
💡 核心洞察：这正是从"AI 使用者"进阶为"AI 驾驭者"的关键能力——在 AI 生成的代码出现问题时快速定位根因，在架构设计遇到瓶颈时做出正确取舍。当你同时具备理论深度与实践经验，你才能成为驾驶 AI 机车的大牛。
章节导览
异构计算
CPU + GPU 协同
GPU 架构
SIMT 的精髓
可扩展的并行执行
Grid/Block/Thread
GPU 内存架构
显存的层次与优化
内存与数据局部性
局部性的艺术
数值考虑
浮点数的陷阱
并行模式：卷积
stencil 计算
并行模式：归约
从数据到结果
并行模式：前缀和
Scan 算法
并行模式：排序
GPU 上的排序
稀疏矩阵计算
科学计算的核心
CUDA 动态并行
核函数中启动核函数
CUDA 流与异步
重叠计算与通信
Tensor Core 编程
矩阵乘法的加速
性能调优实战
从理论到实践
异构计算
CPU + GPU 协同
GPU 架构
SIMT 的精髓
可扩展的并行执行
Grid/Block/Thread
GPU 内存架构
显存的层次与优化
内存与数据局部性
局部性的艺术
数值考虑
浮点数的陷阱
并行模式：卷积
stencil 计算
并行模式：归约
从数据到结果
并行模式：前缀和
Scan 算法
并行模式：排序
GPU 上的排序
稀疏矩阵计算
科学计算的核心
CUDA 动态并行
核函数中启动核函数
CUDA 流与异步
重叠计算与通信
Tensor Core 编程
矩阵乘法的加速
性能调优实战
从理论到实践
关联沙盒实验
CPU 步进器
CpuStepper
单步执行 CPU 指令流水线。观察每条指令如何经过取指→译码→执行→访存→写回五个阶段，理解 CPU 和内存的协作。
汇编游乐场
AssemblyPlayground
交互式汇编语言环境。编写简单的汇编程序，观察寄存器变化和内存访问，理解低级代码如何控制硬件。
ALU 设计器
AluDesigner
交互式 Hack ALU 模拟器。通过 6 个控制位实现 18 种运算，理解计算机如何用简单操作组合出复杂算术。对应 Nand2Tetris 第 2 章。
存储器模拟器
MemorySimulator
交互式时序逻辑模拟器。操作寄存器组和 RAM，观察时钟信号如何驱动状态更新。对应 Nand2Tetris 第 3 章。
硬件构建器
HardwareBuilder
从零构建 Hack 计算机。放置 ALU、寄存器、内存等组件并建立数据通路，理解计算机体系结构。对应 Nand2Tetris 第 5 章。
Data Lab
DataLab
CSAPP 数据实验室。通过位运算、补码表示、浮点数格式等挑战，深入理解计算机如何表示和处理数据。
标签
常见问题
大规模并行处理器：高性能计算与CUDA编程（第4版）是什么？
大规模并行处理器：高性能计算与CUDA编程（第4版）（Programming Massively Parallel Processors: A Hands-on Approach, 4th Edition）是David B. Kirk、Wen-mei W. Hwu编写的计算机科学经典教材，由Morgan Kaufmann出版。GPU 并行计算领域的权威教材，由 NVIDIA 首席科学家 David Kirk 和伊利诺伊大学 Wen-mei Hwu 教授合著。系统讲解 GPU 架构、CUDA 编程模型、并行算法设计、性能优化等核心主题。第4版新增 Ampere/Hopper 架构、Tensor Core、CUDA 新特性等内容。
为什么要读大规模并行处理器：高性能计算与CUDA编程（第4版）？
AI 能帮你写代码，但不能帮你建立工程直觉。大规模并行处理器：高性能计算与CUDA编程（第4版）帮你深入理解GPU、CUDA、并行计算的核心概念和设计动机，让你能判断 AI 生成的代码是否符合设计约束。
大规模并行处理器：高性能计算与CUDA编程（第4版）适合什么水平的学习者？
大规模并行处理器：高性能计算与CUDA编程（第4版）适合有一定基础的进阶学习者。建议先掌握基础概念后再深入学习。
大规模并行处理器：高性能计算与CUDA编程（第4版）有多少章？主要内容是什么？
大规模并行处理器：高性能计算与CUDA编程（第4版）共 15 章，涵盖异构计算、GPU 架构、可扩展的并行执行等核心主题。每章都配有详细的导读和核心概念解析。
如何配合交互沙盒学习大规模并行处理器：高性能计算与CUDA编程（第4版）？
建议采用理论-实践双轨学习法：从大规模并行处理器：高性能计算与CUDA编程（第4版）中找 What 和 Why，从交互沙盒中找 How。学完教材一章后，打开对应层级的沙盒亲手操作验证。这种学习方式建立的工程直觉，是 AI 无法替代的。