vault backup: 2026-06-15 22:55:55

计算机系统结构/复习文档/多处理器与并行处理.md

@@ -10,10 +10,10 @@ create time: 2026-06-15 10:00
 
 ## 概述
 
-本文档讲解多处理器系统的基本概念、存储一致性模型、通信开销分析以及并行系统性能评估。多处理器和并行处理是现代计算机系统结构的重要方向，涉及软硬件协同设计的多个层面。
+本文档讲解多处理器系统的基本概念与分类、存储一致性模型（MSI 协议状态转移）、共享内存与分布式内存的架构对比，以及并行系统性能评估——包括远程访问 CPI 分析、计算/通信比、Amdahl 定律在并行系统中的应用。多处理器和并行处理是现代计算机系统结构的重要方向，涉及软硬件协同设计的多个层面。
 
 > [!tip] 考试重点
-> 存储一致性的三个条件是论述题高频考点。远程访问对并行系统性能影响的计算（CPI 分析）在综合题中出现。
+> 存储一致性的三个条件是论述题高频考点。MSI 协议状态转移图常以简答题出现。远程访问 CPI 分析、Amdahl 定律的并行扩展在综合题中反复出现。
 
 ## 正文
 
@@ -37,6 +37,36 @@ create time: 2026-06-15 10:00
 | 适用场景 | 规则的数据并行（矩阵运算） | 不规则的并行任务 |
 | 灵活性 | 低（需同步） | 高（独立执行） |
 
+#### 1.3 共享内存 vs 分布式内存
+
+多处理器系统和多计算机系统的核心区别在于内存架构：
+
+| 对比维度 | 共享内存多处理器（SMP/NUMA） | 分布式内存多计算机（MPP/Cluster） |
+|----------|---------------------------|----------------------------------|
+| **内存视图** | 所有处理器看到统一的地址空间 | 每个节点有独立的本地内存 |
+| **通信方式** | 通过 Load/Store 指令直接访问共享变量 | 通过消息传递（MPI）交换数据 |
+| **编程模型** | 共享变量 + 锁/信号量 | 消息传递（Send/Receive） |
+| **数据一致性** | 需要硬件一致性协议（如 MSI） | 由程序员显式管理 |
+| **可扩展性** | 受限于内存互连带宽，通常 < 64 处理器 | 可扩展到数千节点 |
+| **编程难度** | 较低（共享地址空间） | 较高（需显式管理数据分布） |
+| **典型代表** | 大型服务器（SMP）、NUMA 服务器 | 超算集群（如 Summit） |
+
+```mermaid
+flowchart LR
+    subgraph SMP["共享内存多处理器"]
+        P1["处理器 1"] --> SM["共享内存"]
+        P2["处理器 2"] --> SM
+        P3["处理器 3"] --> SM
+    end
+    subgraph MPP["分布式内存多计算机"]
+        N1["节点 1: CPU + 本地内存"] <-->|"消息传递"| N2["节点 2: CPU + 本地内存"]
+        N2 <-->|"消息传递"| N3["节点 3: CPU + 本地内存"]
+    end
+```
+
+> [!question] 思考
+> 为什么共享内存系统难以扩展到大规模？因为所有处理器竞争同一个内存系统的带宽。当处理器数量增加时，内存带宽成为瓶颈。NUMA（非统一内存访问）架构通过让每个处理器有本地内存来缓解，但远程访问延迟仍然远高于本地访问。
+
 ### 二、存储一致性（Cache Coherence）
 
 #### 2.1 问题背景
@@ -76,6 +106,28 @@ create time: 2026-06-15 10:00
 | **S**（Shared） | 该行未被修改，多个 Cache 可能有副本 |
 | **I**（Invalid） | 该行无效 |
 
+**MSI 协议状态转移图**：
+
+```mermaid
+stateDiagram-v2
+    [*] --> I
+    I --> M: "本地写 (Local Write)"
+    I --> S: "本地读命中 (Local Read Hit)"
+    S --> M: "本地写 (Local Write)"
+    M --> S: "远程读 (Remote Read, 总线读命中)"
+    M --> I: "远程写 (Remote Write, 总线写命中)"
+    S --> I: "远程写 (Remote Write, 总线写命中)"
+    I --> I: "远程写 (Remote Write, 监听到写)"
+```
+
+> [!note] 状态转移详解
+> - **本地操作**（本处理器发起）：读命中时从 S 转移或保持 S；写操作将状态提升为 M（独占且已修改）。
+> - **远程操作**（其他处理器通过总线发起）：当某处理器写数据时，其他持有该数据副本的 Cache 必须将其置为 I（无效）；当某处理器读数据时，持有 M 状态的 Cache 需先将数据写回主存并将自身降为 S。
+> - **M -> S 的"写回"**：当远程处理器读取数据时，持有 M 状态的 Cache 必须先将修改的数据写回主存，然后转为 S。这保证了数据一致性。
+
+> [!question] 思考
+> 为什么需要 M 状态？直接用 S 和 I 不行吗？如果只有 S 和 I，每次写操作都需要立即写回主存（write-through），这会导致大量总线流量。M 状态允许延迟写回（write-back），只有在其他处理器需要读该数据时才写回，大大减少了总线通信量。
+
 > [!question] 监听协议为什么不适合大规模系统？
 > 监听协议要求所有 Cache 监听总线，总线带宽成为瓶颈。当处理器数量增加时，总线冲突急剧增加，监听协议的可扩展性很差。目录协议通过点对点通信避免了这个问题。
 
@@ -89,7 +141,7 @@ create time: 2026-06-15 10:00
 
 $$CPI = CPI_{base} + \text{远程访问率} \times \text{远程访问延迟（时钟数）}$$
 
-> [!example] 远程访问性能影响
+> [!example] 例题 1：远程访问性能影响
 > 32 个处理器的集群，本地执行时间 10ns，CPI = 1.0。若有 0.5% 指令需远程访问（2000ns）：
 >
 > 远程访问时钟 $= 2000 / 10 = 200$
@@ -98,6 +150,20 @@ $$CPI = CPI_{base} + \text{远程访问率} \times \text{远程访问延迟（
 >
 > **结论**：0.5% 的远程访问使 CPI 翻倍，性能下降 50%。
 
+> [!example] 例题 2：不同远程访问率的对比分析
+> 假设有 16 个处理器的 NUMA 系统，基本 CPI = 1.2，时钟周期 2ns，本地内存访问 40ns，远程内存访问 200ns。
+>
+> | 场景 | 远程访问率 | 远程延迟(时钟) | 有效 CPI | 相对性能 |
+> |------|:---------:|:-------------:|:--------:|:-------:|
+> | 优化的并行程序 | 1% | 100 | $1.2 + 0.01 \times 100 = 2.2$ | 1.00 |
+> | 一般并行程序 | 5% | 100 | $1.2 + 0.05 \times 100 = 6.2$ | 0.35 |
+> | 通信密集程序 | 10% | 100 | $1.2 + 0.10 \times 100 = 11.2$ | 0.20 |
+>
+> **分析**：远程访问率从 1% 增加到 10%，CPI 从 2.2 飙升到 11.2，性能下降到原来的 1/5。这说明**数据局部性**对并行系统性能至关重要。优化并行程序的核心任务之一就是最小化远程访问比例。
+
+> [!question] 思考
+> 如果远程内存访问延迟从 200ns 优化到 100ns（比如使用更快的互连网络），对通信密集程序（10% 远程访问率）的 CPI 影响有多大？新的 CPI = 1.2 + 0.10 * 50 = 6.2，相比原来的 11.2 几乎减半。硬件改进（降低远程延迟）和软件优化（减少远程访问率）同等重要。
+
 #### 3.2 并行计算的挑战
 
 | 挑战 | 说明 | 应对方法 |
@@ -106,13 +172,68 @@ $$CPI = CPI_{base} + \text{远程访问率} \times \text{远程访问延迟（
 | **通信开销** | 处理器间数据交换的延迟 | 优化通信模式、减少同步 |
 | **负载不均衡** | 各处理器工作量不等 | 动态调度、任务细分 |
 
-#### 3.3 计算/通信比
+#### 3.3 Amdahl 定律在并行系统中的应用
+
+Amdahl 定律指出，程序的加速比受限于串行部分的比例：
+
+$$S = \frac{1}{(1 - f) + \frac{f}{P}}$$
+
+其中 $f$ 为可并行化的比例，$P$ 为处理器数量。
+
+> [!example] 例题：Amdahl 定律计算
+> 某程序总执行时间中，串行部分占 10%（$f = 0.9$）。
+>
+> | 处理器数 $P$ | 加速比 $S$ | 效率 $S/P$ | 边际收益 |
+> |:-----------:|:---------:|:---------:|:--------:|
+> | 1 | 1.00 | 100% | - |
+> | 2 | 1.82 | 91% | 0.82 |
+> | 4 | 3.08 | 77% | 1.26 |
+> | 8 | 4.71 | 59% | 1.63 |
+> | 16 | 6.40 | 40% | 1.69 |
+> | 32 | 7.80 | 24% | 1.40 |
+> | 64 | 8.77 | 14% | 0.97 |
+> | $\infty$ | 10.00 | 0% | - |
+>
+> **计算过程**（以 $P = 8$ 为例）：
+>
+> $S = \frac{1}{0.1 + 0.9/8} = \frac{1}{0.1 + 0.1125} = \frac{1}{0.2125} \approx 4.71$
+>
+> **关键发现**：
+>
+> 1. **理论上限**：即使无限处理器，加速比也不会超过 $1/0.1 = 10$ 倍。这就是串行瓶颈。
+> 2. **边际收益递减**：从 16 个到 32 个处理器，只增加了 1.4 倍加速比（边际收益列）。处理器翻倍，收益远小于翻倍。
+> 3. **效率下降**：处理器越多，每个处理器的利用率越低。
+
+> [!important] Amdahl 定律的实践启示
+> - 与其追求更多处理器，不如先优化串行部分。将串行比例从 10% 降到 5%，理论上限从 10 倍提升到 20 倍。
+> - 在实际系统中，通信开销进一步拉低并行效率。真正有效的加速比远低于 Amdahl 定律的预测。
+> - 这就是为什么"弱扩展"（增大问题规模以保持效率）比"强扩展"（固定问题规模增加处理器）在实践中更有意义。
+
+#### 3.4 计算/通信比
 
 $$\text{计算/通信比} = \frac{\text{计算量}}{\text{通信量}}$$
 
 - 随数据规模增加而**增大**（计算量增长快于通信量）
 - 随处理器数目增加而**减小**（每个处理器分到的计算减少，但通信开销相对增加）
 
+> [!example] 例题：计算/通信比的趋势分析
+> 一个矩阵乘法问题，矩阵规模为 $N \times N$，使用 $P$ 个处理器并行计算。
+>
+> - 计算量：$O(N^3 / P)$（每个处理器分担的计算）
+> - 通信量：$O(N^2 / \sqrt{P})$（2D 分块方案下的通信开销）
+> - 计算/通信比：$O(N^3 / P) \div O(N^2 / \sqrt{P}) = O(N / \sqrt{P})$
+>
+> **趋势演示**（设 $N = 1000$, $P = 16$）：
+>
+> | 参数变化 | 计算量(相对) | 通信量(相对) | 计算/通信比 |
+> |----------|:-----------:|:-----------:|:----------:|
+> | $N=1000, P=16$ | 62.5 | 250 | 0.25 |
+> | $N=2000, P=16$ | 500 | 500 | 1.00 |
+> | $N=4000, P=16$ | 4000 | 1000 | 4.00 |
+> | $N=2000, P=64$ | 125 | 250 | 0.50 |
+>
+> **结论**：规模翻倍（1000→2000→4000），计算/通信比快速提升（0.25→1→4），而增加处理器（16→64）则计算/通信比下降（1→0.5）。这就是为什么"规模化并行"（scaling up the problem）比"增加处理器"更能提高并行效率。
+
 > [!tip] 提高并行效率的关键
 > 尽量提高计算/通信比：增大问题规模、优化通信模式（减少全局通信）、使用高带宽低延迟的互连网络。