分布存储系统并行编程

https://cs.nju.edu.cn/lxie/parallel/PC14.pdf

1. 消息传递模型
   1. 分类
      • SPMD（Single-Program Multiple-Data）：主机/节点式(Host/Node)，无主机式(Hostless)
      • MPMD：数据流方式，客户/服务器方式
   2. 消息传递库(Message-Passing Libraries)
      • MPI（Message Passing Interface）：是一种标准接口规范 ，不是具体的软件。它定义了用于进程间通信的一组函数和行为（如 MPI_Send, MPI_Recv 等。
      • PVM（Parallel Virtual Machine）：是一个早期的消息传递系统软件包 ，比 MPI 更早出现。它允许将多台不同类型的计算机组成一个虚拟的并行计算环境。
   3. 消息传递方式
2. 数据并行模型：SIMD, SPMD

ispc

ISPC（Intel® SPMD Program Compiler）是一种面向CPU的高性能并行编译器，其核心作用是将SPMD模式的代码编译为高效的SIMD指令集，从而在CPU上实现接近原生硬件的并行计算性能。

实践

https://github.com/RDWaaaaaa/FlashAttn-CS149