概述

MPI (Message Passing Interface) 是一种消息传递编程模型,广泛应用于分布式内存并行计算系统中。它定义了一组函数接口,用于在多个进程之间传递消息。

基本概念

通信域(Communicator)

通信域定义了一组可以互相通信的进程。最常用的通信域是 MPI_COMM_WORLD,它包含了程序启动时创建的所有进程。

进程排名(Rank)

在通信域中,每个进程都有一个唯一的整数标识,称为排名(rank)。排名从 0 开始。

消息(Message)

消息由三部分组成:

  • 发送/接收进程的排名
  • 标签(tag)
  • 数据

第一个 MPI 程序

c code block
#include <mpi.h>
#include <stdio.h>

int main(int argc, char** argv) {
    // 初始化 MPI 环境
    MPI_Init(&argc, &argv);

    // 获取当前进程的排名
    int rank;
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);

    // 获取总进程数
    int size;
    MPI_Comm_size(MPI_COMM_WORLD, &size);

    printf("Hello from process %d of %d\n", rank, size);

    // 结束 MPI 环境
    MPI_Finalize();
    return 0;
}

编译和运行

bash code block
# 编译
mpicc -o hello hello.c

# 运行(4 个进程)
mpirun -np 4 ./hello

输出示例

Hello from process 0 of 4
Hello from process 1 of 4
Hello from process 2 of 4
Hello from process 3 of 4

点对点通信

阻塞通信

  • MPI_Send:发送消息
  • MPI_Recv:接收消息
c code block
// 进程 0 发送数据给进程 1
if (rank == 0) {
    int data = 42;
    MPI_Send(&data, 1, MPI_INT, 1, 0, MPI_COMM_WORLD);
}
// 进程 1 接收来自进程 0 的数据
else if (rank == 1) {
    int data;
    MPI_Recv(&data, 1, MPI_INT, 0, 0, MPI_COMM_WORLD, MPI_STATUS_IGNORE);
    printf("Received: %d\n", data);
}

参考资料