cuda编程笔记一：首次尝试

cuda编程笔记一：首次尝试

在深入了解GPU底层前，建议直接尝试一个编程小例子，学习正反馈更强。一个典型的CUDA程序实现流程如下：

首先，内存管理是关键，使用`cudaMalloc`函数类似C语言的`malloc`，还有其他内存管理函数如`cudaMemcpy`。`cudaMemcpy`是同步执行的，这意味着CPU会等待内存复制操作完成后再继续执行，这通常会占据大量时间，耗时的不是计算，而是内存拷贝。了解`cudaMemcpy`的`kind`参数，用于确定复制的方向，一般有几种选项。

此外，函数的返回值是`cudaError_t`枚举类型，成功时返回`cudaSuccess`，失败时返回其他错误代码，可以使用`cudaGetErrorString`将错误代码转换为可读的错误消息。

在GPU中，内存可以分为全局内存和共享内存。全局内存类似于CPU的系统内存，共享内存则类似CPU的缓存。GPU的共享内存可以被编程直接控制，而CPU的缓存则不可以。这两者的具体区别将在后续的文章中详细介绍。

线程管理在GPU中非常重要，GPU用于管理大量线程。首先，了解线程由进程产生，一个GPU进程由CPU创建，这代表了一个核函数kernel的执行。在GPU上，可以同时运行多个GPU进程或核函数。

软件层面的层次化管理包括线程网格Grid、线程块Block、线程thread。网格和块都是三维的组织结构。在定义核函数时，需要使用`__global__`修饰符。CUDA提供了三种限定符，用于控制核函数的执行方式。

调用核函数时，使用`<< >>>`配置运算符传递核函数的执行参数，包括网格形状、块形状、共享内存大小和执行流。其中网格和块都是`dim3`类型，表示三个维度，可以通过其x、y、z字段获取。

理解`threadIdx`和`blockIdx`在核函数中的作用是至关重要的。`threadIdx`和`blockIdx`是核函数中需要预初始化的内置变量，用于线程索引的建立和数组索引的获取。在核函数中，线程通常会执行数组操作，如数组加法。

核函数预初始化了两个内置变量：`blockDim`和`gridDim`，分别表示线程块的维度范围和线程格的维度范围。当有多个GPU设备时，根据`multiProcessorCount`来选择最优的GPU设备。

在实现数组加法的CUDA代码中，确保数据从CPU内存复制到GPU内存，执行核函数进行操作，并将结果从GPU内存复制回CPU内存。理解代码流程是至关重要的。

最后，核函数是异步执行的，可以通过`cudaDeviceSynchronize()`方法显示同步。了解如何查询和管理GPU设备信息，如使用CUDA运行时API函数查询设备属性和数量，以便在运行时优化设备配置。2024-09-18