CUDA编程要素包括定义基本函数执行单元kernel，线程块内存模型，以及线程索引和线程ID的关系。使用CUDA C++定义的kernel在调用时由N个不同的CUDA线程并行执行N次。线程块尺寸、线程总数、线程块标识、线程块尺寸等可在内核中访问。使用PyTorch自定义CUDA算子需实现算子构建、封装与调用方法。构建算子的关键步骤...
CUDA一：CUDA 编程基础
对于处理器而言，主要指标是延迟和吞吐量。GPU和CPU设计原则不同，CPU以减少指令时延为导向，而GPU以增加简单指令吞吐为导向。GPU适用于并行计算和高数据吞吐量任务，CPU则擅长单线程处理复杂任务。CUDA是支持GPU通用计算的平台和编程模型，使用C/C++语言扩展和API进行编程和管理GPU。
CUDA内存模型基于SP（线程处理器），每个SP有自己的寄存器和局部内存，不同SP间独立。SM（多核处理器）由多个SP和共享内存构成，每个SM有自己的共享内存，可以被线程块内所有线程访问。GPU由多个SM和全局内存构成，所有SM共享全局内存。
CUDA编程要素包括定义基本函数执行单元kernel，线程块内存模型，以及线程索引和线程ID的关系。使用CUDA C++定义的kernel在调用时由N个不同的CUDA线程并行执行N次。线程块尺寸、线程总数、线程块标识、线程块尺寸等可在内核中访问。使用PyTorch自定义CUDA算子需实现算子构建、封装与调用方法。
构建算子的关键步骤是将每个线程映射到全局线性内存索引。PyTorch调用CUDA算子需提供接口，通过封装、C++到CUDA函数调用、JIT、SETUP或CMAKE编译实现。需要关注头文件目录、算子及封装函数、动态链接库生成、python模块导入和调用。
CUDA提供了GPU编程框架，通过内存模型、内存访问优化、线程管理、并行计算等特性，能够有效提升计算性能，实现大规模数据处理。PyTorch集成CUDA算子，为深度学习等高性能计算领域提供高效支持。2024-11-19
