The website uses cookies. By using this site, you agree to our use of cookies as described in the Privacy Policy.
I Agree

cuda学习笔记之异步并行执行

bit262426738 2014-04-21 15:27:23 882
分类: CUDA 2010-01-03 21:13  2526人阅读  评论(1)  收藏  举报

异步函数使得主机端与设备端并行执行:控制在设备还没有完成前就被返回给主机线程;

    包括:

      kernel启动; 以Async为后缀的内存拷贝函数; device到device内存拷贝函数;存储器初始化函数,比如cudaMemset(),cudaMemset2D(),cudaMemset3D();

     一些设备能够在kernel执行期间,执行pinned memory和显存间的数据传输,可以通过调用cudaGetDeviceProperties()检验;

异步执行意义:一个流内的计算与数据拷贝时依次进行的;

                     不同流之间的这些操作可以同时执行;

                     当GPU传输数据时,主机线程不必等待可以进行一些运算,提高cpu与GPu并行工作;

如果调用了同步版本的GPU函数,只能在设备完成任务后才能返回主机线程,此时主机端进入yield,block或者spin状态,可以由cudaSetDeviceFlags()或cuCtxCreate()来选择主机端在进行GPU计算时进入的状态;

流:程序通过流来管理并发,每个流是按顺序执行的一系列操作;不同流之间乱序执行或者并行执行;定义是创建一个cudaStream_t对象;

      当使用两个流处理同一块存储时,必须使用pinned memory;

      如果主机线程在来自不同流的两个操作之间调用了pinned memory的分配,显存分配,显存设置,设备与设备间的双向拷贝或0流的两项操作,则这两项操作无法并行执行;

     可以设置CUDA_LAUNCH_BLOCKING = 1,禁用所有cuda应用程序异步执行;

      cudaStreamSynchronize() 强制cuda运行时等待流中所有操作完成;函数没有采取中断,会进行轮询,占用大量CPU资源;

事件

     运行时API可以通过事件管理密切监控设备进度并执行准确计时,可以异步的记录下程序内任一点的事件,并可以查询这些事件被记录的时间;时间使用的GPU计时器,比CPU计时器更加准确;事件管理可以用于测量程序运行时间,或者管理CPU和GPU同时进行运算;

CUDA与图形学API互操作

   经过配置可以与OpenGL,Direct3D共同使用;

多设备与设备集群:

               主机端的线程数量可以多于设备数量,但是同一时刻一个设备上只能有一个线程;

              多个设备可以通过C提供的多线程进行管理;

              可以通过openMP管理多个设备;

                cuda可以与MPI联用;

OpenMP:用于共享内存并行系统的多线程程序设计的一套指导性注释;提供并行算法的高层抽象描述,程序员在源代码中加入专用pragama来知名自己的意图,编译器自动将程序并行化;非常适用于基于数据分级的多线程程序设计;不适合需要复杂线程同步和互斥的场合;不能在飞共享内存系统(如计算集群常用mpi)上使用;

Measure
Measure
Summary | 1 Annotation
禁用所有cuda应用程序异步执行
2021/02/07 09:25