Partage de technologie

Programmation CUDA - enregistrement d'apprentissage asyncAPI

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1. Code complet

#include <stdio.h>

// includes CUDA Runtime
#include <cuda_runtime.h>
#include <cuda_profiler_api.h>

// includes, project
#include <helper_cuda.h>
#include <helper_functions.h>  // helper utility functions

__global__ void increment_kernel(int *g_data, int inc_value) {
  int idx = blockIdx.x * blockDim.x + threadIdx.x;
  g_data[idx] = g_data[idx] + inc_value;
}

bool correct_output(int *data, const int n, const int x) {
  for (int i = 0; i < n; i++)
    if (data[i] != x) {
      printf("Error! data[%d] = %d, ref = %dn", i, data[i], x);
      return false;
    }

  return true;
}

int main(int argc, char *argv[]) {
  int devID;
  cudaDeviceProp deviceProps;

  printf("[%s] - Starting...n", argv[0]);

  // This will pick the best possible CUDA capable device
  devID = findCudaDevice(argc, (const char **)argv);

  // get device name
  checkCudaErrors(cudaGetDeviceProperties(&deviceProps, devID));
  printf("CUDA device [%s]n", deviceProps.name);

  int n = 16 * 1024 * 1024;
  int nbytes = n * sizeof(int);
  int value = 26;

  // allocate host memory
  int *a = 0;
  checkCudaErrors(cudaMallocHost((void **)&a, nbytes));
  memset(a, 0, nbytes);

  // allocate device memory
  int *d_a = 0;
  checkCudaErrors(cudaMalloc((void **)&d_a, nbytes));
  checkCudaErrors(cudaMemset(d_a, 255, nbytes));

  // set kernel launch configuration
  dim3 threads = dim3(512, 1);
  dim3 blocks = dim3(n / threads.x, 1);

  // create cuda event handles
  cudaEvent_t start, stop;
  checkCudaErrors(cudaEventCreate(&start));
  checkCudaErrors(cudaEventCreate(&stop));

  StopWatchInterface *timer = NULL;
  sdkCreateTimer(&timer);
  sdkResetTimer(&timer);

  checkCudaErrors(cudaDeviceSynchronize());
  float gpu_time = 0.0f;

  // asynchronously issue work to the GPU (all to stream 0)
  checkCudaErrors(cudaProfilerStart());
  sdkStartTimer(&timer);
  cudaEventRecord(start, 0);
  cudaMemcpyAsync(d_a, a, nbytes, cudaMemcpyHostToDevice, 0);
  increment_kernel<<<blocks, threads, 0, 0>>>(d_a, value);
  cudaMemcpyAsync(a, d_a, nbytes, cudaMemcpyDeviceToHost, 0);
  cudaEventRecord(stop, 0);
  sdkStopTimer(&timer);
  checkCudaErrors(cudaProfilerStop());

  // have CPU do some work while waiting for stage 1 to finish
  unsigned long int counter = 0;

  while (cudaEventQuery(stop) == cudaErrorNotReady) {
    counter++;
  }

  checkCudaErrors(cudaEventElapsedTime(&gpu_time, start, stop));

  // print the cpu and gpu times
  printf("time spent executing by the GPU: %.2fn", gpu_time);
  printf("time spent by CPU in CUDA calls: %.2fn", sdkGetTimerValue(&timer));
  printf("CPU executed %lu iterations while waiting for GPU to finishn",
         counter);

  // check the output for correctness
  bool bFinalResults = correct_output(a, n, value);

  // release resources
  checkCudaErrors(cudaEventDestroy(start));
  checkCudaErrors(cudaEventDestroy(stop));
  checkCudaErrors(cudaFreeHost(a));
  checkCudaErrors(cudaFree(d_a));

  exit(bFinalResults ? EXIT_SUCCESS : EXIT_FAILURE);
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105

2. Analyse des parties importantes

équipementinitialisation:La fonction findCudaDevice est utilisée pour sélectionner le meilleur appareil CUDA et renvoyer l'ID de l'appareil.

devID = findCudaDevice(argc, (const char **)argv);

  • 1
  • 2

Obtenir les propriétés du périphérique : la fonction cudaGetDeviceProperties obtient les propriétés du périphérique spécifié, qui incluent le nom du périphérique et d'autres informations.

checkCudaErrors(cudaGetDeviceProperties(&deviceProps, devID));

  • 1
  • 2

Allocation de mémoire : utilisez cudaMallocHost pour allouer de la mémoire verrouillée par page accessible sur le processeur et cudaMalloc pour allouer de la mémoire sur l'appareil.

int *a = 0;
checkCudaErrors(cudaMallocHost((void **)&a, nbytes));

  • 1
  • 2
  • 3

Définir le bloc de threads et la grille : ici, la taille du bloc de threads est définie sur 512 threads et la taille de la grille est calculée dynamiquement en fonction de la taille des données.

dim3 threads = dim3(512, 1);
dim3 blocks = dim3(n / threads.x, 1);

  • 1
  • 2
  • 3

Créer des événements et des minuteries CUDA : les événements CUDA sont utilisés pour enregistrer le temps et les minuteries sont utilisées pour mesurer le temps d'exécution du processeur.

cudaEvent_t start, stop;
checkCudaErrors(cudaEventCreate(&start));
checkCudaErrors(cudaEventCreate(&stop));

  • 1
  • 2
  • 3
  • 4

Traitement du flux CUDA : utilisation de cudaMemcpyAsync pour la copie de mémoire asynchrone, &lt;&lt;<blocks, threads> &gt;&gt; La syntaxe démarre la fonction du noyau CUDA exécutée simultanément, Increase_kernel.

cudaMemcpyAsync(d_a, a, nbytes, cudaMemcpyHostToDevice, 0);
increment_kernel<<<blocks, threads, 0, 0>>>(d_a, value);
cudaMemcpyAsync(a, d_a, nbytes, cudaMemcpyDeviceToHost, 0);

  • 1
  • 2
  • 3
  • 4

Timing et attente : cudaEventRecord enregistre les événements et est utilisé pour calculer le temps d'exécution du GPU. Attendez la fin de l'opération GPU via cudaEventQuery (stop).

cudaEventRecord(start, 0);
// ...
cudaEventRecord(stop, 0);

  • 1
  • 2
  • 3
  • 4

Vérification des résultats : utilisez la fonction correct_output pour vérifier l'exactitude des résultats du calcul GPU.

bool bFinalResults = correct_output(a, n, value);

  • 1
  • 2

Libération des ressources : libère la mémoire allouée et les événements CUDA.

checkCudaErrors(cudaEventDestroy(start));
checkCudaErrors(cudaEventDestroy(stop));
checkCudaErrors(cudaFreeHost(a));
checkCudaErrors(cudaFree(d_a));

  • 1
  • 2
  • 3
  • 4
  • 5

Fonction du noyau CUDA incrément_kernel :

Cette simple fonction du noyau CUDA est utilisée pour incrémenter chaque élément d'un tableau d'une valeur spécifiée inc_value. blockIdx.x et threadIdx.x sont utilisés pour calculer l'index global idx de chaque thread, puis effectuer l'opération d'ajout.

__global__ void increment_kernel(int *g_data, int inc_value) {
  int idx = blockIdx.x * blockDim.x + threadIdx.x;
  g_data[idx] = g_data[idx] + inc_value;
}

  • 1
  • 2
  • 3
  • 4
  • 5

Autres fonctions auxiliaires
checkCudaErrors :Vérifier CUDAS'il y a une erreur dans l'appel de fonction.
sdkCreateTimer et sdkResetTimer : utilisés pour créer et réinitialiser des minuteries.
sdkStartTimer et sdkStopTimer : utilisés pour démarrer et arrêter les minuteries et enregistrer le temps d'exécution du processeur.