コンテンツにスキップ

GPU

ABCIシステムでは、NVIDIAが提供する以下のライブラリが利用できます。

これらのライブラリを利用するためには、事前にmoduleコマンドを用いて利用環境を設定する必要があります。moduleコマンドを用いると、PATHなどの実行用環境変数や、ヘッダファイルやライブラリのサーチパスなどのコンパイル用環境変数を自動的に設定できます。

[username@g0001 ~]$ module load cuda/10.0/10.0.130.1
[username@g0001 ~]$ module load cudnn/7.4/7.4.2
[username@g0001 ~]$ module load nccl/2.4/2.4.8-1

以下では、ABCIシステムで利用可能なCUDA Toolkit、cuDNN、NCCLの一覧を示します。

CUDA Toolkit

Major version Minor version Available from NVIDIA Available on Compute Node (V) Available on Compute Node (A)
cuda/9.0 9.0.176.1 Yes Yes -
cuda/9.1 9.1.85.3 Yes Yes -
cuda/9.2 9.2.148.1 Yes Yes -
cuda/10.0 10.0.130.1 Yes Yes Yes1
cuda/10.1 10.1.243 Yes Yes Yes1
cuda/10.2 10.2.89 Yes Yes Yes1
cuda/11.0 11.0.3 Yes Yes Yes
cuda/11.1 11.1.1 Yes Yes Yes
cuda/11.2 11.2.2 Yes Yes Yes
cuda/11.3 11.3.1 Yes Yes Yes
cuda/11.4 11.4.4 Yes Yes Yes
cuda/11.5 11.5.2 Yes Yes Yes
cuda/11.6 11.6.2 Yes Yes Yes
cuda/11.7 11.7.0
11.7.1
Yes Yes Yes
cuda/11.8 11.8.0 Yes Yes Yes
cuda/12.0 12.0.0 Yes Yes Yes

cuDNN

計算ノード(V):

Version cuda/8.0 cuda/9.0 cuda/9.1 cuda/9.2 cuda/10.0 cuda/10.1 cuda/10.2 cuda/11.0 cuda/11.1 cuda/11.2 cuda/11.3 cuda/11.4 cuda/11.5 cuda/11.6 cuda/11.7 cuda/11.8 cuda/12.0
7.0.5 Yes Yes Yes - - - - - - - - - - - - - -
7.1.4 - Yes - Yes - - - - - - - - - - - - -
7.2.1 - Yes - Yes - - - - - - - - - - - - -
7.3.1 - Yes - Yes Yes - - - - - - - - - - - -
7.4.2 - Yes - Yes Yes - - - - - - - - - - - -
7.5.1 - Yes - Yes Yes Yes - - - - - - - - - - -
7.6.5 - Yes - Yes Yes Yes Yes - - - - - - - - - -
8.0.5 - - - - - Yes Yes Yes Yes - - - - - - - -
8.1.1 - - - - - - Yes Yes Yes Yes - - - - - - -
8.2.4 - - - - - - Yes Yes Yes Yes Yes Yes - - - - -
8.3.3 - - - - - - Yes Yes Yes Yes Yes Yes Yes Yes - - -
8.4.1 - - - - - - Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes -
8.5.0 - - - - - - Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes -
8.6.0 - - - - - - Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes -
8.7.0 - - - - - - Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes -

計算ノード(A):

Version cuda/10.01 cuda/10.11 cuda/10.21 cuda/11.0 cuda/11.1 cuda/11.2 cuda/11.3 cuda/11.4 cuda/11.5 cuda/11.6 cuda/11.7 cuda/11.8 cuda/12.0
7.3.1 Yes - - - - - - - - - - - -
7.4.2 Yes - - - - - - - - - - - -
7.5.1 Yes Yes - - - - - - - - - - -
7.6.5 Yes Yes Yes - - - - - - - - - -
8.0.5 - Yes Yes Yes Yes - - - - - - - -
8.1.1 - - Yes Yes Yes Yes - - - - - - -
8.2.4 - - Yes Yes Yes Yes Yes Yes - - - - -
8.3.3 - - Yes Yes Yes Yes Yes Yes Yes Yes - - -
8.4.1 - - Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes -
8.5.0 - - Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes -
8.6.0 - - Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes -
8.7.0 - - Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes -

NCCL

計算ノード(V):

Version cuda/8.0 cuda/9.0 cuda/9.1 cuda/9.2 cuda/10.0 cuda/10.1 cuda/10.2 cuda/11.0 cuda/11.1 cuda/11.2 cuda/11.3 cuda/11.4 cuda/11.5 cuda/11.6 cuda/11.7 cuda/11.8 cuda/12.0
2.4.8-1 - - - Yes Yes Yes - - - - - - - - - - -
2.5.6-1 - Yes - - Yes Yes Yes - - - - - - - - - -
2.6.4-1 - - - - Yes Yes Yes - - - - - - - - - -
2.7.8-1 - - - - - Yes Yes Yes Yes - - - - - - - -
2.8.4-1 - - - - - - Yes Yes Yes Yes - - - - - - -
2.9.9-1 - - - - - - Yes Yes - - Yes - - - - - -
2.10.3-1 - - - - - - Yes Yes - - - Yes - - - - -
2.11.4-1 - - - - - - Yes Yes - - - Yes Yes Yes - - -
2.12.12-1 - - - - - - Yes Yes - - - - - Yes - - -
2.13.4-1 - - - - - - Yes Yes - - - - - - Yes - -
2.14.3-1 - - - - - - Yes Yes - - - - - - Yes - -
2.15.5-1 - - - - - - Yes Yes - - - - - - - Yes -
2.16.2-1 - - - - - - - Yes - - - - - - - Yes Yes

計算ノード(A):

Version cuda/10.01 cuda/10.11 cuda/10.21 cuda/11.0 cuda/11.1 cuda/11.2 cuda/11.3 cuda/11.4 cuda/11.5 cuda/11.6 cuda/11.7 cuda/11.8 cuda/12.0
2.4.8-1 Yes Yes - - - - - - - - - - -
2.5.6-1 Yes Yes Yes - - - - - - - - - -
2.6.4-1 Yes Yes Yes - - - - - - - - - -
2.7.8-1 - Yes Yes Yes Yes - - - - - - - -
2.8.4-1 - - Yes Yes Yes Yes - - - - - - -
2.9.9-1 - - Yes Yes - - Yes - - - - - -
2.10.3-1 - - Yes Yes - - - Yes - - - - -
2.11.4-1 - - Yes Yes - - - Yes Yes Yes - - -
2.12.12-1 - - Yes Yes - - - - - Yes - - -
2.13.4-1 - - Yes Yes - - - - - - Yes - -
2.14.3-1 - - Yes Yes - - - - - - Yes - -
2.15.5-1 - - Yes Yes - - - - - - - Yes -
2.16.2-1 - - - Yes - - - - - - - Yes Yes

GDRCopy

計算ノード(V):

Version cuda/9.0 cuda/9.1 cuda/9.2 cuda/10.0 cuda/10.1 cuda/10.2 cuda/11.0 cuda/11.1 cuda/11.2 cuda/11.3 cuda/11.4 cuda/11.5 cuda/11.6 cuda/11.7 cuda/11.8
2.3 Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes - -

計算ノード(A):

Version cuda/10.0 cuda/10.1 cuda/10.2 cuda/11.0 cuda/11.1 cuda/11.2 cuda/11.3 cuda/11.4 cuda/11.5 cuda/11.6 cuda/11.7 cuda/11.8
2.3 Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes - -

GPU Compute Modeの変更

ジョブ実行オプション -v GPU_COMPUTE_MODE=num を用いて、GPUのCompute Modeを変更することができます。以下の3つのCompute Modeが指定可能です。

オプション 説明
-v GPU_COMPUTE_MODE=0 DEFAULTモード。
1つのGPUを複数のプロセスから同時に利用できます。
-v GPU_COMPUTE_MODE=2 PROHIBITEDモード。
GPUへのプロセス割り当てを禁止します。
-v GPU_COMPUTE_MODE=3 EXCLUSIVE_PROCESSモード。
1つのGPUを1プロセスのみが利用できます。1プロセスから複数スレッドの利用は可能です。

インタラクティブ利用時の実行例:

[username@es1 ~]$ qrsh -g grpname -l rt_F=1 -l h_rt=1:00:00 -v GPU_COMPUTE_MODE=3

バッチ利用時の実行例:

#!/bin/bash

#$ -l rt_F=1
#$ -l h_rt=1:00:00
#$ -j y
#$ -cwd
#$ -v GPU_COMPUTE_MODE=3
/usr/bin/nvidia-smi

  1. 試験用に提供しています。NVIDIA A100は、CUDA 11以降でサポートされます。