システム更新履歴
2022-04-06
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | Scality S3 Connector | 8.5.2.2 | 7.4.9.3 |
| Update | SingularityPRO | 3.9-4 | 3.7-4 |
| Update | DDN Lustre (計算ノード(V)) | 2.12.6_ddn58-1 | 2.12.5_ddn13-1 |
| Update | OFED (計算ノード(V)) | 5.2-1.0.4.0 | 5.0-2.1.8.0 |
| Update | gcc | 11.2.0 | 9.3.0 |
| Delete | gcc | 7.4.0 | |
| Update | intel | 2022.0.2 | 2020.4.304 |
| Delete | nvhpc | 20.11 21.2 |
|
| Delete | openjdk | 1.7.0.171 | |
| Update | openjdk | 1.8.0.322 | 1.8.0.242 |
| Update | openjdk | 11.0.14.1.1 | 11.0.6.10 |
| Update | openjdk | 17.0.2.0.8 | 15.0.2.0.7 |
| Delete | lua | 5.3.6 5.4.2 |
|
| Delete | julia | 1.0 | |
| Update | julia | 1.6.6 | 1.5 |
| Update | intel-advisor | 2022.0 | 2020.3 |
| Update | intel-inspector | 2022.0 | 2020.3 |
| Update | intel-itac | 2021.5.0 | 2020.0.3 |
| Update | intel-mkl | 2022.0.0 | 2020.0.4 |
| Update | intel-vtune | 2022.0.0 | 2020.3 |
| Add | python | 3.10.4 | |
| Update | python | 3.7.13 | 3.7.10 |
| Update | python | 3.8.13 | 3.8.7 |
| Delete | python | 3.6.12 | |
| Update | R | 4.1.3 | 4.0.4 |
| Delete | cuda | 8.0.61.2 9.2.88.1 11.4.1 11.6.0 |
|
| Update | cuda | 11.4.4 | 11.4.1 |
| Update | cuda | 11.5.2 | 11.5.1 |
| Update | cuda | 11.6.2 | 11.6.0 |
| Delete | cudnn | 5.1.10 6.0.21 8.2.0 8.2.1 8.2.2 |
|
| Update | cudnn | 8.3.3 | 8.3.2 |
| Delete | nccl | 1.3.5-1 2.1.15-1 2.2.13-1 2.3.7-1 2.9.6-1 |
|
| Add | nccl | 2.12.7-1 | |
| Update | gdrcopy | 2.3 | 2.0 |
| Update | intel-mpi | 2021.5 | 2019.9 |
| Add | openmpi | 4.1.3 | |
| Delete | openmpi | 2.1.6 | |
| Delete | openmpi | 3.1.6 | |
| Update | aws-cli | 2.4 | 2.1 |
| Update | fuse-sshfs | 3.7.2 | 3.7.1 |
| Update | f3fs-fuse | 1.91 | 1.87 |
| Delete | sregistory-cli | 0.2.36 | |
| Update | NVIDIA Tesla Driver | 510.47.03 | 470.57.02 |
- Reservedサービスにおいて計算ノード(V)の1予約あたりの最大予約ノード時間積を12,288から13,056に変更しました。
- Reservedサービスにおいて計算ノード(A)の1予約あたりの最大予約ノード数を16から18に変更しました。
- Reservedサービスにおいて計算ノード(A)の1予約あたりの最大予約ノード時間積を6,144から6,912に変更しました。
- Singularity Enterprise CLIについては、都合により導入を見送りました。
- 今回の更新で解消される既知の問題があります。
- Environment Modulesの再構成を行いました。2021年度以前のモジュールを利用したい場合はFAQ(過去のABCI Environment Modulesを利用したい)を参照してください。
- Environment Modulesの再構成に伴い、いくつかのモジュールの提供を終了しました。詳しくは、Tipsの提供を終了したモジュールとその代替手段を参照してください。
2022-03-03
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Delete | hadoop | 3.3 | |
| Delete | spark | 3.0 | |
| Update | DDN Lustre (計算ノード(A)) | 2.12.6_ddn58-1 | 2.12.5_ddn13-1 |
| Update | OFED (計算ノード(A)) | 5.2-1.0.4.0 | 5.1-0.6.6.0 |
- 今回の更新で解消される既知の問題があります。
2022-01-27
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | CUDA | 11.3.1 11.4.1 11.4.2 11.5.1 11.6.0 |
|
| Add | cuDNN | 8.2.2 8.2.4 8.3.2 |
|
| Add | NCCL | 2.10.3-1 2.11.4-1 |
2021-12-15
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | OFED | 5.1-0.6.6.0 | 5.0-2.1.8.0 |
| Update | Scality S3 Connector | 7.4.9.3 | 7.4.8.4 |
| Update | NVIDIA Tesla Driver | 470.57.02 | 460.32.03 |
| Add | ffmpeg | 3.4.9 4.2.5 |
- Reservedサービスにおいて計算ノード(V)の1予約あたりの最大予約ノード数が32から34に変更されました。
- グローバルスクラッチ領域の追加に伴い、ドキュメントの「ストレージ」へグローバルスクラッチ領域を追加しました。
2021-08-12
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | BeeOND | 7.2.3 | 7.2.1 |
| Update | DDN Lustre | 2.12.5_ddn13-1 | 2.12.6_ddn13-1 |
2021-07-06
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | SingularityPRO | 3.7-4 | 3.7-1 |
2021-06-30
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuDNN | 8.2.1 | |
| Add | NCCL | 2.9.9-1 |
2021-05-10
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuDNN | 8.2.0 | |
| Add | NCCL | 2.9.6-1 |
- NVIDIA A100 を搭載した計算ノード(A)の追加に伴い、ドキュメントを修正しました。
2021-04-07
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | NVIDIA Tesla Driver | 460.32.03 | 440.33.01 |
| Update | OFED | 5.0-2.1.8.0 | 4.4-1.0.0.0 |
| Update | Univa Grid Engine | 8.6.17 | 8.6.6 |
| Update | SingularityPRO | 3.7-1 | 3.5-6 |
| Update | BeeOND | 7.2.1 | 7.2 |
| Update | Docker | 19.03.15 | 17.12.0 |
| Update | Scality S3 Connector | 7.4.8.1 | 7.4.8 |
| Add | gcc | 9.3.0 | |
| Add | pgi | 20.4 | |
| Add | nvhpc | 20.11 21.2 |
|
| Add | cmake | 3.19 | |
| Add | go | 1.15 | |
| Add | julia | 1.5 | |
| Add | lua | 5.3.6 5.4.2 |
|
| Add | python | 2.7.18 3.6.12 3.7.10 3.8.7 |
|
| Add | R | 4.0.4 | |
| Add | CUDA | 11.0.3 11.1.1 11.2.2 |
|
| Add | cuDNN | 8.1.1 | |
| Add | NCCL | 2.8.4-1 | |
| Add | openmpi | 4.0.5 | |
| Add | mvapich2-gdr | 2.3.5 | |
| Add | mvapich2 | 2.3.5 | |
| Add | hadoop | 3.3 | |
| Add | spark | 3.0 | |
| Add | aws-cli | 2.1 | |
| Add | fuse-sshfs | 3.7.1 | |
| Add | s3fs-fuse | 1.87 | |
| Add | sregistry-cli | 0.2.36 | |
| Delete | intel | 2017.8.262 2018.5.274 2019.5.281 |
|
| Delete | pgi | 17.10 18.10 19.1 19.10 20.1 |
|
| Delete | nvhpc | 20.9 | |
| Delete | cmake | 3.16 3.17 |
|
| Delete | go | 1.12 1.13 |
|
| Delete | intel-advisor | 2017.5 2018.4 2019.5 |
|
| Delete | intel-inspector | 2017.4 2018.4 2019.5 |
|
| Delete | intel-itac | 2017.0.4 2018.0.4 2019.0.5 |
|
| Delete | intel-mkl | 2017.0.4 2018.0.4 2019.0.5 |
|
| Delete | intel-vtune | 2017.6 2018.4 2019.6 |
|
| Delete | julia | 1.3 1.4 |
|
| Delete | python | 2.7.15 3.4.8 3.5.5 3.7.6 |
|
| Delete | R | 3.5.0 3.6.3 |
|
| Delete | cuda | 10.0.130 | |
| Delete | cudnn | 7.1.3 7.5.0 7.6.0 7.6.1 7.6.2 7.6.3 7.6.4 8.0.2 |
|
| Delete | nccl | 2.3.4-1 2.3.5-2 2.4.2-1 2.4.7-1 2.8.3-1 |
|
| Delete | intel-mpi | 2017.4 2018.4 2019.5 |
|
| Delete | openmpi | 4.0.3 | |
| Delete | mvapich2-gdr | 2.3.3 2.3.4 |
|
| Delete | mvapich2 | 2.3.3 2.3.4 |
|
| Delete | hadoop | 2.9 2.10 3.1 |
|
| Delete | singularity | 2.6.1 | |
| Delete | spark | 2.3 2.4 |
|
| Delete | aws-cli | 1.16.194 1.18 2.0 |
|
| Delete | fuse-sshfs | 2.10 | |
| Delete | s3fs-fuse | 1.85 | |
| Delete | sregistry-cli | 0.2.31 |
2021-03-13
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | SingularityPRO | 3.5-6 | 3.5-4 |
| Update | DDN Lustre | 2.12.6_ddn13-1 | 2.10.7_ddn14-1 |
2020-12-15
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | go | 1.14 | |
| Add | intel | 2020.4.304 | |
| Add | intel-advisor | 2020.3 | |
| Add | intel-inspector | 2020.3 | |
| Add | intel-itac | 2020.0.3 | |
| Add | intel-mkl | 2020.0.4 | |
| Add | intel-mpi | 2019.9 | |
| Add | intel-vtune | 2020.3 | |
| Add | nvhpc | 20.9 | |
| Add | cuDNN | 8.0.5 | |
| Add | NCCL | 2.8.3-1 | |
| Update | BeeOND | 7.2 | 7.1.5 |
| Update | Scality S3 Connector | 7.4.8 | 7.4.6.3 |
機能追加: 計算ノードへのSSHアクセス
使用する計算ノードへのSSHログインを可能にする機能を追加しました。詳細は計算ノードへのSSHアクセスを参照してください。
2020-10-09
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | SingularityPRO | 3.5-4 | 3.5-2 |
2020-08-31
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | Scality S3 Connector | 7.4.6.3 | 7.4.5.4 |
2020-07-31
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | SingularityPRO | 3.5-2 | |
| Add | cuDNN | 8.0.2 | |
| Add | NCCL | 2.7.8-1 | |
| Add | mvapich2-gdr | 2.3.4 | |
| Add | mvapich2 | 2.3.4 |
2020-06-01
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | BeeOND | 7.1.5 | 7.1.4 |
2020-04-21
MVAPICH2-GDR 2.3.3 の更新
gcc 4.8.5 対応の MVAPICH2-GDR 2.3.3 を以下の既知の問題が修正されたバージョンに更新しました。
- MVPICH2-GDR の MPI_Allreduce で floating point exception が発生する場合がある。
また、PGI 対応の MVAPICH2-GDR 2.3.3 は提供を停止しました。 PGI 版が必要の場合、ユーザーサポートまでご連絡ください。
2020-04-03
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | DDN GRIDScaler | 4.2.3.20 | 4.2.3.17 |
| Update | Scality S3 Connector | 7.4.5.4 | 7.4.5.0 |
| Update | libfabric | 1.7.0-1 | 1.5.3-1 |
| Add | intel | 2018.5.274 2019.5.281 |
|
| Add | pgi | 19.1 19.10 20.1 |
|
| Add | R | 3.6.3 | |
| Add | cmake | 3.16 3.17 |
|
| Add | go | 1.12 1.13 |
|
| Add | intel-advisor | 2017.5 2018.4 2019.5 |
|
| Add | intel-inspector | 2017.4 2018.4 2019.5 |
|
| Add | intel-itac | 2017.0.4 2018.0.4 2019.0.5 |
|
| Add | intel-mkl | 2017.0.4 2018.0.4 2019.0.5 |
|
| Add | intel-vtune | 2017.6 2018.4 2019.6 |
|
| Add | julia | 1.0 1.3 1.4 |
|
| Add | openjdk | 1.8.0.242 11.0.6.10 |
|
| Add | python | 3.7.6 3.8.2 |
|
| Add | gdrcopy | 2.0 | |
| Add | nccl | 2.6.4-1 | |
| Add | intel-mpi | 2017.4 2018.4 2019.5 |
|
| Add | mvapich2-gdr | 2.3.3 | |
| Add | mvapich2 | 2.3.3 | |
| Add | openmpi | 3.1.6 4.0.3 |
|
| Add | hadoop | 2.9 2.10 3.1 |
|
| Add | spark | 2.3 2.4 |
|
| Add | aws-cli | 1.18 2.0 |
|
| Delete | gcc | 7.3.0 | |
| Delete | intel | 2018.2.199 2018.3.222 2019.3.199 |
|
| Delete | pgi | 18.5 19.3 |
|
| Delete | go | 1.11.2 | |
| Delete | intel-mkl | 2017.8.262 2018.2.199 2018.3.222 2019.3.199 |
|
| Delete | openjdk | 1.6.0.41 1.8.0.161 |
|
| Delete | cuda | 9.0/9.0.176.2 9.0/9.0.176.3 |
|
| Delete | gdrcopy | 1.2 | |
| Delete | intel-mpi | 2018.2.199 | |
| Delete | mvapich2-gdr | 2.3rc1 2.3 2.3a 2.3.1 2.3.2 |
|
| Delete | mvapich2 | 2.3rc2 2.3 2.3.2 |
|
| Delete | openmpi | 1.10.7 2.1.3 2.1.5 3.0.3 3.1.0 3.1.2 3.1.3 |
|
| Delete | hadoop | 2.9.1 2.9.2 |
|
| Delete | spark | 2.3.1 2.3.2 2.4.0 |
2019-12-17
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | DDN Lustre | 2.10.7_ddn14-1 | 2.10.5_ddn7-1 |
| Update | BeeOND | 7.1.4 | 7.1.3 |
| Update | Scality S3 Connector | 7.4.5.0 | 7.4.4.4 |
| Update | NVIDIA Tesla Driver | 440.33.01 | 410.104 |
| Add | CUDA | 10.2.89 | |
| Add | cuDNN | 7.6.5 | |
| Add | NCCL | 2.5.6-1 |
その他の修正点は下記の通りです:
- メモリインテンシブノードを追加しました。
2019-11-06
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | GCC | 7.3.0 7.4.0 |
|
| Add | sregistry-cli | 0.2.31 |
その他の修正点は下記の通りです:
- cuda/* モジュールを修正し、
extras/CUPTIへのパスを設定するようにしました。 - python/3.4, python/3.5, python/3.6 を修正し、ホーム領域上で
shutil.copytreeを実行するとエラーが発生する問題を解決しました。
2019-10-04
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | Univa Grid Engine | 8.6.6 | 8.6.3 |
| Update | DDN GRIDScaler | 4.2.3.17 | 4.2.3.15 |
| Update | BeeOND | 7.1.3 | 7.1.2 |
| Add | CUDA | 10.1.243 | |
| Add | cuDNN | 7.6.3 7.6.4 |
|
| Add | NCCL | 2.4.8-1 | |
| Add | MVAPICH2-GDR | 2.3.2 | |
| Add | MVAPICH2 | 2.3.2 | |
| Add | fuse-sshfs | 2.10 |
その他の修正点は下記の通りです:
- cuDNN 7.5.0, 7.5.1, 7.6.0, 7.6.1, 7.6.2 を CUDA 10.1 に対応
- NCCL 2.4.2-1, 2.4.7-1 を CUDA 10.1 に対応
- GDRCopy 1.2 を CUDA 10.0, 10.1 に対応
- Open MPI 2.1.6 を CUDA 10.1 に対応
- インタラクティブノードの /tmp の容量を 26GB から 12TB に増量
- インタラクティブノードにてプロセス監視およびプロセス削除の仕組みを追加
インタラクティブノードのプロセス監視を開始
インタラクティブノードのプロセス監視を開始しました。
インタラクティブノードでの高負荷な処理や長時間の処理はプロセス監視システムに
よって停止されるため、qrsh/qsubコマンドを用いて計算ノードをご使用ください。
ジョブ投入数および実行数制限の変更
ジョブ投入数および実行数制限を以下のように変更しました。
| 制限項目 | 現在の制限値 | 変更前の制限値 |
|---|---|---|
| アレイジョブあたりの最大投入可能タスク数 | 75000 | 1000 |
| ABCI アカウントあたりの同時実行ジョブ数 | 200 | 0(無制限) |
既知の問題に関して
以下の既知の問題への対応が完了しました。
- 資源タイプ rt_C.small/rt_G.small を指定したジョブが1計算ノードあたり 2ジョブまでしか実行されない(通常4ジョブが実行される)。
2019-08-01
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuDNN | 7.6.2 | |
| Add | NCCL | 2.4.7-1 | |
| Add | s3fs-fuse | 1.85 |
その他の修正点は下記の通りです:
- Open MPI 1.10.7, 2.1.5, 2.1.6 を CUDA 10.0 に対応
2019-07-10
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | CUDA | 10.0.130.1 | |
| Add | cuDNN | 7.5.1 7.6.0 7.6.1 |
|
| Add | aws-cli | 1.16.194 |
2019-04-05
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | CentOS | 7.5 | 7.4 |
| Update | Univa Grid Engine | 8.6.3 | 8.5.4 |
| Update | Java | 1.7.0_171 | 1.7.0_141 |
| Update | Java | 1.8.0_161 | 1.8.0_131 |
| Add | DDN Lustre | 2.10.5_ddn7-1 | |
| Update | NVIDIA Tesla Driver | 410.104 | 396.44 |
| Add | CUDA | 10.0.130 | |
| Add | Intel Compiler | 2019.3 | |
| Add | PGI | 18.10 19.3 |
その他の修正点は下記の通りです:
- ホーム領域を GPFS から Lustre に移行
2019-03-14
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | Intel Compiler | 2017.8 2018.3 |
|
| Add | PGI | 17.10 | |
| Add | Open MPI | 2.1.6 | |
| Add | cuDNN | 7.5.0 | |
| Add | NCCL | 2.4.2-1 | |
| Add | Intel MKL | 2017.8 2018.3 |
その他の修正点は下記の通りです:
- MVAPICH2-GDR 2.3 を PGI 17.10 に対応
- Open MPI 2.1.5, 2.1.6, 3.1.3 を PGI に対応
- Open MPI の default module を 2.1.6 に変更
- MVAPICH2 のトップディレクトリのtypoを修正
2019-01-31
qstatコマンドの出力の変更
ジョブスケジューラの設定変更を実施し、qstat コマンドの出力において、ユーザ/グループ/ジョブ名がマスク表示されるようにしました。
自身のジョブの場合のみ上記の情報は表示され、そうでない場合はこれらの情報は'*'でマスクされます。以下に表示例を示します。
[username@es1 ~]$ qstat -u '*' | head
job-ID prior name user state submit/start at queue jclass slots ja-task-ID
------------------------------------------------------------------------------------------------------------------------------------------------
123456 0.28027 run.sh username r 01/31/2019 12:34:56 gpu@g0001 80
123457 0.28027 ********** ********** r 01/31/2019 12:34:56 gpu@g0002 80
123458 0.28027 ********** ********** r 01/31/2019 12:34:56 gpu@g0003 80
123450 0.28027 ********** ********** r 01/31/2019 12:34:56 gpu@g0004 80
2018-12-18
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuDNN | 7.4.2 | |
| Add | NCCL | 2.3.7-1 | |
| Add | Open MPI | 3.0.3 3.1.3 |
|
| Add | MVAPICH2-GDR | 2.3 | |
| Add | Hadoop | 2.9.2 | |
| Add | Spark | 2.3.2 2.4.0 |
|
| Add | Go | 1.11.2 | |
| Add | Intel MKL | 2018.2.199 |
cuDNN 7.4.2
NVIDIA CUDA Deep Neural Network library (cuDNN) 7.4.2 をインストールしました。
利用環境の設定:
$ module load cuda/9.2/9.2.148.1
$ module load cudnn/7.4/7.4.2
NCCL 2.3.7-1
NVIDIA Collective Communications Library (NCCL) 2.3.7-1 をインストールしました。
利用環境の設定:
$ module load cuda/9.2/9.2.148.1
$ module load nccl/2.3/2.3.7-1
Open MPI 3.0.3, 3.1.3
Open MPI (without --cuda option) 3.0.3, 3.1.3 をインストールしました。
利用環境の設定:
$ module load openmpi/3.1.3
MVAPICH2-GDR 2.3
MVAPICH2-GDR 2.3 をインストールしました。
利用環境の設定:
$ module load cuda/9.2/9.2.148.1
$ module load mvapich/mvapich2-gdr/2.3
Hadoop 2.9.2
Apache Hadoop 2.9.2 をインストールしました。
利用環境の設定:
$ module load openjdk/1.8.0.131
$ module load hadoop/2.9.1
Spark 2.3.2, 2.4.0
Apache Spark 2.3.2, 2.4.0 をインストールしました。
利用環境の設定:
$ module load spark/2.4.0
Go 1.11.2
Go 言語 1.11.2 をインストールしました。
利用環境の設定:
$ module load go/1.11.2
Intel MKL 2018.2.199
Intel Math Kernel Library (MKL) 2018.2.199 をインストールしました。
利用環境の設定:
$ module load intel-mkl/2018.2.199
2018-12-14
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | Singularity | 2.6.1 | 2.6.0 |
| Delete | Singularity | 2.5.2 |
Singularity 2.6.1 をインストールしました。使用方法は以下の通りです。
$ module load singularity/2.6.1
$ singularity run image_path
アップデート情報については、以下のページを参照ください。
また、ソフトウェアの脆弱性 (CVE-2018-19295) が報告されたため、Singularity 2.5.2, 2.6.0 はアンインストールしました。ジョブスクリプト内で、バージョンを指定して Singularity 環境を設定している場合（singularity/2.5.2, singularity/2.6.0など）、バージョン指定を singularity/2.6.1 に修正ください。
ex) module load singularity/2.5.2 -> module load singularity/2.6.1