システム更新履歴
2024-12 更新予定
- ABCI 2.0インタラクティブノードにABCI 3.0のホーム領域をマウントします。日程やマウントポイント等の詳細は後日お知らせします。
2024-11 更新予定
次期ABCIシステムの導入に伴い、ABCI 2.0の運用を2024年10月31日を以て終了します。これに向けていくつかのサービスを段階的に終了いたします。
11月中は以下のサービスが利用できます。
- ABCI 2.0インタラクティブノードは引き続きログインできます。
- ABCI 2.0インタラクティブノードから、グループ領域(
/groups)、高速データ領域(/bb)、ABCIクラウドストレージ等のABCI 2.0 ストレージは引き続きアクセスできます。ただし、ストレージは段階的に終了します。終了時期は「今後のストレージサービスのお知らせ」を参照してください。
以下のサービスは終了します。
- ABCI 2.0計算ノード(V)、計算ノード(A)
- ABCI 2.0ローカルストレージ、グローバルスクラッチ領域(
/scratch)
ABCI 2.0から3.0へのデータ移行について
- ABCI 2.0ホーム領域(
/home)のデータ移行をシステム運用者側にて実施します。- ABCI 2.0ホーム領域のデータ移行中はABCI 2.0インタラクティブノードへのログインはできません。データ移行の詳しい日程については後日お知らせします。
- ABCI 2.0インタラクティブノードにABCI 3.0のグループ領域を
/groups-newのマウントポイントでマウントします。/groups、/bb等のABCI 2.0ストレージ上の必要なデータは、インタラクティブノードから利用者自身でABCI 3.0のグループ領域(/groups-new)へ移行してください。
11月以降のABCI利用者ポータルの制限
11月以降のABCI利用者ポータルにおいて、いくつかの申請サービスを終了します。
以下の申請は受け付けます。 ただし、ABCI 2.0システムには反映しますが、ABCI3.0へは反映しません。
- クラウドストレージ管理
- パスワード再発行
- ABCIポイント使用履歴
- 2024年10月31日までのABCI 2.0のポイント使用履歴が2025年3月30日17:00まで参照できます。
- ABCI 3.0でのポイント使用履歴は参照できません。
以下の申請は受け付けます。 ただし、ABCI 2.0システムには反映しますが、ABCI3.0へ反映するためには別途申請が必要です。ABCI 3.0へ反映するための申請手順は、後日お知らせします。
- 利用者編集
- メールアドレスの変更のみ申請を受け付けます
- 利用者削除
- 公開鍵の登録、公開鍵の削除
- 利用管理者権限設定
- 利用責任者変更
- 請求書送付先・予算コード変更申請
- グループディスク追加または削減申請
以下は申請を受け付けません。 利用者ポータルでは、下記サービスの申請ボタンは非表示となります。申請しても承認されません。
- 利用グループ新規申請
- ノード予約・キャンセル
- ABCIポイント追加履歴
- ABCIポイント追加申請
- 利用の追加申請
- 利用テーマ・利用概要変更申請
2024-10-02
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuda | 12.6.1 | |
| Add | cudnn | 9.3.0 9.4.0 |
2024-08-30
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | openjdk | 1.8.0.422 | 1.8.0.402 |
| Update | openjdk | 11.0.24.0.8 | 11.0.22.0.7 |
| Update | openjdk | 17.0.12.0.7 | 17.0.10.0.7 |
2024-08-08
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | nccl | 2.22.3-1 |
2024-07-31
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuda | 12.5.1 | |
| Add | cudnn | 9.2.1 |
2024-06-28
- 特定グループ領域(/projects)のサービス提供を終了いたしました。
- グローバルスクラッチ領域(/scratch)については2024年6月28日にサービスの提供を終了しましたが、7月12日以降新たなストレージ領域を使用して提供を再開いたします。ただし、各利用者のディスククォータが10TiBから5TiBへ縮小されます。また、利用率が80%を超過した場合の自動削除機能も引き続き適用されます。ただし、ファイルの最終アクセス日または作成日から40日間経過したものが削除候補として選ばれておりましたが、この期間が7日間に短縮されます。
2024-06-18
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuda | 12.4.1 12.5.0 |
|
| Add | cudnn | 9.1.1 | |
| Add | nccl | 2.21.5-1 |
2024-05-28
- 計算ノード(V)のSpotサービスとOn-demandサービスにおいて、システムあたりの同時実行ジョブ数の制限を以下の通り変更しました。
| 資源タイプ | 項目 | 変更後の上限値 |
|---|---|---|
| rt_F | システムあたりの同時実行ジョブ数の制限値 | 918ジョブ |
| rt_G.large, rt_C.large | システムあたりの同時実行ジョブ数の制限値 | 170ジョブ |
| rt_G.small, rt_C.small | システムあたりの同時実行ジョブ数の制限値 | 680ジョブ |
2024-04-12
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Delete | cuda | 10.2.89 11.0.3 11.1.1 11.3.1 11.4.4 11.5.2 12.0.0 12.1.0 12.3.0 |
|
| Delete | cudnn | 7.6.5 8.0.5 8.2.4 8.5.0 8.9.1 8.9.2 8.9.5 |
|
| Delete | nccl | 2.5.6-1 2.6.4-1 2.7.8-1 2.9.9-1 2.10.3-1 2.18.1-1 2.18.3-1 |
|
| Update | gdrcopy | 2.4.1 | 2.3 |
| Update | intel | 2024.0.2 | 2023.0.0 |
| Update | intel-advisor | 2024.0.0 | 2023.0 |
| Update | intel-inspector | 2024.0 | 2023.0 |
| Update | intel-itac | 2022.0 | 2021.8.0 |
| Update | intel-mkl | 2024.0.0 | 2023.0.0 |
| Update | intel-vtune | 2024.0.0 | 2023.0.0 |
| Update | intel-mpi | 2021.11 | 2021.8 |
| Add | gcc | 13.2.0 | |
| Delete | gcc | 12.2.0 | |
| Update | cmake | 3.29.0 | 3.26.1 |
| Add | python | 3.12.2 | |
| Update | python | 3.10.14 | 3.10.10 |
| Update | python | 3.11.9 | 3.11.2 |
| Update | R | 4.3.3 | 4.2.3 |
| Update | openjdk | 1.8.0.402 | 1.8.0.362 |
| Update | openjdk | 11.0.22.0.7 | 11.0.18.0.10 |
| Update | openjdk | 17.0.10.0.7 | 17.0.6.0.10 |
| Update | Go | 1.22.2 | 1.20 |
| Update | julia | 1.10 | 1.8 |
| Update | aws-cli | 2.15.35 | 2.11 |
| Update | s3fs-fuse | 1.94 | 1.91 |
| Update | DDN Lustre | 2.14.0_ddn134 | 2.12.8_ddn23 |
| Update | SingularityPRO | 4.1.2-2 | 3.11-5 |
| Update | ABCI Singularityエンドポイント | 2.3.0 | 2.1.5 |
2024-03-27
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuda | 12.4.0 | |
| Add | cudnn | 9.0.0 | |
| Add | nccl | 2.20.5-1 |
- cuDNN 9.0.0をCUDA 11.0から11.3で使用した場合、
cudnnRNNBackwardWeights_v8関数呼び出し時にエラーが発生することを確認しています。
2024-01-23
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuda | 12.3.2 | |
| Add | cudnn | 8.9.7 | |
| Add | nccl | 2.19.3-1 |
2024-01-09
- 「計算ノード(V)利用促進プログラム」の終了に伴い、変更しておりました計算ノード(V)の各資源タイプの資源タイプ課金係数を、2024年1月9日12:00より元に戻しました。
| 資源タイプ | 資源タイプ名 | 変更前の資源タイプ課金係数 | 変更後の資源タイプ課金係数 |
|---|---|---|---|
| Full | rt_F | 0.50 | 1.00 |
| G.large | rt_G.large | 0.50 | 0.90 |
| G.small | rt_G.small | 0.20 | 0.30 |
| C.large | rt_C.large | 0.30 | 0.60 |
| C.small | rt_C.small | 0.10 | 0.20 |
2023-12-12
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | rclone | 1.61.1 | |
| Update | SingularityPRO | 3.11-5 | 3.9-10 |
- Singularityコンテナの実行時、ホスト側からバインドマウントされるライブラリに新たに
/lib64/libibverbs/libmlx5-rdmav34.soを追加しました。
2023-11-14
- 計算ノードへのSSHログインを、ABCIグループに所属する他のABCIアカウントにも許可する機能のため、新しいオプション
-v ALLOW_GROUP_SSH=1を追加しました。
新しいオプション-v ALLOW_GROUP_SSH=1の詳細は計算ノードへのSSHアクセスを参照してください。 - ABCIグループに所属する他のABCIアカウントにジョブの削除を許可する機能のため、qsubに新しいオプション
-v ALLOW_GROUP_QDEL=1を追加しました。
qsubの新しいオプション-v ALLOW_GROUP_SSH=1とqdelのオプション-g groupの詳細はジョブ実行オプション、バッチジョブの削除を参照してください。
2023-11-07
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuda | 12.3.0 | |
| Add | cudnn | 8.9.5 | |
| Add | nccl | 2.18.5-1 |
2023-10-27
- メモリインテンシブノードで提供している計算資源タイプのサービスは、2023年10月27日15:00 に終了しました。
対象の資源タイプ名は rt_M.large および rt_M.small です。
2023-10-02
- 「計算ノード(V)利用促進プログラム」の開催に伴い、計算ノード(V)の各資源タイプの資源タイプ課金係数を以下の通り変更しました。変更期間は、2023年10月2日 12:00から2024年1月9日までを予定しています。
| 資源タイプ | 資源タイプ名 | 変更前の資源タイプ課金係数 | 変更後の資源タイプ課金係数 |
|---|---|---|---|
| Full | rt_F | 1.00 | 0.50 |
| G.large | rt_G.large | 0.90 | 0.50 |
| G.small | rt_G.small | 0.30 | 0.20 |
| C.large | rt_C.large | 0.60 | 0.30 |
| C.small | rt_C.small | 0.20 | 0.10 |
- 計算ノード(V)以外の資源タイプ課金係数については従来通りです。
- Reservedサービスで計算ノード(V)を予約する場合の資源タイプ課金係数も同様に0.50となります。
計算式については課金のページを参照ください。
2023-09-21
- 計算ノード(A)とメモリインテンシブノードのSpotサービスにおいて以下の上限値を変更しました。
| サービス | 資源タイプ | 項目 | 変更前の上限値 | 変更後の上限値 |
|---|---|---|---|---|
| Spot | rt_AF | 同時に利用可能なノード数 | 90ノード | 64ノード |
| Spot | rt_AF | 経過時間上限 | 168時間 | 72時間 |
| Spot | rt_AF | ノード時間積上限 | 15120ノード時間 | 2304ノード時間 |
| Spot | rt_M.large, rt_M.small | ノード時間積上限 | 2304ノード時間 | 72ノード時間 |
- 新しい上限値は、2023年9月21日の上限値変更時より後に投入されたジョブから有効になります。
今までの上限値を利用したい場合は、上限値の変更前までにジョブを投入してください。
2023-08-01
- 「第1回 大規模言語モデル構築支援プログラム」の開催に伴い、2023年9月末まで計算ノード(A)のReservedサービスにおいて以下の上限値を変更します。
| サービス | 資源タイプ | 項目 | 変更前の上限値 | 変更後の上限値 |
|---|---|---|---|---|
| Reserved | rt_AF | システムあたりの最大同時予約可能ノード数 | 50ノード | 30ノード |
2023-07-10
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuda | 12.2.0 | |
| Add | nccl | 2.18.3-1 |
2023-06-12
- ABCI利用者ポータルの更新
- 利用者入力の際に職名欄の入力が必須となります。
- HPC-Xモジュールのプロセスバインディングを変更
- HPC-Xモジュールにおける、プロセスバインディングを制御するパラメータ
hwloc_base_binding_policyのデフォルト値を、CPUコアにプロセスをバインドするcoreから、プロセスをバインドしないnoneに変更しました。- 変更前のデフォルト値：
core - 変更後のデフォルト値：
none
- 変更前のデフォルト値：
- HPC-Xモジュールにおける、プロセスバインディングを制御するパラメータ
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cudnn | 8.9.2 |
2023-06-02
- Spotサービスにおいて、経過時間およびノード時間積の制限を以下の通り変更しました。
| 資源タイプ | 項目 | 変更前の上限値 | 変更後の上限値 |
|---|---|---|---|
| rt_F, rt_G.large | 経過時間上限 | 72時間 | 168時間 |
| rt_G.small, rt_AG.small, rt_C.small | 経過時間上限 | 168時間 | 72時間 |
| rt_F | ノード時間積上限 | 2304ノード時間 | 43008ノード時間 |
- Reservedサービスにおいて、予約ノード数およびノード時間積の制限を以下の通り変更しました。
| 資源タイプ | 項目 | 変更前の上限値 | 変更後の上限値 |
|---|---|---|---|
| rt_F | 1予約あたりの最大予約ノード数 | 34ノード | 272ノード |
| rt_F | 1予約あたりの最大ノード時間積 | 13056ノード時間 | 45696ノード時間 |
| rt_F | システムあたりの最大同時予約可能ノード数 | 442ノード | 476ノード |
2023-05-18
- 2023年8月末まで、計算ノード(A)のSpotサービスおよびReservedサービスの以下の上限値を変更します。
ただし、電力事情や混雑状況によっては、2023年8月末よりも前に設定を元に戻す可能性があります。
| サービス | 資源タイプ | 項目 | 変更前の上限値 | 変更後の上限値 |
|---|---|---|---|---|
| Spot | rt_AF | 同時に利用可能なノード数 | 64ノード | 90ノード |
| Spot | rt_AF | 経過時間上限 | 72時間 | 168時間 |
| Spot | rt_AF | ノード時間積上限 | 288ノード時間 | 15120ノード時間 |
| Reserved | rt_AF | 1予約あたりの最大予約ノード数 | 18ノード | 30ノード |
2023-05-16
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuda | 12.1.1 | |
| Add | cudnn | 8.9.1 | |
| Add | nccl | 2.18.1-1 |
2023-04-07
-
計算ノード(V)とインタラクティブノード(V)のOSをCentOS 7からRocky Linux 8へ変更しました。
- 本変更に伴い、プログラムの再コンパイルやPython仮想環境の再構築が必要になります。
-
下記は2023年3月末日でサポートを終了しました。 終了したモジュールについては、コンテナイメージの利用もしくは、過去のABCI Environment Modulesをご利用ください。 詳しくは、Tipsの提供を終了したモジュールとその代替手段を参照してください。
- Compilers：PGI
- Development Tools：Lua
- Deep Learning Frameworks：Caffe, Caffe2, Theano, Chainer
- MPI：OpenMPI
- Utilities：fuse-sshfs
- コンテナエンジン：Docker
-
ABCIグループ毎の最大同時予約可能ノード数を設定しました。
- 計算ノード(V) の ABCIグループ毎の最大同時予約可能ノード数: 272ノード
- 計算ノード(A) の ABCIグループ毎の最大同時予約可能ノード数: 30ノード
-
ABCIグループ領域のinode数上限値が設定されました。
- 2023年度4月からABCIグループ領域のinode使用数について、上限値として2億個を設定します。
- inode使用数の確認方法については ディスククォータの確認を参照ください。
-
ABCI Singularity エンドポイントのアップデートを行いました。
- 本アップデートに伴い、アクセストークンの再作成が必要となります。
- 本アップデートに伴い、SingularityPRO Enterpriseプラグインが利用可能となります。それに伴い重複する機能である以下のコマンドを廃止しました。
- list_singularity_images
- revoke_singularity_token
-
ABCI利用者ポータルの更新
- 特定類型該当性に関する申告書について、下記の機能が追加されました。
- 「日本の学生等」の 「特定類型該当性に関する申告書」 を利用者ポータルから申請できます。
- 「日本の学生等」と「非居住者」以外のすべての利用者が、利用者ポータルから「特定類型該当性に関する申告」 を申請できます。（注：「特定類型該当性に関する申告」 を申請していない利用者は、ABCIを利用できません。）
- 公開鍵操作について、下記の機能が追加されました。
- ABCIグループの利用責任者・管理者がABCIグループの利用者の公開鍵の操作履歴を参照できます。
- ABCIグループに所属する利用者が公開鍵を登録・削除した際に、ABCIグループの利用責任者・管理者へ通知メールが送られます。デフォルトでは通知されません。
- 特定類型該当性に関する申告書について、下記の機能が追加されました。
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | gcc | 12.2.0 | |
| Delete | gcc | 9.3.0 11.2.0 |
|
| Add | python | 3.11.2 | |
| Update | python | 3.10.10 | 3.10.4 |
| Delete | python | 2.7.18 3.7.13 3.8.13 |
|
| Delete | cuda | 9.0.176.1 9.1.85.3 9.2.148.1 10.0.130.1 10.1.243 11.7.0 |
|
| Delete | cudnn | 7.0.5 7.1.4 7.2.1 7.3.1 7.4.2 7.5.1 |
|
| Delete | nccl | 2.4.8-1 | |
| Add | hpcx | 2.12 | |
| Add | hpcx-debug | 2.12 | |
| Add | hpcx-mt | 2.12 | |
| Add | hpcx-prof | 2.12 | |
| Update | intel | 2023.0.0 | 2022.2.1 |
| Update | intel-advisor | 2023.0 | 2022.3.1 |
| Update | intel-inspector | 2023.0 | 2022.3.1 |
| Update | intel-itac | 2021.8.0 | 2021.7.1 |
| Update | intel-mkl | 2023.0.0 | 2022.0.2 |
| Update | intel-vtune | 2023.0.0 | 2022.4.1 |
| Update | intel-mpi | 2021.8 | 2021.7 |
| Delete | pgi | 20.4 | |
| Update | cmake | 3.26.1 | 3.22.3 |
| Update | go | 1.20 | 1.18 |
| Update | julia | 1.8 | 1.6 |
| Update | openjdk | 1.8.0.362 | 1.8.0.332 |
| Update | openjdk | 11.0.18.0.10 | 11.0.15.0.9 11.0.15.0.10 |
| Update | openjdk | 17.0.6.0.10 | 17.0.3.0.7 |
| Update | R | 4.2.3 | 4.1.3 |
| Delete | openmpi | 4.0.5 | |
| Delete | openmpi | 4.1.3 | |
| Update | aws-cli | 2.11 | 2.4 |
| Delete | fuse-sshfs | 3.7.2 | |
| Update | SingularityPRO | 3.9-10 | 3.9-9 |
| Update | ABCI Singularityエンドポイント | 2.1.5 | 1.7.2 |
| Update | DDN Lustre | 2.12.8_ddn23 | 2.12.8_ddn10 |
| Update | Scality S3 Connector | 7.10.6.7 | 7.10.2.2 |
| Update | BeeOND | 7.3.3 | 7.2.3 |
2023-03-08
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuda | 12.1.0 | |
| Add | cudnn | 8.8.1 | |
| Add | nccl | 2.17.1-1 |
2023-02-03
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | intel | 2022.2.1 | 2022.0.2 |
| Update | intel-advisor | 2022.3.1 | 2022.0 |
| Update | intel-inspector | 2022.3.1 | 2022.0 |
| Update | intel-itac | 2021.7.1 | 2021.5.0 |
| Update | intel-mkl | 2022.0.2 | 2022.0.0 |
| Update | intel-vtune | 2022.4.1 | 2022.0.0 |
| Update | intel-mpi | 2021.7 | 2021.5 |
- Intel oneAPIの以前のバージョンでコンパイルされたプログラムについては、脆弱性が含まれている可能性があるため、新しいバージョンで再度コンパイルをお願いします。
- 脆弱性を含む
intel/2022.0.2以前のIntel oneAPIモジュールは公開を停止しました。 以前のバージョンでコンパイルされたプログラムについては、公開停止モジュールをリンクしている場合、稼働しなくなります。お手数ですが新しいバージョンで再度コンパイルをお願いします。
2023-01-05
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | SingularityPRO | 3.9-9 | 3.9-8 |
2022-12-23
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuda | 12.0.0 | |
| Add | cudnn | 8.7.0 | |
| Add | nccl | 2.16.2-1 |
2022-12-13
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | SingularityPRO | 3.9-8 | 3.9-4 |
| Update | ABCI Singularityエンドポイント | 1.7.2 | 1.2.5 |
2022-10-25
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuda | 11.8.0 | |
| Add | cudnn | 8.6.0 | |
| Add | nccl | 2.15.5-1 |
2022-09-02
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuda | 11.7.1 | |
| Add | cudnn | 8.5.0 | |
| Add | nccl | 2.13.4-1 2.14.3-1 |
2022-07-29
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | cudnn | 8.4.1 | 8.4.0 |
2022-06-24
- GPU Compute ModeをEXCLUSIVE_PROCESSモードに変更するジョブ実行オプションを
-v GPU_COMPUTE_MODE=1から-v GPU_COMPUTE_MODE=3に変更しました。詳しくは、GPU Compute Modeの変更を参照してください。
2022-06-21
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuda | 11.7.0 | |
| Update | nccl | 2.12.12-1 | 2.12.10-1 |
| Update | Altair Grid Engine | 8.6.19_C121_1 | 8.6.17 |
| Update | openjdk | 1.8.0.332 | 1.8.0.322 |
| Update | openjdk | 11.0.15.0.9(計算ノード(V)) 11.0.15.0.10(計算ノード(A)) |
11.0.14.1.1 |
| Update | openjdk | 17.0.3.0.7 | 17.0.2.0.8 |
| Update | DDN Lustre | 2.12.8_ddn10 | 2.12.6_ddn58-1 |
- Altair Grid Engineのアップデートにより予約およびジョブは削除されました。ジョブの再投入・予約の再作成をお願いします。
- 今回の修正で解消される「既知の問題」があります。
- R(4.1.3)について、--enable-R-shlib を有効にして再インストールしております。
- ABCI Singularityエンドポイントについては、都合によりアップデートを見送りました。
2022-05-26
- Altair社によるUniva社の買収に伴い本ユーザーガイド内に記載されている製品名を変更しました。
| Current | Previous |
|---|---|
| Altair Grid Engine | Univa Grid Engine |
| AGE | UGE |
2022-05-10
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | gcc | 9.3.0 | |
| Add | cudnn | 8.4.0 | |
| Update | nccl | 2.12.10-1 | 2.12.7-1 |
- ABCIの更新に伴い削除していた
gcc/9.3.0モジュールを現在のEnvironment Modulesに戻しました。
2022-04-06
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | Scality S3 Connector | 7.10.2.2 | 7.4.9.3 |
| Update | SingularityPRO | 3.9-4 | 3.7-4 |
| Update | DDN Lustre (計算ノード(V)) | 2.12.6_ddn58-1 | 2.12.5_ddn13-1 |
| Update | OFED (計算ノード(V)) | 5.2-1.0.4.0 | 5.0-2.1.8.0 |
| Update | gcc | 11.2.0 | 9.3.0 |
| Delete | gcc | 7.4.0 | |
| Update | intel | 2022.0.2 | 2020.4.304 |
| Delete | nvhpc | 20.11 21.2 |
|
| Delete | openjdk | 1.7.0.171 | |
| Update | openjdk | 1.8.0.322 | 1.8.0.242 |
| Update | openjdk | 11.0.14.1.1 | 11.0.6.10 |
| Update | openjdk | 17.0.2.0.8 | 15.0.2.0.7 |
| Delete | lua | 5.3.6 5.4.2 |
|
| Delete | julia | 1.0 | |
| Update | julia | 1.6.6 | 1.5 |
| Update | intel-advisor | 2022.0 | 2020.3 |
| Update | intel-inspector | 2022.0 | 2020.3 |
| Update | intel-itac | 2021.5.0 | 2020.0.3 |
| Update | intel-mkl | 2022.0.0 | 2020.0.4 |
| Update | intel-vtune | 2022.0.0 | 2020.3 |
| Add | python | 3.10.4 | |
| Update | python | 3.7.13 | 3.7.10 |
| Update | python | 3.8.13 | 3.8.7 |
| Delete | python | 3.6.12 | |
| Update | R | 4.1.3 | 4.0.4 |
| Delete | cuda | 8.0.61.2 9.2.88.1 11.4.1 11.6.0 |
|
| Update | cuda | 11.4.4 | 11.4.1 |
| Update | cuda | 11.5.2 | 11.5.1 |
| Update | cuda | 11.6.2 | 11.6.0 |
| Delete | cudnn | 5.1.10 6.0.21 8.2.0 8.2.1 8.2.2 |
|
| Update | cudnn | 8.3.3 | 8.3.2 |
| Delete | nccl | 1.3.5-1 2.1.15-1 2.2.13-1 2.3.7-1 2.9.6-1 |
|
| Add | nccl | 2.12.7-1 | |
| Update | gdrcopy | 2.3 | 2.0 |
| Update | intel-mpi | 2021.5 | 2019.9 |
| Add | openmpi | 4.1.3 | |
| Delete | openmpi | 2.1.6 | |
| Delete | openmpi | 3.1.6 | |
| Update | aws-cli | 2.4 | 2.1 |
| Update | fuse-sshfs | 3.7.2 | 3.7.1 |
| Update | f3fs-fuse | 1.91 | 1.87 |
| Delete | sregistory-cli | 0.2.36 | |
| Update | NVIDIA Tesla Driver | 510.47.03 | 470.57.02 |
- Reservedサービスにおいて計算ノード(V)の1予約あたりの最大予約ノード時間積を12,288から13,056に変更しました。
- Reservedサービスにおいて計算ノード(A)の1予約あたりの最大予約ノード数を16から18に変更しました。
- Reservedサービスにおいて計算ノード(A)の1予約あたりの最大予約ノード時間積を6,144から6,912に変更しました。
- Singularity Enterprise CLIについては、都合により導入を見送りました。
- 今回の更新で解消される既知の問題があります。
- Environment Modulesの再構成を行いました。2021年度以前のモジュールを利用したい場合はFAQ(過去のABCI Environment Modulesを利用したい)を参照してください。
- Environment Modulesの再構成に伴い、いくつかのモジュールの提供を終了しました。詳しくは、Tipsの提供を終了したモジュールとその代替手段を参照してください。
2022-03-03
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Delete | hadoop | 3.3 | |
| Delete | spark | 3.0 | |
| Update | DDN Lustre (計算ノード(A)) | 2.12.6_ddn58-1 | 2.12.5_ddn13-1 |
| Update | OFED (計算ノード(A)) | 5.2-1.0.4.0 | 5.1-0.6.6.0 |
- 今回の更新で解消される既知の問題があります。
2022-01-27
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | CUDA | 11.3.1 11.4.1 11.4.2 11.5.1 11.6.0 |
|
| Add | cuDNN | 8.2.2 8.2.4 8.3.2 |
|
| Add | NCCL | 2.10.3-1 2.11.4-1 |
2021-12-15
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | OFED | 5.1-0.6.6.0 | 5.0-2.1.8.0 |
| Update | Scality S3 Connector | 7.4.9.3 | 7.4.8.4 |
| Update | NVIDIA Tesla Driver | 470.57.02 | 460.32.03 |
| Add | ffmpeg | 3.4.9 4.2.5 |
- Reservedサービスにおいて計算ノード(V)の1予約あたりの最大予約ノード数が32から34に変更されました。
- グローバルスクラッチ領域の追加に伴い、ドキュメントの「ストレージ」へグローバルスクラッチ領域を追加しました。
2021-08-12
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | BeeOND | 7.2.3 | 7.2.1 |
| Update | DDN Lustre | 2.12.5_ddn13-1 | 2.12.6_ddn13-1 |
2021-07-06
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | SingularityPRO | 3.7-4 | 3.7-1 |
2021-06-30
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuDNN | 8.2.1 | |
| Add | NCCL | 2.9.9-1 |
2021-05-10
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuDNN | 8.2.0 | |
| Add | NCCL | 2.9.6-1 |
- NVIDIA A100 を搭載した計算ノード(A)の追加に伴い、ドキュメントを修正しました。
2021-04-07
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | NVIDIA Tesla Driver | 460.32.03 | 440.33.01 |
| Update | OFED | 5.0-2.1.8.0 | 4.4-1.0.0.0 |
| Update | Univa Grid Engine | 8.6.17 | 8.6.6 |
| Update | SingularityPRO | 3.7-1 | 3.5-6 |
| Update | BeeOND | 7.2.1 | 7.2 |
| Update | Docker | 19.03.15 | 17.12.0 |
| Update | Scality S3 Connector | 7.4.8.1 | 7.4.8 |
| Add | gcc | 9.3.0 | |
| Add | pgi | 20.4 | |
| Add | nvhpc | 20.11 21.2 |
|
| Add | cmake | 3.19 | |
| Add | go | 1.15 | |
| Add | julia | 1.5 | |
| Add | lua | 5.3.6 5.4.2 |
|
| Add | python | 2.7.18 3.6.12 3.7.10 3.8.7 |
|
| Add | R | 4.0.4 | |
| Add | CUDA | 11.0.3 11.1.1 11.2.2 |
|
| Add | cuDNN | 8.1.1 | |
| Add | NCCL | 2.8.4-1 | |
| Add | openmpi | 4.0.5 | |
| Add | mvapich2-gdr | 2.3.5 | |
| Add | mvapich2 | 2.3.5 | |
| Add | hadoop | 3.3 | |
| Add | spark | 3.0 | |
| Add | aws-cli | 2.1 | |
| Add | fuse-sshfs | 3.7.1 | |
| Add | s3fs-fuse | 1.87 | |
| Add | sregistry-cli | 0.2.36 | |
| Delete | intel | 2017.8.262 2018.5.274 2019.5.281 |
|
| Delete | pgi | 17.10 18.10 19.1 19.10 20.1 |
|
| Delete | nvhpc | 20.9 | |
| Delete | cmake | 3.16 3.17 |
|
| Delete | go | 1.12 1.13 |
|
| Delete | intel-advisor | 2017.5 2018.4 2019.5 |
|
| Delete | intel-inspector | 2017.4 2018.4 2019.5 |
|
| Delete | intel-itac | 2017.0.4 2018.0.4 2019.0.5 |
|
| Delete | intel-mkl | 2017.0.4 2018.0.4 2019.0.5 |
|
| Delete | intel-vtune | 2017.6 2018.4 2019.6 |
|
| Delete | julia | 1.3 1.4 |
|
| Delete | python | 2.7.15 3.4.8 3.5.5 3.7.6 |
|
| Delete | R | 3.5.0 3.6.3 |
|
| Delete | cuda | 10.0.130 | |
| Delete | cudnn | 7.1.3 7.5.0 7.6.0 7.6.1 7.6.2 7.6.3 7.6.4 8.0.2 |
|
| Delete | nccl | 2.3.4-1 2.3.5-2 2.4.2-1 2.4.7-1 2.8.3-1 |
|
| Delete | intel-mpi | 2017.4 2018.4 2019.5 |
|
| Delete | openmpi | 4.0.3 | |
| Delete | mvapich2-gdr | 2.3.3 2.3.4 |
|
| Delete | mvapich2 | 2.3.3 2.3.4 |
|
| Delete | hadoop | 2.9 2.10 3.1 |
|
| Delete | singularity | 2.6.1 | |
| Delete | spark | 2.3 2.4 |
|
| Delete | aws-cli | 1.16.194 1.18 2.0 |
|
| Delete | fuse-sshfs | 2.10 | |
| Delete | s3fs-fuse | 1.85 | |
| Delete | sregistry-cli | 0.2.31 |
2021-03-13
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | SingularityPRO | 3.5-6 | 3.5-4 |
| Update | DDN Lustre | 2.12.6_ddn13-1 | 2.10.7_ddn14-1 |
2020-12-15
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | go | 1.14 | |
| Add | intel | 2020.4.304 | |
| Add | intel-advisor | 2020.3 | |
| Add | intel-inspector | 2020.3 | |
| Add | intel-itac | 2020.0.3 | |
| Add | intel-mkl | 2020.0.4 | |
| Add | intel-mpi | 2019.9 | |
| Add | intel-vtune | 2020.3 | |
| Add | nvhpc | 20.9 | |
| Add | cuDNN | 8.0.5 | |
| Add | NCCL | 2.8.3-1 | |
| Update | BeeOND | 7.2 | 7.1.5 |
| Update | Scality S3 Connector | 7.4.8 | 7.4.6.3 |
機能追加: 計算ノードへのSSHアクセス
使用する計算ノードへのSSHログインを可能にする機能を追加しました。詳細は計算ノードへのSSHアクセスを参照してください。
2020-10-09
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | SingularityPRO | 3.5-4 | 3.5-2 |
2020-08-31
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | Scality S3 Connector | 7.4.6.3 | 7.4.5.4 |
2020-07-31
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | SingularityPRO | 3.5-2 | |
| Add | cuDNN | 8.0.2 | |
| Add | NCCL | 2.7.8-1 | |
| Add | mvapich2-gdr | 2.3.4 | |
| Add | mvapich2 | 2.3.4 |
2020-06-01
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | BeeOND | 7.1.5 | 7.1.4 |
2020-04-21
MVAPICH2-GDR 2.3.3 の更新
gcc 4.8.5 対応の MVAPICH2-GDR 2.3.3 を以下の既知の問題が修正されたバージョンに更新しました。
- MVPICH2-GDR の MPI_Allreduce で floating point exception が発生する場合がある。
また、PGI 対応の MVAPICH2-GDR 2.3.3 は提供を停止しました。 PGI 版が必要の場合、ユーザーサポートまでご連絡ください。
2020-04-03
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | DDN GRIDScaler | 4.2.3.20 | 4.2.3.17 |
| Update | Scality S3 Connector | 7.4.5.4 | 7.4.5.0 |
| Update | libfabric | 1.7.0-1 | 1.5.3-1 |
| Add | intel | 2018.5.274 2019.5.281 |
|
| Add | pgi | 19.1 19.10 20.1 |
|
| Add | R | 3.6.3 | |
| Add | cmake | 3.16 3.17 |
|
| Add | go | 1.12 1.13 |
|
| Add | intel-advisor | 2017.5 2018.4 2019.5 |
|
| Add | intel-inspector | 2017.4 2018.4 2019.5 |
|
| Add | intel-itac | 2017.0.4 2018.0.4 2019.0.5 |
|
| Add | intel-mkl | 2017.0.4 2018.0.4 2019.0.5 |
|
| Add | intel-vtune | 2017.6 2018.4 2019.6 |
|
| Add | julia | 1.0 1.3 1.4 |
|
| Add | openjdk | 1.8.0.242 11.0.6.10 |
|
| Add | python | 3.7.6 3.8.2 |
|
| Add | gdrcopy | 2.0 | |
| Add | nccl | 2.6.4-1 | |
| Add | intel-mpi | 2017.4 2018.4 2019.5 |
|
| Add | mvapich2-gdr | 2.3.3 | |
| Add | mvapich2 | 2.3.3 | |
| Add | openmpi | 3.1.6 4.0.3 |
|
| Add | hadoop | 2.9 2.10 3.1 |
|
| Add | spark | 2.3 2.4 |
|
| Add | aws-cli | 1.18 2.0 |
|
| Delete | gcc | 7.3.0 | |
| Delete | intel | 2018.2.199 2018.3.222 2019.3.199 |
|
| Delete | pgi | 18.5 19.3 |
|
| Delete | go | 1.11.2 | |
| Delete | intel-mkl | 2017.8.262 2018.2.199 2018.3.222 2019.3.199 |
|
| Delete | openjdk | 1.6.0.41 1.8.0.161 |
|
| Delete | cuda | 9.0/9.0.176.2 9.0/9.0.176.3 |
|
| Delete | gdrcopy | 1.2 | |
| Delete | intel-mpi | 2018.2.199 | |
| Delete | mvapich2-gdr | 2.3rc1 2.3 2.3a 2.3.1 2.3.2 |
|
| Delete | mvapich2 | 2.3rc2 2.3 2.3.2 |
|
| Delete | openmpi | 1.10.7 2.1.3 2.1.5 3.0.3 3.1.0 3.1.2 3.1.3 |
|
| Delete | hadoop | 2.9.1 2.9.2 |
|
| Delete | spark | 2.3.1 2.3.2 2.4.0 |
2019-12-17
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | DDN Lustre | 2.10.7_ddn14-1 | 2.10.5_ddn7-1 |
| Update | BeeOND | 7.1.4 | 7.1.3 |
| Update | Scality S3 Connector | 7.4.5.0 | 7.4.4.4 |
| Update | NVIDIA Tesla Driver | 440.33.01 | 410.104 |
| Add | CUDA | 10.2.89 | |
| Add | cuDNN | 7.6.5 | |
| Add | NCCL | 2.5.6-1 |
その他の修正点は下記の通りです:
- メモリインテンシブノードを追加しました。
2019-11-06
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | GCC | 7.3.0 7.4.0 |
|
| Add | sregistry-cli | 0.2.31 |
その他の修正点は下記の通りです:
- cuda/* モジュールを修正し、
extras/CUPTIへのパスを設定するようにしました。 - python/3.4, python/3.5, python/3.6 を修正し、ホーム領域上で
shutil.copytreeを実行するとエラーが発生する問題を解決しました。
2019-10-04
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | Univa Grid Engine | 8.6.6 | 8.6.3 |
| Update | DDN GRIDScaler | 4.2.3.17 | 4.2.3.15 |
| Update | BeeOND | 7.1.3 | 7.1.2 |
| Add | CUDA | 10.1.243 | |
| Add | cuDNN | 7.6.3 7.6.4 |
|
| Add | NCCL | 2.4.8-1 | |
| Add | MVAPICH2-GDR | 2.3.2 | |
| Add | MVAPICH2 | 2.3.2 | |
| Add | fuse-sshfs | 2.10 |
その他の修正点は下記の通りです:
- cuDNN 7.5.0, 7.5.1, 7.6.0, 7.6.1, 7.6.2 を CUDA 10.1 に対応
- NCCL 2.4.2-1, 2.4.7-1 を CUDA 10.1 に対応
- GDRCopy 1.2 を CUDA 10.0, 10.1 に対応
- Open MPI 2.1.6 を CUDA 10.1 に対応
- インタラクティブノードの /tmp の容量を 26GB から 12TB に増量
- インタラクティブノードにてプロセス監視およびプロセス削除の仕組みを追加
インタラクティブノードのプロセス監視を開始
インタラクティブノードのプロセス監視を開始しました。
インタラクティブノードでの高負荷な処理や長時間の処理はプロセス監視システムに
よって停止されるため、qrsh/qsubコマンドを用いて計算ノードをご使用ください。
ジョブ投入数および実行数制限の変更
ジョブ投入数および実行数制限を以下のように変更しました。
| 制限項目 | 現在の制限値 | 変更前の制限値 |
|---|---|---|
| アレイジョブあたりの最大投入可能タスク数 | 75000 | 1000 |
| ABCI アカウントあたりの同時実行ジョブ数 | 200 | 0(無制限) |
既知の問題に関して
以下の既知の問題への対応が完了しました。
- 資源タイプ rt_C.small/rt_G.small を指定したジョブが1計算ノードあたり 2ジョブまでしか実行されない(通常4ジョブが実行される)。
2019-08-01
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuDNN | 7.6.2 | |
| Add | NCCL | 2.4.7-1 | |
| Add | s3fs-fuse | 1.85 |
その他の修正点は下記の通りです:
- Open MPI 1.10.7, 2.1.5, 2.1.6 を CUDA 10.0 に対応
2019-07-10
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | CUDA | 10.0.130.1 | |
| Add | cuDNN | 7.5.1 7.6.0 7.6.1 |
|
| Add | aws-cli | 1.16.194 |
2019-04-05
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | CentOS | 7.5 | 7.4 |
| Update | Univa Grid Engine | 8.6.3 | 8.5.4 |
| Update | Java | 1.7.0_171 | 1.7.0_141 |
| Update | Java | 1.8.0_161 | 1.8.0_131 |
| Add | DDN Lustre | 2.10.5_ddn7-1 | |
| Update | NVIDIA Tesla Driver | 410.104 | 396.44 |
| Add | CUDA | 10.0.130 | |
| Add | Intel Compiler | 2019.3 | |
| Add | PGI | 18.10 19.3 |
その他の修正点は下記の通りです:
- ホーム領域を GPFS から Lustre に移行
2019-03-14
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | Intel Compiler | 2017.8 2018.3 |
|
| Add | PGI | 17.10 | |
| Add | Open MPI | 2.1.6 | |
| Add | cuDNN | 7.5.0 | |
| Add | NCCL | 2.4.2-1 | |
| Add | Intel MKL | 2017.8 2018.3 |
その他の修正点は下記の通りです:
- MVAPICH2-GDR 2.3 を PGI 17.10 に対応
- Open MPI 2.1.5, 2.1.6, 3.1.3 を PGI に対応
- Open MPI の default module を 2.1.6 に変更
- MVAPICH2 のトップディレクトリのtypoを修正
2019-01-31
qstatコマンドの出力の変更
ジョブスケジューラの設定変更を実施し、qstat コマンドの出力において、ユーザ/グループ/ジョブ名がマスク表示されるようにしました。
自身のジョブの場合のみ上記の情報は表示され、そうでない場合はこれらの情報は'*'でマスクされます。以下に表示例を示します。
[username@es1 ~]$ qstat -u '*' | head
job-ID prior name user state submit/start at queue jclass slots ja-task-ID
------------------------------------------------------------------------------------------------------------------------------------------------
123456 0.28027 run.sh username r 01/31/2019 12:34:56 gpu@g0001 80
123457 0.28027 ********** ********** r 01/31/2019 12:34:56 gpu@g0002 80
123458 0.28027 ********** ********** r 01/31/2019 12:34:56 gpu@g0003 80
123450 0.28027 ********** ********** r 01/31/2019 12:34:56 gpu@g0004 80
2018-12-18
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Add | cuDNN | 7.4.2 | |
| Add | NCCL | 2.3.7-1 | |
| Add | Open MPI | 3.0.3 3.1.3 |
|
| Add | MVAPICH2-GDR | 2.3 | |
| Add | Hadoop | 2.9.2 | |
| Add | Spark | 2.3.2 2.4.0 |
|
| Add | Go | 1.11.2 | |
| Add | Intel MKL | 2018.2.199 |
cuDNN 7.4.2
NVIDIA CUDA Deep Neural Network library (cuDNN) 7.4.2 をインストールしました。
利用環境の設定:
$ module load cuda/9.2/9.2.148.1
$ module load cudnn/7.4/7.4.2
NCCL 2.3.7-1
NVIDIA Collective Communications Library (NCCL) 2.3.7-1 をインストールしました。
利用環境の設定:
$ module load cuda/9.2/9.2.148.1
$ module load nccl/2.3/2.3.7-1
Open MPI 3.0.3, 3.1.3
Open MPI (without --cuda option) 3.0.3, 3.1.3 をインストールしました。
利用環境の設定:
$ module load openmpi/3.1.3
MVAPICH2-GDR 2.3
MVAPICH2-GDR 2.3 をインストールしました。
利用環境の設定:
$ module load cuda/9.2/9.2.148.1
$ module load mvapich/mvapich2-gdr/2.3
Hadoop 2.9.2
Apache Hadoop 2.9.2 をインストールしました。
利用環境の設定:
$ module load openjdk/1.8.0.131
$ module load hadoop/2.9.1
Spark 2.3.2, 2.4.0
Apache Spark 2.3.2, 2.4.0 をインストールしました。
利用環境の設定:
$ module load spark/2.4.0
Go 1.11.2
Go 言語 1.11.2 をインストールしました。
利用環境の設定:
$ module load go/1.11.2
Intel MKL 2018.2.199
Intel Math Kernel Library (MKL) 2018.2.199 をインストールしました。
利用環境の設定:
$ module load intel-mkl/2018.2.199
2018-12-14
| Add / Update / Delete | Software | Version | Previous version |
|---|---|---|---|
| Update | Singularity | 2.6.1 | 2.6.0 |
| Delete | Singularity | 2.5.2 |
Singularity 2.6.1 をインストールしました。使用方法は以下の通りです。
$ module load singularity/2.6.1
$ singularity run image_path
アップデート情報については、以下のページを参照ください。
また、ソフトウェアの脆弱性 (CVE-2018-19295) が報告されたため、Singularity 2.5.2, 2.6.0 はアンインストールしました。ジョブスクリプト内で、バージョンを指定して Singularity 環境を設定している場合（singularity/2.5.2, singularity/2.6.0など）、バージョン指定を singularity/2.6.1 に修正ください。
ex) module load singularity/2.5.2 -> module load singularity/2.6.1