GPU Device

GPU Device 画面では、監視対象のGPUデバイスそれぞれの状態をマップとリストで確認し、デバイスごとの詳細情報・指標・プロセス・アラームを確認できます。

左側メニューで GPU > GPU Device を選択してください。

画面上部の Host/Kubernetes タブで照会基準を切り替えることができ、画面は左側の Filters パネル、サマリーカード、GPU Device Map、GPU Device List の領域で構成されています。

サマリーカードでGPU現況を把握する​

• GPU Devices: Total/GPU/MIG Instance に区分したデバイス数です。
• Physical GPU: MIG Instanceの上位物理GPUを含む物理GPU数です。タイトル横の ? アイコンをクリックすると集計基準を確認できます。
• GPU Status: Active(アクティビティあり)/Idle(アクティビティなし)のデバイス数です。
• Alert: 深刻度別(Normal/Warning/Critical)のデバイス数です。

GPU Device Mapでデバイスの状態を確認する​

GPU Device Map では、GPUデバイスごとの状態を六角形のタイルで可視化して表示します。タイル内のバッジで G(GPU)/M(MIG Instance)を区別し、タイルの色でアラームの深刻度を区別します。

• 深刻度順で表示(Sort by severity) をオンにすると、アラームの深刻度が高いデバイスから表示されます。

グループ化して表示する​

マップ右上の Group ドロップダウンでグループ化基準を選択すると、マップがその基準でまとめて表示されます。

GPU Device Listで詳細な数値を確認する​

GPU Device List では、デバイスごとの詳細な指標を確認できます。GPU Device Name、Index、GPU Type、GPU Model、Host Name(Kubernetesタブでは Node Name)、GPU Status、Alert、GPU Util(%)、SM Util(%)、Memory Usage(%)、Pwr:Usage/Cap(W)、Temp(°C)、Process Count、Profile、GI ID、CI ID、Active Memory が表示されます。

• 物理GPU行の左側にある矢印をクリックすると、下位のMIG Instance行を展開・折りたたみできます。
• リスト上部のフィルター入力欄にテキストを入力すると、列の値を基準にすばやく絞り込めます。

デバイスの詳細を確認する​

GPU Device Name をクリックすると、画面右側にGPU詳細パネルが開きます。Hostタブでは Information、Metric、Process、Alert タブに、Kubernetesタブではこれに Pod タブが追加されて切り替えられます。

Informationタブ​

デバイスの基本情報と現在のスナップショットを確認できます。

• Information では、GPU Index、Driver Version、Model Name、Cuda Version、Vbios Version、Bus ID、UUID、Host、Status、Alertを確認できます。
• Current Snapshot では、GPU Utilization、Memory Usage、Power Usage、Temperatureをゲージで確認でき、P-State、XID(Last Code、Recent XID(5m))、ECC Error(Aggregate Uncorrectable、Volatile Uncorrectable、Aggregate Correctable)も併せて確認できます。

Metricタブ​

デバイスの主要な指標をチャートで確認できます。

• GPU Utilization (%)、SM Utilization (%)、FB Memory Usage、Memory Utilization (%)、PCIe/NVLink、Temperature (°C)、Power (W)、SM Clock (MHz)、Memory Clock (MHz)、Graphic Clock (MHz)、Video Clock (MHz)、Fan Speed (%)、Decoder/Encoder Utilization (%) のチャートが表示されます。
• チャート右上で照会期間を変更できます。Live 状態ではリアルタイムに更新されます。

Processタブ​

デバイスで実行中のプロセス一覧を確認できます。

• Type、GI ID、CI ID、PID、PPID、Process Name、Args、User Name とプロセスごとのリソース使用量が表示されます。MIGを使用しないGPUでは、GI ID/CI IDは N/A と表示されます。

Podタブ(Kubernetesタブ専用)​

このGPUデバイスを使用しているPod一覧を確認できます。Type、Pod Name、Namespace、Containers、Alert、Status、Controlled By、QoS などが表示されます。デバイスに割り当てられたPodがない場合は「No data.」と表示されます。

Alertタブ​

このデバイスに適用されたアラームルールと発生状況を確認できます。

• Rule Name、Alert Stat Name、Target、Alert Detail、Last Triggered、Rule Type などが表示されます。
• 発生したアラームのみ表示 チェックボックスをオンにすると、アラームが発生したルールのみ表示されます。
• [リスト]/[Bar] ボタンで表示形式を切り替えられます。