it-swarm-korea.com

GPU 사용량 모니터링 (CUDA)

컴퓨터에 CUDA 툴킷을 설치하고 GPU에서 BOINC 프로젝트를 시작했습니다. BOINC에서 GPU에서 실행되고 있음을 알 수 있지만 GPU에서 실행중인 기능에 대한 자세한 내용을 보여주는 도구가 있습니까? GPU 사용량 및 메모리 사용량?

249
pbm

Nvidia GPU의 경우 nvidia-smi 메모리 사용, GPU 사용률 및 GPU 온도를 표시 할 수 있습니다. 컴퓨팅 프로세스 목록과 몇 가지 옵션이 있지만 그래픽 카드 (GeForce 9600 GT)는 완벽하게 지원되지 않습니다.

Sun May 13 20:02:49 2012       
+------------------------------------------------------+                       
| NVIDIA-SMI 3.295.40   Driver Version: 295.40         |                       
|-------------------------------+----------------------+----------------------+
| Nb.  Name                     | Bus Id        Disp.  | Volatile ECC SB / DB |
| Fan   Temp   Power Usage /Cap | Memory Usage         | GPU Util. Compute M. |
|===============================+======================+======================|
| 0.  GeForce 9600 GT           | 0000:01:00.0  N/A    |       N/A        N/A |
|   0%   51 C  N/A   N/A /  N/A |  90%  459MB /  511MB |  N/A      Default    |
|-------------------------------+----------------------+----------------------|
| Compute processes:                                               GPU Memory |
|  GPU  PID     Process name                                       Usage      |
|=============================================================================|
|  0.           Not Supported                                                 |
+-----------------------------------------------------------------------------+
292
pbm

리눅스의 경우 nvidia-smi -l 1은 새로 고침 간격이 1 초인 GPU 사용 정보를 지속적으로 제공합니다.

80
qed

최근에 gpustat (nvidia-smi의 래퍼 인)라는 간단한 명령 줄 유틸리티를 작성했습니다. https : //github.com/wookayin/gpustat .

68
Jongwook Choi

인텔 GPU의 경우 intel-gpu-tools from http://intellinuxgraphics.org/ 프로젝트, intel_gpu_top (다른 것들 중에서). tophtop와 비슷하지만 특히 Intel GPU 용입니다.

   render busy:  18%: ███▋                                   render space: 39/131072
bitstream busy:   0%:                                     bitstream space: 0/131072
  blitter busy:  28%: █████▋                                blitter space: 28/131072

          task  percent busy
           GAM:  33%: ██████▋                 vert fetch: 0 (0/sec)
          GAFS:   3%: ▋                       prim fetch: 0 (0/sec)
            VS:   0%:                      VS invocations: 559188 (150/sec)
            SF:   0%:                      GS invocations: 0 (0/sec)
            VF:   0%:                           GS prims: 0 (0/sec)
            DS:   0%:                      CL invocations: 186396 (50/sec)
            CL:   0%:                           CL prims: 186396 (50/sec)
           SOL:   0%:                      PS invocations: 8191776208 (38576436/sec)
            GS:   0%:                      PS depth pass: 8158502721 (38487525/sec)
            HS:   0%:                      
            TE:   0%:                      
          GAFM:   0%:                      
           SVG:   0%:                      
55
jippie

nvidia-smi는 일부 Linux 시스템에서 작동하지 않습니다 (많은 속성에 대해서는 N/A를 반환 함). 당신이 사용할 수있는 nvidia-settings 대신 (이것은 또한 매트 켈시가 그의 python 스크립트)에서 사용한 것이기도합니다.

nvidia-settings -q GPUUtilization -q useddedicatedgpumemory

다음을 사용할 수도 있습니다.

watch -n0.1 "nvidia-settings -q GPUUtilization -q useddedicatedgpumemory"

지속적인 모니터링을 위해.

36
Jonathan

Linux의 경우이 HTOP을 내가 작성한 도구처럼 사용합니다. 코어/VRAM/PCI-E 및 메모리 버스 사용량뿐만 아니라 GPU 온도에 대한 개요를 모니터링하고 제공합니다. 그래도 GPU에서 실행중인 것을 모니터링하지 않습니다.

gmonitor

enter image description here

20

완전성을 위해 AMD에는 두 가지 옵션이 있습니다.

  1. fglrx (닫힌 소스 드라이버).

    $ aticonfig --odgc --odgt
    
  2. mesa (오픈 소스 드라이버) 인 경우 RadeonTop 를 사용할 수 있습니다.

    총 활동 백분율 및 개별 블록 모두에 대한 GPU 활용도를 봅니다.

16
kevinf

GeForce 1060 GTX 비디오 카드가 있는데 다음 명령을 통해 카드 사용률, 온도, 팬 속도 및 전력 소비에 대한 정보를 얻을 수 있습니다.

$ nvidia-smi --format=csv --query-gpu=power.draw,utilization.gpu,fan.speed,temperature.gpu

다음을 사용하여 모든 쿼리 옵션 목록을 볼 수 있습니다.

$ nvidia-smi --help-query-gpu
14
lyubomir

프로세스가 종료되었거나 (아마 죽이거나 충돌 한) 리소스를 계속 사용했지만 nvidia-smi. 일반적으로 이러한 프로세스는 GPU 메모리를 사용했습니다.

GPU에서 리소스를 사용하는 프로세스가 있고 nvidia-smi,이 명령을 실행하여 다시 확인할 수 있습니다. GPU를 사용중인 프로세스가 표시됩니다.

Sudo fuser -v /dev/nvidia*

이것은 EL7, Ubuntu 또는 기타 배포판에서 작동하며 다른 이름/위치에 nvidia 장치가 나열되어있을 수 있습니다.

3
Rick Smith

nvtop를 사용할 수 있습니다. htop와 비슷하지만 NVIDIA GPU의 경우. 링크 : https://github.com/Syllo/nvtop

3
karl71

OS X의 경우

마운틴 라이온 포함

iStat 메뉴

마운틴 라이온 제외

atMonitor

GPU 관련 기능을 지원하는 atMonitor의 마지막 버전은 atMonitor 2.7.1입니다.

– 2.7.1 링크는 2.7b를 제공합니다.

최신 버전의 앱인 경우 atMonitor-FAQ 는 다음과 같이 설명합니다.

AtMonitor가 MacOS 10.8과 호환되도록하기 위해 모든 GPU 관련 기능을 제거했습니다.

NVIDIA® GeForce® 9600M GT가 장착 된 MacBookPro5,2를 사용하여 Mountain Lion에서 2.7b a.k.a. 2.7.1을 실험했습니다. 앱을 종료하기 전에 몇 초 동안 실행했지만 온도는 표시되었지만 사용법은 표시되지 않았습니다.

screenshot of atMonitor 2.7b on Mountain Lion

3
Graham Perrin

Glances에는 GPU 사용률 및 메모리 사용량을 보여주는 플러그인이 있습니다.

enter image description here

http://glances.readthedocs.io/en/stable/aoa/gpu.html

Nvidia-ml-py3 라이브러리를 사용합니다 : https://pypi.python.org/pypi/nvidia-ml-py

3
coreindustries

linux의 NVIDIA의 경우 다음 python 스크립트를 사용하여 선택적 지연을 사용하고 iostat 및 vmstat와 같은 반복

https://Gist.github.com/matpalm/9c0c7c6a6f3681a0d39d

$ gpu_stat.py 1 2
{"util":{"PCIe":"0", "memory":"10", "video":"0", "graphics":"11"}, "used_mem":"161", "time": 1424839016}
{"util":{"PCIe":"0", "memory":"10", "video":"0", "graphics":"9"}, "used_mem":"161", "time":1424839018}
2
mat kelcey

다음 함수는 GPU에서 실행중인 PID, 사용자 이름, CPU 사용량, 메모리 사용량, GPU 메모리 사용량, 프로그램 인수 및 프로세스 런타임과 같은 정보를 nvidia-smi의 출력에 추가합니다.

function better-nvidia-smi () {
    nvidia-smi
    join -1 1 -2 3 \
        <(nvidia-smi --query-compute-apps=pid,used_memory \
                     --format=csv \
          | sed "s/ //g" | sed "s/,/ /g" \
          | awk 'NR<=1 {print toupper($0)} NR>1 {print $0}' \
          | sed "/\[NotSupported\]/d" \
          | awk 'NR<=1{print $0;next}{print $0| "sort -k1"}') \
        <(ps -a -o user,pgrp,pid,pcpu,pmem,time,command \
          | awk 'NR<=1{print $0;next}{print $0| "sort -k3"}') \
        | column -t
}

출력 예 :

$ better-nvidia-smi
Fri Sep 29 16:52:58 2017
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 378.13                 Driver Version: 378.13                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GT 730      Off  | 0000:01:00.0     N/A |                  N/A |
| 32%   49C    P8    N/A /  N/A |    872MiB /   976MiB |     N/A      Default |
+-------------------------------+----------------------+----------------------+
|   1  Graphics Device     Off  | 0000:06:00.0     Off |                  N/A |
| 23%   35C    P8    17W / 250W |    199MiB / 11172MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID  Type  Process name                               Usage      |
|=============================================================================|
|    0                  Not Supported                                         |
|    1      5113    C   python                                         187MiB |
+-----------------------------------------------------------------------------+
PID   USED_GPU_MEMORY[MIB]  USER    PGRP  %CPU  %MEM   TIME      COMMAND
9178  187MiB                tmborn  9175  129   2.6    04:32:19  ../path/to/python script.py args 42
1
Lenar Hoyt

당신이 사용할 수있는

nvidia-smi pmon -i 0

컴퓨팅/그래픽 모드, sm 사용량, 메모리 사용량, 인코더 사용량, 디코더 사용량을 포함하여 GPU 0의 모든 프로세스를 모니터링합니다.

1
changqi.xia

이 스크립트는 더 읽기 쉽고 쉽게 개조하고 확장 할 수 있도록 설계되었습니다.

Gnome-terminal을 선호하는 터미널 창 프로그램으로 바꿀 수 있습니다.


#! /bin/bash

if [ "$1" = "--guts" ]; then
    echo; echo "    ctrl-c to gracefully close"
    f "$a"
    f "$b"
    exit 0; fi

# easy to customize here using "nvidia-smi --help-query-gpu" as a guide
a='--query-gpu=pstate,memory.used,utilization.memory,utilization.gpu,encoder.stats.sessionCount'
b='--query-gpu=encoder.stats.averageFps,encoder.stats.averageLatency,temperature.gpu,power.draw'
p=0.5    # refresh period in seconds
s=110x9  # view port as width_in_chars x line_count

c="s/^/    /; s/, +/\t/g"
t="`echo '' |tr '\n' '\t'`"
function f() { echo; nvidia-smi --format=csv "$1" |sed -r "$c" |column -t "-s$t" "-o   "; }
export c t a b; export -f f
gnome-terminal --hide-menubar --geometry=$s -- watch -t -n$p "`readlink -f \"$0\"`" --guts

#

라이센스 : GNU GPLv2, TranSeed Research

0
Douglas Daseeco