GPU

torch eval, no_grad 사용시 gpu 사용량 테스트

resnet152 test resnet152를 사용하여 환경별 GPU 사용량 테스트 NVIDIA Environment nvidia gpu driver version : 470.103.01 cuda version : 11.4 gpu device : NVIDIA GeForce RTX 3090 NVIDIA GeForce RTX 3090 memory size : 24GB cuda : 8.5 cuda core : 104996 rt core : 82 tensor core : 328 etc torch version : 2.0.0 torch cuda version : 11.7 resnet152 model file size : 230.4 MB num_params : 60,192,808 test image : dog.jp..

Docker에서 TensorRT 설치

Docker에서 TensorRT 설치 환경 gpu가 존재하는 컴퓨터 nvidia driver가 설치되어 있는 컴퓨터 Docker가 설치 (유) Docker Image : nvidia/cuda:11.4.1-cudnn8-devel-ubuntu20.04 도커 컨테이너 생성 명령어 sudo docker run -itd --gpus '"device=0"' --name=edge_device --restart=always -p 10000:8080 -v /mnt/edge_device:/mnt/edge_device nvidia/cuda:11.4.1-cudnn8-devel-ubuntu20.04 /bin/bash 도커 컨테이너 접속 docker exec -it edge_device /bin/bash 텐서RT 다운로드 아래 ..

Nvidia Cuda 설치

Nvidia Cuda 설치 설치 가이드 : https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#verify-you-have-cuda-enabled-system Installation Guide Linux :: CUDA Toolkit Documentation Check that the device files/dev/nvidia* exist and have the correct (0666) file permissions. These files are used by the CUDA Driver to communicate with the kernel-mode portion of the NVIDIA Driver. Applications th..

Backend 에서 Tensorflow, Keras 로 머신러닝, 딥러닝 작업 시 GPU 메모리 반환하지 않는 문제 해결 방법

Backend 에서 Tensorflow, Keras 로 머신러닝, 딥러닝 작업 시 GPU 메모리 반환하지 않는 문제 해결 방법 + 저는 Pytorch 도 테스트 해보니 GPU 메모리 반환이 잘 이뤄졌습니다. How to clear GPU memory when using tensorflow or pytorch? 인트로 해당 문제는 프로젝트의 특이성으로 인해 “지정된 GPU를 사용해야 하는” 그리고 “백엔드에서 추론(inference)을 위해 GPU를 사용하는 것”과 “다른 특정한 프로그램에서도 같은 GPU를 사용”함으로써 “GPU를 공유해서 사용”해야 하는 경우 하나의 프로세스가 GPU 메모리를 반환하지 않고 잡고 있어 문제가 된 상황입니다. GPU를 사용하면 nvidia-smi 상에서 GPU 메모리가 꽉..