torch eval, no_grad 사용시 gpu 사용량 테스트

resnet152 test

resnet152를 사용하여 환경별 GPU 사용량 테스트

NVIDIA Environment

• nvidia gpu driver version : 470.103.01
• cuda version : 11.4
• gpu device : NVIDIA GeForce RTX 3090
• NVIDIA GeForce RTX 3090
  • memory size : 24GB
  • cuda : 8.5
  • cuda core : 104996
  • rt core : 82
  • tensor core : 328

etc

• torch version : 2.0.0
• torch cuda version : 11.7
• resnet152 model
  • file size : 230.4 MB
  • num_params : 60,192,808
• test image : dog.jpg

 

테스트 케이스 4가지

• normal ( eval x & no_grad x ) : 2254MiB
• model.eval() : 2228MiB
• model.no_grad() : 1896MiB
• model.eval() & model.no_grad() : 1870MiB

test case image

• normal ( eval x & no_grad x )

 

• model.eval()

 

• model.no_grad()

 

• model.eval() & model.no_grad()