tensorrt

ONNX & TensorRT & TVM

ONNX ONNX는 확장 가능한 계산 그래프 모델의 정의와 기본 제공 연산자 및 표준 데이터 유형의 정의를 제공합니다. 각 계산 데이터 흐름 그래프는 비순환 그래프를 형성하는 노드 목록으로 구성됩니다. 노드에는 하나 이상의 입력과 하나 이상의 출력이 있습니다. 각 노드는 연산자에 대한 호출입니다. 그래프에는 목적, 작성자 등을 문서화하는 데 도움이 되는 메타데이터도 있습니다. 연산자는 그래프 외부에서 구현되지만 기본 제공 연산자 세트는 프레임워크 간에 이식 가능합니다. ONNX를 지원하는 모든 프레임워크는 적용 가능한 데이터 유형에 대한 이러한 연산자의 구현을 제공합니다. https://onnx.ai/about.html ONNX | About Technical Design ONNX provides a d..

Docker에서 TensorRT 설치

Docker에서 TensorRT 설치 환경 gpu가 존재하는 컴퓨터 nvidia driver가 설치되어 있는 컴퓨터 Docker가 설치 (유) Docker Image : nvidia/cuda:11.4.1-cudnn8-devel-ubuntu20.04 도커 컨테이너 생성 명령어 sudo docker run -itd --gpus '"device=0"' --name=edge_device --restart=always -p 10000:8080 -v /mnt/edge_device:/mnt/edge_device nvidia/cuda:11.4.1-cudnn8-devel-ubuntu20.04 /bin/bash 도커 컨테이너 접속 docker exec -it edge_device /bin/bash 텐서RT 다운로드 아래 ..