728x90
ONNX, TVM
(ONNX + ONNX Runtime) & TVM
ONNX + ONNX Runtime | TVM | |
---|---|---|
Develop & Support | Microsoft & facebook & AWS | Apache |
System | 1. ONNX Runtime Quantization 2. ONNX Runtime Compile |
1. Integrated System( Lightweight Model + Compile ) |
Support ML Framework | caffe24 Keras Tensorflow PyTorch CoreML mxnet XGBoost NCNN ... |
Pytorch CoreML Tensorflow Keras ONNX mxnet … |
Deploy Target Device or Environment | Arm Arm NN CoreML CUDA Windows AMD Android Intel RKNPU TensorRT Vitis FPGA NPU |
Arm Android TensorRT Vitis BNNS DLPack FPGA NPU |
ONNX + ONNX Runtime
https://blog.ml6.eu/bert-is-eating-your-cash-quantization-and-onnxruntime-to-save-ea6dc84dcd88
- Resnet50 model → ONNX Runtime Quantization BenchmarkAvg: 23.95ms → Avg: 10.91ms
TVM
728x90
'Etc > Etc' 카테고리의 다른 글
VS Code 내가 작성한 코드 외 다른 라이브러리 코드들에 대한 디버그 방법 (3) | 2022.09.05 |
---|---|
Nvidia Cuda 설치 (0) | 2022.08.14 |
파일질라(filezilla) sftp 연결 방법 (0) | 2022.02.13 |
프로그램 개발 규칙 + 사견 (0) | 2021.12.21 |
에러, web http 상태 500 - 내부 서버 오류 속성 이름은 반드시 whitespace 다음에 나타나야 합니다... (0) | 2021.03.20 |