Windows 上基于 TensorRT 的 YOLOV6 部署保姆級教程

部署環(huán)境和相關(guān)依賴包

• Cuda 11.0.2
• Cudnn 8.0.4.30
• TensorRT 8.4.0.6
• OpenCV 4.1.1
• VS2019

項(xiàng)目所需的安裝包均放到到如下百度云鏈接 鏈接：https://pan.baidu.com/s/1C4jYSKAN2P_GSpFiikhY_g 提取碼：71ou

部署流程

• 第一步把VS2019裝好，安裝略，百度云提供了安裝包，可自行安裝
• 第二步Cuda安裝流程如下：

• 第三步：解壓如上cudnn壓縮包，把如下目錄的文件拷貝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin目錄下

把如下目錄的文件拷貝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\include目錄下

把如下目錄的文件拷貝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\lib\x64目錄下

• 第四步解壓OpenCV和TensorRT備用

安裝cmake

• 第五步onnx轉(zhuǎn)tensorrt引擎，流程如下：

從GitHub下載部署代碼https://github.com/zhiqwang/yolov5-rt-stack 進(jìn)入如下目錄

編輯CMakeLists，設(shè)置OpenCV和TensorRT目錄

指定CMakeLists.txt目錄以及要build的目錄

點(diǎn)擊cmake的tools->Configure

進(jìn)入build目錄，打開build工程

選擇Release

點(diǎn)擊生成->生成解決方案，編譯完成后進(jìn)入生成的exe目錄

把tensorrt的dll文件放到exe目錄下

進(jìn)入C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin目錄

把以下8個(gè)dll拷貝到exe目錄

• cublas64_11.dll
• cublasLt64_11.dll
• cudart64_110.dll
• cudnn_cnn_infer64_8.dll
• cudnn_ops_infer64_8.dll
• cudnn64_8.dll
• nvrtc64_110_0.dll
• nvrtc-builtins64_110.dll

把官方的提供的onnx模型放到exe目錄

在exe目錄打開命令行，輸入build_model.exe yolov6n.onnx yolov6n.engine生成tensorrt引擎

• 第六步tensorrt引擎推理流程如下：

進(jìn)入D:\yolov6\yolov5-rt-stack\deployment\tensorrt-yolov6目錄

編輯CMakeLists，設(shè)置OpenCV和TensorRT目錄

打開桌面上的cmake,設(shè)置tensorrt推理代碼的CMakeLists.txt路徑以及要build的目錄

點(diǎn)擊cmake的tools->Configure

點(diǎn)擊Generate

打開build工程，選擇release，點(diǎn)擊生成->生成解決方案，生成tensorrt推理的exe

進(jìn)入生成tensorrt引擎的exe目錄（上一次build的目錄）

拷貝dll以及tensorrt推理引擎到tensorrt推理的exe目錄（當(dāng)前build的目錄）

把OpenCV的opencv_world411.dll拷貝到推理exe目錄

在推理exe目錄打開命令行，輸入推理命令

yolov6.exe -model_path yolov6n.engine -image_path zidane.jpg

指定推理引擎路徑以及推理圖片路徑，在推理exe目錄生成推理可視化結(jié)果