1 什么是TensorRT

一般的深度學(xué)習(xí)項(xiàng)目，訓(xùn)練時(shí)為了加快速度，會使用多GPU分布式訓(xùn)練。但在部署推理時(shí)，為了降低成本，往往使用單個(gè)GPU機(jī)器甚至嵌入式平臺（比如 NVIDIA Jetson）進(jìn)行部署，部署端也要有與訓(xùn)練時(shí)相同的深度學(xué)習(xí)環(huán)境，如caffe，TensorFlow等。由于訓(xùn)練的網(wǎng)絡(luò)模型可能會很大（比如，inception，resnet等），參數(shù)很多，而且部署端的機(jī)器性能存在差異，就會導(dǎo)致推理速度慢，延遲高。這對于那些高實(shí)時(shí)性的應(yīng)用場合是致命的，比如自動駕駛要求實(shí)時(shí)目標(biāo)檢測，目標(biāo)追蹤等。所以為了提高部署推理的速度，出現(xiàn)了很多輕量級神經(jīng)網(wǎng)絡(luò)，比如squeezenet，mobilenet，shufflenet等。基本做法都是基于現(xiàn)有的經(jīng)典模型提出一種新的模型結(jié)構(gòu)，然后用這些改造過的模型重新訓(xùn)練，再重新部署。

而tensorRT 則是對訓(xùn)練好的模型進(jìn)行優(yōu)化。tensorRT就只是推理優(yōu)化器。當(dāng)你的網(wǎng)絡(luò)訓(xùn)練完之后，可以將訓(xùn)練模型文件直接丟進(jìn)tensorRT中，而不再需要依賴深度學(xué)習(xí)框架（Caffe，TensorFlow等），如下：

可以認(rèn)為tensorRT是一個(gè)只有前向傳播的深度學(xué)習(xí)框架，這個(gè)框架可以將 Caffe，TensorFlow的網(wǎng)絡(luò)模型解析，然后與tensorRT中對應(yīng)的層進(jìn)行一一映射，把其他框架的模型統(tǒng)一全部轉(zhuǎn)換到tensorRT中，然后在tensorRT中可以針對NVIDIA自家GPU實(shí)施優(yōu)化策略，并進(jìn)行部署加速。

2 TensorRT安裝

tensorrt的安裝方式很簡單，只需要注意一些環(huán)境的依賴關(guān)系就可以，我們以tensorrt5.0.4版本為例，參考官網(wǎng)安裝教程https://docs.nvidia.com/deeplearning/sdk/tensorrt-install-guide/index.html，這里簡單總結(jié)一下步驟

tensorrt支持的環(huán)境和python版本如表所示

2.1 環(huán)境確認(rèn)

確認(rèn)CUDA版本是9.0或者10.0，可通過運(yùn)行nvcc -V指令來查看CUDA，如果不是9.0以上，則需要先把CUDA版本更新一下nn
cudnn版本是7.3.1，如果不滿足要求，按照《Linux之cudnn升級方法》進(jìn)行升級
需安裝有tensorflow，uff模塊需要

2.2 安裝pycuda

如果要使用python接口的tensorrt，則需要安裝pycuda

2.3?下載安裝包

進(jìn)入下載鏈接https://developer.nvidia.com/nvidia-tensorrt-download
點(diǎn)擊Download Now（需要登錄英偉達(dá)賬號，沒有的注冊一個(gè)）
選擇下載的版本（最新TensorRT5）
完成問卷調(diào)查
選擇同意協(xié)議
根據(jù)自己的系統(tǒng)版本和CUDA版本，選擇安裝包，如圖所示（如果是完整安裝，建議選擇Tar File Install Packages，這樣可以自行選擇安裝位置）

2.4 安裝指令

如果要使用python版本，則使用pip安裝，執(zhí)行下邊的指令

為了避免安裝時(shí)各種問題，我們也可以使用deb包的方式安裝，即在2.3步驟中選擇自己系統(tǒng)對應(yīng)的版本，然后使用如下指令安裝

2.5 環(huán)境測試

運(yùn)行python測試，導(dǎo)入模塊不報(bào)錯(cuò)就表明安裝正確

注意：導(dǎo)入uff的時(shí)候需要安裝tensorflow模塊，tensorflow版本要與cuda版本對應(yīng)，比如cuda9要對應(yīng)tensorflow1.12及以下版本，以上版本需要cuda10，具體參考官網(wǎng)

如果導(dǎo)入tensorrt報(bào)錯(cuò)如下，則是因?yàn)閜ython版本不對，應(yīng)根據(jù)2.1節(jié)上邊的那個(gè)表調(diào)整自己的python版本

3 使用流程

在/TensoRT-5.0.2.6/samples/python文件夾下有很多python的例子，我們以第一個(gè)end_to_end_tensorflow_mnist的例子為例，描述tensorrt的使用流程，在README.md文件里也說得很明白了

3.1 安裝依賴

需要安裝好numpy、Pillow、pycuda、tensorflow等環(huán)境，如果都有可以跳過

3.2 生成pb文件

運(yùn)行model.py后，會下載數(shù)據(jù)mnist.npz，并開始訓(xùn)練，完成后在models文件夾下生成lenet5.pb文件，如果自己已經(jīng)訓(xùn)練得到pb文件，上述過程可以跳過

3.3 格式轉(zhuǎn)化

要將tensorflow的pb文件轉(zhuǎn)化為uff格式的文件，首先找到convert_to_uff文件，看自己用的是哪個(gè)版本的python，如果是python3，則在/usr/lib/python3.5/dist-packages/uff/bin文件夾下，如果是python2，則在/usr/lib/python2.7/dist-packages/uff/bin文件夾下

我們在終端中進(jìn)入end_to_end_tensorflow_mnist，運(yùn)行以下指令