TensorRT英偉達(dá)高性能深度學(xué)習(xí)推理平臺(tái)

TensorRT 是一個(gè)高性能深度學(xué)習(xí)推理平臺(tái)，它包括深度學(xué)習(xí)推理優(yōu)化器和運(yùn)行時(shí)，可為深度學(xué)習(xí)推理應(yīng)用提供低延遲和高吞吐量。在推理期間，基于 TensorRT 的應(yīng)用比僅 CPU 平臺(tái)的執(zhí)行速度快 40 倍。

TensorRT 基于 CUDA，NVIDIA 的并行編程模型，能夠利用 CUDA-X AI 中的庫(kù)、開發(fā)工具和技術(shù)，為人工智能、自動(dòng)機(jī)器、高性能計(jì)算和圖形優(yōu)化所有深度學(xué)習(xí)框架的推理。

此庫(kù)包含 TensorRT 插件和解釋器（Caffe 和 ONNX），還有一些演示 TensorRT 平臺(tái)的使用和功能的示例應(yīng)用。