深度學(xué)習(xí)，打通工業(yè)高性能部署最后一公里

在深度學(xué)習(xí)產(chǎn)業(yè)落地過程中，我們經(jīng)常能聽到一種說法——模型部署是打通AI應(yīng)用的最后一公里！想要走通這一公里，看似簡(jiǎn)單，但是真正實(shí)踐起來卻困難重重：顯卡利用率低、內(nèi)存溢出、多線程調(diào)度奔潰、TensorRT加速算子不支持等等問題一直是深度學(xué)習(xí)模型最后部署的老大難問題。

在工業(yè)制造環(huán)境中，Windows系統(tǒng)有著廣泛的應(yīng)用。為了更好的幫助工業(yè)用戶解決落地最后的一公里問題，飛槳聯(lián)合產(chǎn)業(yè)用戶，基于Windows系統(tǒng)，提供了工業(yè)級(jí)的部署Demo，支持圖像分類、目標(biāo)檢測(cè)、實(shí)例分割和語義分割模型的部署，并提供了一鍵的TensorRT加速方式，極大的提升了部署的效率，同時(shí)支持多線程推理的方式，滿足了用戶多視頻輸入預(yù)測(cè)的需求！

圖1?部署開發(fā)示例說明

?

部署Demo地址，歡迎大家star收藏。

https://github.com/PaddlePaddle/PaddleX/tree/develop/deploy/cpp/docs/csharp_deploy

為了更好的滿足用戶多種視覺任務(wù)場(chǎng)景，部署Demo基于PaddleX的Deployment模塊進(jìn)行二次開發(fā)，不僅僅支持對(duì)PaddleX自身訓(xùn)練的模型進(jìn)行推理，同時(shí)支持PaddleClas、PaddleDetection、PaddleSeg視覺開發(fā)套件的模型，滿足多種場(chǎng)景需求。

圖2 部署Demo支持模型說明

?

NVIDIA TensorRT 是一個(gè)高性能的深度學(xué)習(xí)預(yù)測(cè)庫(kù)，可為深度學(xué)習(xí)推理應(yīng)用程序提供低延遲和高吞吐量。在部署Demo中集成了TensorRT預(yù)測(cè)庫(kù)，用戶只需一鍵啟動(dòng)，即可進(jìn)行高性能的部署。

圖3 部署Demo性能對(duì)比說明

?

為了更好的幫助用戶了解在工業(yè)制造場(chǎng)景部署的問題，飛槳邀請(qǐng)產(chǎn)業(yè)用戶現(xiàn)場(chǎng)coding，一步步帶著大家現(xiàn)場(chǎng)演示如何搭建部署開發(fā)示例，如何更高性能的應(yīng)用在自己的產(chǎn)業(yè)落地中。

掃碼報(bào)名直播課，加入技術(shù)交流群

更多精彩搶先看