如何在端上高效地部署AI模型

AI應(yīng)用的部署正逐漸從服務(wù)器端走向移動(dòng)終端和邊緣端，覆蓋了包括安防、交通、醫(yī)療、巡檢等等多個(gè)行業(yè)。服務(wù)器上的部署，往往需要通過(guò)網(wǎng)絡(luò)連接來(lái)傳輸數(shù)據(jù)，因而帶來(lái)了更大的網(wǎng)絡(luò)延時(shí)。讓AI模型在本地硬件上執(zhí)行推理，不僅可以降低因網(wǎng)絡(luò)延時(shí)帶來(lái)的問(wèn)題，而且還能夠讓用戶的數(shù)據(jù)保存在本地，避免了數(shù)據(jù)隱私相關(guān)的問(wèn)題。

從人臉識(shí)別，到智能家居，再到工業(yè)質(zhì)檢應(yīng)用，市場(chǎng)上有多種多樣的AI硬件來(lái)滿足日益旺盛的端上AI部署的需求。這些硬件公司包括ARM、Qualcomm、MediaTek、瑞芯微、晶晨、安霸、寒武紀(jì)等等。這些硬件中，除了傳統(tǒng)的CPU、GPU以外，更多是針對(duì)特定AI應(yīng)用場(chǎng)景推出的專用優(yōu)化芯片。

面對(duì)日益多樣化的AI硬件，如何挑選適合應(yīng)用場(chǎng)景的硬件？硬件選定以后，如何充分利用硬件上的異構(gòu)資源計(jì)算，最大化利用端側(cè)推理算力呢？面對(duì)端側(cè)有限的資源，如何縮減預(yù)測(cè)庫(kù)的體積滿足需求呢？對(duì)于Paddle平臺(tái)暫時(shí)還不支持的硬件, 如何通過(guò)ONNX等方式部署上? 以上的問(wèn)題，我們都會(huì)在今天的課程中一一解答。

飛槳作為國(guó)內(nèi)首個(gè)功能完備的深度學(xué)習(xí)平臺(tái)，在端側(cè)AI模型部署上，提供了一系列的產(chǎn)品，滿足用戶的不同場(chǎng)景的部署需求，并且能夠?qū)崿F(xiàn)對(duì)硬件算力的充分利用。同時(shí)，在端側(cè)還可以結(jié)合模型壓縮工具PaddleSlim，利用量化訓(xùn)練、剪枝、蒸餾等方法，實(shí)現(xiàn)模型的性能進(jìn)一步加速。除此以外，飛槳還提供了內(nèi)存優(yōu)化，預(yù)測(cè)庫(kù)裁減等方法，可以有效利用有限的端側(cè)計(jì)算資源。

飛槳繼四月推出的“服務(wù)器端AI部署月” 大獲參與者好評(píng)之后，五月份還將繼續(xù)推出“端側(cè)AI部署月”系列線上直播活動(dòng)。

在這個(gè)系列直播課中，我們將為大家詳細(xì)講解如何在各種端側(cè)場(chǎng)景實(shí)現(xiàn)AI部署。

既有面向移動(dòng)和邊緣端AI部署的輕量化推理引擎的課程，也有如何在移動(dòng)APP中快速集成AI能力的課程，還有面向?yàn)g覽器部署的課程。

對(duì)于有集成功能要求的伙伴們，我們還有飛槳企業(yè)版BML全功能AI開(kāi)發(fā)平臺(tái)，在本次的系列課程中，也有針對(duì)BML開(kāi)發(fā)部署實(shí)戰(zhàn)的專場(chǎng)課程，從端側(cè)部署難點(diǎn)入手，圍繞垃圾分類這一實(shí)用項(xiàng)目，對(duì)模型邊緣部署技術(shù)原理和部署詳細(xì)流程進(jìn)行深入講解與實(shí)戰(zhàn)演示，教你如何快速實(shí)現(xiàn)模型壓縮及部署，打通模型訓(xùn)練到端部署開(kāi)發(fā)全流程。 

課程干貨滿滿，敬請(qǐng)期待呦！歡迎大家掃碼報(bào)名參加吧！

掃描下方二維碼，立即報(bào)名加入技術(shù)交流群

“端側(cè)AI部署月”精彩內(nèi)容搶先看

點(diǎn)擊“閱讀原文”，立即報(bào)名學(xué)習(xí)。