高通人工智能應(yīng)用創(chuàng)新大賽介紹 2021高通人工智能應(yīng)用創(chuàng)新大賽由高通技術(shù)公司、高通創(chuàng)投主辦，極視角、小米、中科創(chuàng)達(dá)、CSDN共同協(xié)辦，TensorFlow Lite作為開(kāi)源技術(shù)合作伙伴。

本屆大賽將融合終端側(cè)人工智能（AI）和邊緣云技術(shù)，攜手AI產(chǎn)業(yè)鏈合作伙伴為專(zhuān)注于Android應(yīng)用程序開(kāi)發(fā)、智能邊緣的移動(dòng)開(kāi)發(fā)者及行業(yè)用戶(hù)提供展示創(chuàng)意和成果的平臺(tái)，推動(dòng)5G時(shí)代下人工智能技術(shù)賦能的眾多創(chuàng)新應(yīng)用。

賽程中使用的高通神經(jīng)網(wǎng)絡(luò)處理引擎SDK將為開(kāi)發(fā)者提供端到端的解決方案，使得算法模型可以在任何搭載高通驍龍移動(dòng)平臺(tái)的設(shè)備上運(yùn)行，這不僅能夠簡(jiǎn)化、加速AI應(yīng)用程序的開(kāi)發(fā)，還能更好地支持創(chuàng)新AI應(yīng)用的落地。

大賽賽題包括兩個(gè)賽道，賽道1是應(yīng)用賽道，賽道2屬于創(chuàng)新賽道，分別是表情識(shí)別、農(nóng)作物病蟲(chóng)害識(shí)別、垃圾分類(lèi)識(shí)別和手繪圖像識(shí)別。

團(tuán)隊(duì)介紹

團(tuán)隊(duì)來(lái)自深圳市威富視界有限公司&中國(guó)科學(xué)院半導(dǎo)體研究所高速電路與神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)室，成員分別為：寧欣、石園、閆震、張倩、孫琳鈞，排名不分先后。

任務(wù)介紹 — 農(nóng)作物病蟲(chóng)害識(shí)別

糧食問(wèn)題一直是全球重點(diǎn)關(guān)注議題，而防范農(nóng)作物病蟲(chóng)疾病是提升糧食產(chǎn)量的重要手段，同時(shí)也可有效避免農(nóng)業(yè)經(jīng)濟(jì)損失。本賽題使用手機(jī)攝像頭，拍攝農(nóng)作物病蟲(chóng)害圖片，通過(guò)AI手段診斷農(nóng)作物病蟲(chóng)害疾病類(lèi)別，盡早發(fā)現(xiàn)危害，對(duì)癥下藥，從而有效減少經(jīng)濟(jì)損失。

參賽者需要根據(jù)圖片給出對(duì)應(yīng)的類(lèi)別情況，其類(lèi)別為大蔥灰霉?。╫nion_gray）、大蔥軟腐?。╫nion_soft）、大蔥霜霉病（onion_downy）、大蔥銹病（onion_rust）、大蔥疫?。╫nion_rphy）、大蔥紫斑?。╫nion_purple）、姜斑點(diǎn)?。╣inger_spot）、姜根腐?。╣inger_rot）等54種類(lèi)別。數(shù)據(jù)集是由攝像頭采集的現(xiàn)場(chǎng)場(chǎng)景數(shù)據(jù)，訓(xùn)練數(shù)據(jù)集包括11740張，測(cè)試數(shù)據(jù)集包括4997張。

評(píng)審標(biāo)準(zhǔn)

本賽道分為初賽階段和決賽階段。初賽階段是進(jìn)行線上算法開(kāi)發(fā)，并使用高通SNPE工具轉(zhuǎn)換得出算法得分；決賽階段是通過(guò)演示算法應(yīng)用視頻和答辯PPT，評(píng)委依據(jù)規(guī)則進(jìn)行評(píng)分，初賽成績(jī)和決賽成績(jī)各占40%和60%。

初賽得分采取算法精度、算法性能值綜合得分的形式，具體如下：

說(shuō)明：算法精度取自算法模型標(biāo)準(zhǔn)測(cè)試成績(jī)，算法性能值取自模型使用SNPE轉(zhuǎn)換后的模型，在小米（含高通驍龍888芯片）手機(jī)DSP上跑出的性能值。

決賽評(píng)審規(guī)則具體如下：

威富視界&中國(guó)科學(xué)院半導(dǎo)體研究所團(tuán)隊(duì)榮獲第一

賽題特點(diǎn)

1、數(shù)據(jù)分布差異大

數(shù)據(jù)集圖片尺寸不一，相差較大。一方面，由于計(jì)算資源和算法性能的限制，大尺寸的圖像不能作為網(wǎng)絡(luò)的輸入，而單純將原圖像縮放到小圖會(huì)使得大圖丟失大量細(xì)節(jié)；另一方面，訓(xùn)練數(shù)據(jù)總共有11740張，類(lèi)別54類(lèi)，平均每類(lèi)217張圖像，同一種類(lèi)別包含不同植物，并且背景不一，這就給分類(lèi)器造成巨大的挑戰(zhàn)。

2、模型量化需選擇SNPE

驍龍（SnapDragon）神經(jīng)處理引擎SNPE是一個(gè)針對(duì)高通驍龍加速深層神經(jīng)網(wǎng)絡(luò)的運(yùn)行時(shí)軟件。SNPE支持Caffe、Caffe2、ONNX和Tensor Flow模型，訓(xùn)練的模型將轉(zhuǎn)換為可加載到SNPE運(yùn)行時(shí)的DLC文件。然后使用此DLC文件使用其中一個(gè)Snapdragon加速計(jì)算核心執(zhí)行前向推斷傳遞。

3、算法需落地App應(yīng)用

我們一方面需要對(duì)算法精度和性能進(jìn)行提升；另一方面我們要做好算法落地App的應(yīng)用，保證App的核心功能可用，邏輯流程順暢，架構(gòu)合理，具備良好的可用性、易用性、穩(wěn)定性、安全性、可運(yùn)維性等特點(diǎn)。同時(shí)針對(duì)該賽題需從產(chǎn)品角度考慮商業(yè)價(jià)值、創(chuàng)新價(jià)值，使其與行業(yè)成熟方案相比有差異性、高價(jià)值創(chuàng)意，并具備廣闊的市場(chǎng)和商業(yè)前景。

主要工作

算法研發(fā)：

1、主體框架選擇

（1）精度方面：目前基于深度學(xué)習(xí)的分類(lèi)網(wǎng)絡(luò)框架常用的有Swin Transformer與EfficientNet，兩者在精度方面處于相當(dāng)水平，與其他算法相比具有競(jìng)爭(zhēng)性，因此我們以?xún)烧邽槌醵ǚ桨浮１荣愐竽Ｐ褪紫仁褂肧NPE轉(zhuǎn)換，然后在小米（含高通驍龍888芯片）手機(jī)DSP上運(yùn)行，我們算法框架選用的是pytorch，模型轉(zhuǎn)換SNPE之前，需將其轉(zhuǎn)換為onnx格式，經(jīng)實(shí)驗(yàn)，Swin Transform網(wǎng)絡(luò)中torch.roll不支持onnx轉(zhuǎn)換，因此我們選用了EfficientNet。

（2）速度方面：比賽需要考慮精度和速度，經(jīng)多次實(shí)驗(yàn)，在權(quán)衡兩者的情況下，我們最終選取EfficientNet-B0作為Baseline。

2、模型泛化

起初我們考慮到算法性能，我們僅嘗試EffficientNet-B0進(jìn)行模型訓(xùn)練。實(shí)驗(yàn)結(jié)果顯示，模型分類(lèi)效果不好。經(jīng)分析，我們將上述問(wèn)題歸納為以下兩個(gè)方面的原因：

（1）EffficientNet-B0無(wú)論是網(wǎng)絡(luò)寬度和網(wǎng)絡(luò)深度相對(duì)都較小，學(xué)習(xí)能力相對(duì)較弱。同一種病癥在不同植物上表現(xiàn)以及所處不同背景，容易對(duì)分類(lèi)器造成混淆，從而產(chǎn)生分類(lèi)錯(cuò)誤。

（2）另一方面，訓(xùn)練數(shù)據(jù)總共有11740張，類(lèi)別54類(lèi)，平均每類(lèi)217張圖像，同一種類(lèi)別包含不同植物，并且背景不一，使得不同類(lèi)別的樣本較少，模型學(xué)習(xí)共性特征較困難，造成模型泛化能力較差。

根據(jù)上述問(wèn)題，我們進(jìn)行了一些嘗試：

首先，我們采用了粘貼、隨機(jī)裁剪、mosaic、仿射變換、顏色空間轉(zhuǎn)換等操作對(duì)樣本進(jìn)行增強(qiáng)，緩解過(guò)擬合問(wèn)題，提高模型的泛化能力，增強(qiáng)模型的分類(lèi)精度。

其次，從優(yōu)化器層面來(lái)講，我們嘗試了SAM優(yōu)化器。SAM優(yōu)化器可使損失值和損失銳度同時(shí)最小化，并可以改善各種基準(zhǔn)數(shù)據(jù)集（例如CIFAR-{10、100}，ImageNet，微調(diào)任務(wù)）和模型的模型泛化能力，從而為多個(gè)應(yīng)用程序提供了最新的性能。另外， SAM優(yōu)化器具有固有地提供了標(biāo)簽噪聲的魯棒性，與專(zhuān)門(mén)針對(duì)噪聲標(biāo)簽學(xué)習(xí)的最新稱(chēng)稱(chēng)所提供的不相上下。

3、模型量化

模型量化采用高通SNPE開(kāi)發(fā)工具將原始pytorch模型轉(zhuǎn)換為DLC模型，同時(shí)對(duì)轉(zhuǎn)換模型進(jìn)行8位定位量化，提升模型在驍龍?zhí)幚砥魃系倪\(yùn)行性能。SNPE工作流程具體如下：
（1）將網(wǎng)路模型轉(zhuǎn)換為可由SNPE加載的DLC文件；
（2）可選擇量化DLC文件以在Hexagon DSP上運(yùn)行；
（3）準(zhǔn)備模型的輸入數(shù)據(jù)；
（4）使用SNPE運(yùn)行時(shí)加載并執(zhí)行模型。

4、實(shí)驗(yàn)結(jié)果

應(yīng)用落地

1、市場(chǎng)調(diào)研：

（1）對(duì)智慧農(nóng)業(yè)的概念、政策和市場(chǎng)規(guī)模進(jìn)行了解與研究

（2）了解智慧農(nóng)業(yè)中下游產(chǎn)業(yè)鏈的關(guān)系及構(gòu)成:

上游：種子、農(nóng)藥、化肥、農(nóng)機(jī)、飼料等 專(zhuān)業(yè)性強(qiáng)，通過(guò)高科技手段研發(fā)出產(chǎn)量更高、效果更優(yōu)的產(chǎn)前原料

中游：種植、防治、采摘 大數(shù)據(jù)生產(chǎn)環(huán)境監(jiān)測(cè)、大數(shù)據(jù)病蟲(chóng)害防治、無(wú)人機(jī)植保、精細(xì)化養(yǎng)殖、農(nóng)業(yè)操作自動(dòng)化、農(nóng)作物產(chǎn)量預(yù)測(cè)等

下游：農(nóng)產(chǎn)品加工、流通等 農(nóng)村電商、冷鏈物流為農(nóng)產(chǎn)品打開(kāi)市場(chǎng)，通過(guò)大數(shù)據(jù)等先進(jìn)技術(shù)處理分析可進(jìn)一步了解購(gòu)買(mǎi)群體，提供定向銷(xiāo)售服務(wù)

（3）尋找適合我們的市場(chǎng)突破點(diǎn)：

在整個(gè)智慧農(nóng)業(yè)的產(chǎn)業(yè)鏈中，上游需要較強(qiáng)的專(zhuān)業(yè)性、下游需要較多的資金支持，這并不適合一個(gè)高科企業(yè)切入，因此我們從中游來(lái)尋找機(jī)會(huì)，作為一個(gè)擁有多年人工智能經(jīng)驗(yàn)的企業(yè)，病蟲(chóng)害識(shí)別無(wú)疑是一個(gè)很好的切入點(diǎn)，目前市場(chǎng)上做病蟲(chóng)害識(shí)別的企業(yè)有幾十家，做的較好的有“識(shí)農(nóng)”、“慧植農(nóng)當(dāng)家”等幾款產(chǎn)品，但受限于技術(shù)水平、市場(chǎng)推廣等因素，導(dǎo)致體量都不大，因此我們完全具備競(jìng)爭(zhēng)優(yōu)勢(shì)。

（4）產(chǎn)品的實(shí)用價(jià)值

• 農(nóng)作物病蟲(chóng)害診斷與治療

  通過(guò)病蟲(chóng)害識(shí)別、農(nóng)藥推薦和專(zhuān)家指導(dǎo)等功能，幫助用戶(hù)解決農(nóng)作物病蟲(chóng)害問(wèn)題

• 農(nóng)作物科學(xué)種植與銷(xiāo)售渠道

  以病蟲(chóng)害識(shí)別為切入點(diǎn)，逐步加入從科學(xué)種植到銷(xiāo)售全流程管理相關(guān)功能，讓用戶(hù)在本平臺(tái)享受一條龍服務(wù)，賺取更多的利益

2、產(chǎn)品設(shè)計(jì)與研發(fā)

通過(guò)安卓手機(jī)應(yīng)用進(jìn)行算法和產(chǎn)品落地。

（1）產(chǎn)品第一階段主要功能有：

定義自己的農(nóng)作物：在首頁(yè)，用戶(hù)可以編輯屬于自己的農(nóng)作物，方便用戶(hù)快速識(shí)別農(nóng)作物的病蟲(chóng)害。

農(nóng)藥推薦、專(zhuān)家指導(dǎo)：識(shí)別出病蟲(chóng)害之后，自動(dòng)為用戶(hù)推薦適合的農(nóng)藥產(chǎn)品，并提供24小時(shí)在線的一對(duì)一專(zhuān)家指導(dǎo)。

優(yōu)選電商服務(wù)：通過(guò)電子商城的方式，為用戶(hù)提供農(nóng)藥、種子、肥料等農(nóng)耕產(chǎn)品。

本地天氣信息：為用戶(hù)提供本地天氣信息，包括溫度、濕度、風(fēng)力、雨雪等。特殊天氣將會(huì)為提醒用戶(hù)做應(yīng)急準(zhǔn)備。

（2）產(chǎn)品界面展示

參考文獻(xiàn)

1.https://challenge.cvmart.net/race/4/base

2.Liu Z , Lin Y , Cao Y , et al. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows[J]. 2021.

3.https://github.com/microsoft/Swin-Transformer

4.Tan M , Le Q V . EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks[J]. 2019.

5.https://github.com/qubvel/efficientnet

6.Pierre F,?Ariel K,?Hossein M,?Behnam N; Sharpness-Aware Minimization for Efficiently Improving Generalization[2020].

7.https://blog.csdn.net/weixin_38498942/article/details/105819685

公眾號(hào)后臺(tái)回復(fù)“CVPR21檢測(cè)”獲取CVPR2021目標(biāo)檢測(cè)論文下載～

#?CV技術(shù)社群邀請(qǐng)函?#

△長(zhǎng)按添加極市小助手

添加極市小助手微信（ID : cvmart4）

備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測(cè)-深圳）

即可申請(qǐng)加入極市目標(biāo)檢測(cè)/圖像分割/工業(yè)檢測(cè)/人臉/醫(yī)學(xué)影像/3D/SLAM/自動(dòng)駕駛/超分辨率/姿態(tài)估計(jì)/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群

每月大咖直播分享、真實(shí)項(xiàng)目需求對(duì)接、求職內(nèi)推、算法競(jìng)賽、干貨資訊匯總、與?10000+來(lái)自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺(jué)開(kāi)發(fā)者互動(dòng)交流~

覺(jué)得有用麻煩給個(gè)在看啦~??