未來移動端的“最強AI引擎”百度華為如何打造?

這是Han的第71篇原創(chuàng)文章

今天，咱們聊聊手機和AI。

?

先說一個最新的段子。

?

華為今年的Mate 30 Pro有一個最新的功能。可以用AI自動檢測有幾個人在盯著你的手機。

如果只有你自己在看，那通知就會顯示全文。如果同時還有別人在看，那通知就會折疊隱藏。?于是，最恐怖的一幕就是：深夜，你一個人在家，Mate 30 Pro把通知隱藏了。?其實，今年的各大廠新旗艦手機，AI絕對還是亮點。?谷歌Pixel 4的GoogleAssistant支持多任務(wù)處理，和朋友聊天的時候，你可以隨時問問看自己的航班情況。

最厲害的，就是全新加入的手勢雷達 + 人臉識別功能了。不僅可以隔空取物，也達到了史上最快手機解鎖體驗。?而各種上熱搜的iPhone 11 Pro的浴霸三攝，則實現(xiàn)了業(yè)界最流暢的多攝像頭順滑切換體驗。

這些新體驗背后，都有著AI的加持。?手機的AI是不是偽需求？?8年前，iPhone 4s推出最新功能Siri，語音識別正式“實用化”開始，人們開始相信AI的用處。

手機上的AI，需要專門的硬件么？?2年前，華為推出麒麟970芯片，內(nèi)部搭載NPU單元，助力AI計算。也使得當年的Mate 10成為全球第一款搭載NPU的智能終端。

今天，移動端+ 芯片硬件，已經(jīng)是各大廠的標配。同時，為了更多釋放AI能力，都開放了各類接口和工具給到了開發(fā)者。?iPhone11 Pro的最新A13自研芯片，內(nèi)部搭載8核神經(jīng)引擎，助力Face ID等功能。

開發(fā)者方面，iOS則升級套件到CoreML 3，方便打造各類AI應(yīng)用。?安卓方面，驍龍660平臺開始，就已經(jīng)引入AI計算引擎，去年底的855正式硬件加入Tensor Core計算單元。

開發(fā)者方面，更是推出Neural Processing (NP) SDK，以及和安卓深度耦合的Android Neural Network API。?華為除了硬件，還搭建了面向智能終端的AI能力開放平臺HiAI。?而今年7月，百度飛槳（PaddlePaddle）深度學(xué)習(xí)平臺與華為麒麟芯片正式宣布聯(lián)手。

中國首個全面開源開放、技術(shù)領(lǐng)先、功能完備的產(chǎn)業(yè)級深度學(xué)習(xí)平臺，和全球領(lǐng)先的最強“國產(chǎn)芯”華為麒麟系列聯(lián)手，正式打通深度學(xué)習(xí)框架與芯片，為AI時代打造最強算力。?本周，在剛剛結(jié)束的“WAVE SUMMIT+”2019深度學(xué)習(xí)開發(fā)者秋季峰會上，剛剛?cè)脒x“2019世界互聯(lián)網(wǎng)大會領(lǐng)先科技成果”的飛槳全新發(fā)布了9大新產(chǎn)品和12項升級。
重點的是，最新的移動端側(cè)推理引擎Paddle Lite 2.0，不僅支持ARM CPU 、 Mali GPU 、 Adreno GPU，還成為了第一個，支持華為 NPU 在線編譯的深度學(xué)習(xí)推理框架。?兩大“國貨之光”也給出了最新成績。

PaddleLite與HiAI Foundation聯(lián)合優(yōu)化后，相比驍龍855，麒麟990上推理速度FP32提升4.3倍-6.4倍，INT8提升2.3倍-3.7倍。?看到這，可能很多小伙伴還有疑問：這么強的AI算力，在手機上，真的有用嗎？?當然，下面我就舉出幾個常見的手機應(yīng)用案例。?AI的核心能力，是可以讀懂文字，看懂圖片。?我們每天要通過手機接觸大量的文字：工作的短信消息，郵件，還有閱讀新聞和公眾號文章。

?AI可以瞬間理解這些內(nèi)容。最簡單的應(yīng)用，可以分類你的消息，去除垃圾短信和郵件；高級點的，就可以幫你自動補全郵件內(nèi)容；再高級點，可以分辨你的情緒、情感，還有多種語言翻譯。?飛槳本次發(fā)布的ERNIE 2.0，就是一個針對“語義理解”的端到端的開發(fā)套件，有著工業(yè)化的計算能力，延遲小于1ms，可以讓開發(fā)者快速使用。?

圖像應(yīng)用方面就更多了。你使用的P圖軟件，視頻濾鏡，都有AI的相關(guān)能力。這些都需要圖像分割技術(shù)。?而PaddleSeg的開發(fā)套件，提供18個預(yù)訓(xùn)練模型，可以幫助開發(fā)者快速實現(xiàn)相關(guān)功能。?有時候，你看到明星的衣服很好看，想用圖片搜索找找同款，這個時候就要用到目標檢測技術(shù)了。還有，你家里如果使用了智能攝像頭，可以快速捕捉移動物體，安全防盜，也要利用這個技術(shù)。

?對應(yīng)的，PaddleDetection含有60+ 預(yù)訓(xùn)練模型，還有競賽冠軍模型，也在本次全新發(fā)布。其中，還包含了很多實用的小模型，方便給移動設(shè)備使用。?對了，還有一個工業(yè)中非常常用的例子：點擊率（CTR）預(yù)估。?比如，你手機里有那么多App，可不是每天都用。蘋果的Siri快捷菜單，就會給你推薦最常用的8個，這就是按照點擊率排序的。

同樣類似的，很多App都有超級多菜單，超多功能，怎樣找到最合適的給你優(yōu)先顯示呢？這里也需要CTR模型。?而飛槳本次，則新增了ElasticCTR，可實現(xiàn)分布式CPU訓(xùn)練，可以為開發(fā)者快速解決上面的CTR應(yīng)用問題。?有很多人覺得，5G時代已經(jīng)來臨，再過幾年就將全面普及。到時候，我們還需要在移動端的AI能力么？NPU是不是就沒有用了呢？

?其實，NPU + 框架，就是未來移動設(shè)備AI能力演化的“公式”，5G時代也不會落后。?首先，網(wǎng)絡(luò)再快，傳輸大量數(shù)據(jù)和信息也會損失能量，損失能量就是損失金錢。?如果移動端設(shè)備可以本地快速預(yù)先處理數(shù)據(jù)，只將少量的、處理后的數(shù)據(jù)返回云端，不僅減少了云端的計算壓力，也會讓用戶體驗更快更好。?

此外，5G最重要的應(yīng)用場景就是IoT物聯(lián)網(wǎng)。以后，接入網(wǎng)絡(luò)的可不一定就是手機，小到水杯，大到工業(yè)機床都可能入網(wǎng)，實現(xiàn)萬物互聯(lián)。?到時候，這些移動設(shè)備可不見得有手機那樣的強大能力，內(nèi)存和網(wǎng)絡(luò)能力可能都趕不上。那么，我們能不能把模型壓縮到足夠小，讓這些設(shè)備方便使用，就是一個技術(shù)難點。?PaddleSlim則提供了強大的模型壓縮能力，通過剪枝、量化、蒸餾，和全新的LightNAS，可以實現(xiàn)模型的精度無損壓縮。
另外，最重要的，移動端設(shè)備上的AI，可以保證數(shù)據(jù)保留在本地，實現(xiàn)強大的數(shù)據(jù)安全。?比如，你的人臉識別解鎖的數(shù)據(jù)，指紋的數(shù)據(jù)，還有其他更敏感的，比如身體的健康數(shù)據(jù)，都將本地安全留存。?以上，在設(shè)備上運行的AI，稱之為OnDevice AI。這個能力，也將會是以后移動端AI發(fā)展的方向之一。?此外，華為HiAI和飛槳還將在哪些能力上下功夫？

今年谷歌和華為都加入隔空操作后，我看到了一個趨勢。手機，以后會有更多的各類傳感器。以后的訓(xùn)練數(shù)據(jù)，將不僅僅是文字、圖像和聲音，這些傳感器的數(shù)據(jù)也將派上大用。?這就是為什么，「多模融合」是我最期待的方向之一。也就是說，把多模型的信息，統(tǒng)一到一個特征空間當中，之后進行融合訓(xùn)練，這會讓感知以及識別更精準。?重要的是，降低開發(fā)難度，絕對是一個趨勢。?這幾年的AI框架迭代，很重要的一方面，就是讓開發(fā)體驗越來越好，應(yīng)用門檻越來越低。而現(xiàn)在的飛槳已經(jīng)可以只用5行代碼，快速配置GPU進行并行訓(xùn)練了。

在硬件上，NPU也好，神經(jīng)引擎也好，都在底層上努力，讓AI應(yīng)用發(fā)揮更大價值。?在軟件上，各類框架瘋狂提升模型能力，降低部屬難度，提高開發(fā)效率。?更重要的是，軟件和硬件要互相協(xié)調(diào)，深度耦合，最終將實現(xiàn)以最低成本達成超高用戶體驗的目標，贏得全球市場。?這樣的軟硬結(jié)合的移動端發(fā)展之路，一定是各大廠今后的角逐舞臺。

我的新書已出版，感謝支持：Han的新書《硅谷思維》上市了！?
現(xiàn)當當雙十一5折優(yōu)惠，年度最大促銷！
11.8 ～ 11.11 輸入下方讀者福利優(yōu)惠券，即可獲得200減30額外優(yōu)惠哦！JQ4BUW? ??8HBCKK? ? ?5UTUBA