ModelArts 讓 AI 應(yīng)用開發(fā)更簡單
?當(dāng)今這個沒有AI芯片加持的手機都不能稱之為“旗艦機”的時代,沒有AI技能加持的攻城獅感覺都有點落伍。但是,談到學(xué)習(xí)人工智能,大家可能最先想到的是技術(shù)太難、學(xué)不會。如果,您體驗了一站式AI開發(fā)平臺ModelArts,您一定會和我一樣驚嘆:原來 AI 應(yīng)用開發(fā)也能這么簡單?
?
大家好,我是胡琦,江湖人稱“Copy攻城獅” -- 「“Copy Code, Copy Wolrd!”」。目前在廣東省電信規(guī)劃設(shè)計院從事前端開發(fā),工作之余對AI比較感興趣。了解到一站式AI開發(fā)平臺 -- ModelArts,就深深地愛上了她,并加入了 MDG,也就是 ModelArts 開發(fā)者社區(qū)。在 ModelArts 開發(fā)者社區(qū),我學(xué)到了讓 AI 應(yīng)用開發(fā)更簡單的小技巧,今天就簡單和大家分享一下,螞蟻牙黑!
本次分享有以下四點:
①AI 的過去、現(xiàn)在、未來;
②AI 應(yīng)用開發(fā)流程;
③ModelArts 簡介;
④最后分享一個簡單的美食分類AI應(yīng)用開發(fā)實踐過程。
AI 的過去、現(xiàn)在、未來

圖片來源What is Artificial Intelligence
什么是 AI ?不管您心中是否有答案,我希望通過我的講解能讓您對AI及AI應(yīng)用開發(fā)有一個新的認(rèn)識。我印象比較深刻的有個段子不知道大家有沒有看到過,大概講的是朋友酒后創(chuàng)業(yè)想做AI,向老婆楊夢圓要啟動資金被暴打兩頓徹底夢碎,還好 AI 應(yīng)用開發(fā)沒有主要用 PHP,不然估計相親被拒無數(shù)次。如果您恰巧也去檢索過 AI 的名詞解釋,您會發(fā)現(xiàn) AI 是一個多義詞,我們這里講的 AI 是大家普遍理解的人工智能(Artificial Intelligence),當(dāng)我在搜索引擎中敲下 AI 的時候,AI 不知不覺就來了。搜索引擎的背后,除了有鏈接分析等互聯(lián)網(wǎng)技術(shù),還需要自然語言處理、信息檢索等AI技術(shù)。

人工智能通常在教材中的定義領(lǐng)域為“智能主體(intelligent agent)的研究與設(shè)計”,它是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。最早由現(xiàn)代人工智能領(lǐng)域奠基人之一的約翰·麥卡錫(John McCarthy)在1956年的達(dá)特矛斯會議上提出了,當(dāng)時的定義為“制造智能機器的科學(xué)與工程”;中國科學(xué)院院士、清華大學(xué)人工智能研究院院長張鈸院士認(rèn)為,人工智能是“研究和設(shè)計智能體,所謂智能體,是用計算機模擬人類的智能行為”。在我看來人工智能是讓機器像人一樣思考,讓機器具備智能。

AI 從哪里來?在人類歷史長河中,從源遠(yuǎn)流長的神話預(yù)言,到巧奪天工的自動人偶,再到百花齊放的形式推理人們對“智能”的探索從未停止。尤其是在計算機及計算機科學(xué)誕生之后,人工智能在 20 世紀(jì) 50 年代終于形成了一門學(xué)科。回顧人工智能的發(fā)展,普遍認(rèn)為有“兩起兩落”并經(jīng)歷了三次浪潮,當(dāng)前正處于第三個增長爆發(fā)期。20世紀(jì)50-70年代,是人工智能的黃金時代,“人工智能”首次在被提出,緊接著開始醞釀第一次浪潮,人工智能實驗室在全球各地扎根。20世紀(jì)70-80年代,由于計算機的運算能力難以解決任何實際的AI問題、計算難度的指數(shù)級增長,人工智能的發(fā)展迎來了第一個低谷。20世紀(jì)80-90年代,由于專家系統(tǒng)的崛起,人工智能再次迎來第二次浪潮。不過 1987年 AI 硬件市場需求的突然下跌,典型的比如基于通用計算的 Lisp 機器在商業(yè)上的失敗,人工智能再次滑入了低迷期。20世紀(jì)90年代后期,由于計算機計算能力的不斷提高,人工智能再次卷土重來,進(jìn)入21世紀(jì)以來,得益于大數(shù)據(jù)和計算機技術(shù)的快速發(fā)展,人工智能成功應(yīng)用于經(jīng)濟(jì)社會中的許多問題,人工智能的第三次浪潮應(yīng)運而生。
哪里有 AI ?當(dāng)今世界處處都有 AI,AI 技術(shù)運用的案例已經(jīng)滲透到方方面面。圖像識別技術(shù)運用到農(nóng)作物病蟲害識別,提高了防治效率,大大提升了農(nóng)作物產(chǎn)量;自動駕駛技術(shù)的不斷發(fā)展,離不開 AI的賦能,比如車道線檢測;全球疫情嚴(yán)重的當(dāng)下,基于深度學(xué)習(xí)構(gòu)建的醫(yī)療影像輔助診斷系統(tǒng),極大減輕醫(yī)生負(fù)擔(dān), 同時降低漏診風(fēng)險;餐飲行業(yè)的流水線自動收銀、APP食物卡路里識別,AI 通通幫您搞定;知識淵博的智能問答機器人用“愛”為您解答。

我印象比較深刻的還有我們“身體的另一部分”--手機中也大量運用到了 AI 技術(shù),AI 芯片加持的手機似乎也有了自己的思維,AI 賦能的手機系統(tǒng)也變得智能,您看這不我手機和另一頭的電話營銷機器人聊得可熱乎呢!此外手機中的 APP 也提供了大量的 AI 服務(wù),如
文字識別、自動翻譯、精準(zhǔn)推薦等等。
![]() | ![]() |
![]() | ![]() |
AI 應(yīng)用開發(fā)流程
那么,如何開發(fā)AI應(yīng)用呢?基本流程通常可以歸納為幾個步驟:確定目的、準(zhǔn)備數(shù)據(jù)、訓(xùn)練模型、評估模型、部署模型。
在開始AI開發(fā)之前,要解決什么問題?目的是什么?結(jié)合實際場景整理AI開發(fā)框架和思路。例如,圖像分類、物體檢測等等。不同的項目對數(shù)據(jù)的要求,使用的AI開發(fā)手段也是不一樣的。
數(shù)據(jù)準(zhǔn)備主要是指收集和預(yù)處理數(shù)據(jù)的過程。按照確定的分析目的,有目的性的收集、整合相關(guān)數(shù)據(jù),數(shù)據(jù)準(zhǔn)備是AI開發(fā)的一個基礎(chǔ)。“數(shù)據(jù)、算法、算力”是人工智能三要素。此時最重要的是保證獲取數(shù)據(jù)的真實可靠性,當(dāng)然實際開發(fā)中,我們還需要反復(fù)調(diào)整優(yōu)化。
模型訓(xùn)練也就是“建模”,指通過分析手段、方法和技巧對準(zhǔn)備好的數(shù)據(jù)進(jìn)行探索分析,從中發(fā)現(xiàn)因果關(guān)系、內(nèi)部聯(lián)系和業(yè)務(wù)規(guī)律。訓(xùn)練模型的結(jié)果通常是一個或多個機器學(xué)習(xí)或深度學(xué)習(xí)模型,模型可以應(yīng)用到新的數(shù)據(jù)中,得到預(yù)測、評價等結(jié)果。
訓(xùn)練得到模型之后,整個開發(fā)過程還不算結(jié)束,需要對模型進(jìn)行評估和考察。往往不能一次性獲得一個滿意的模型,需要反復(fù)的調(diào)整算法參數(shù)、數(shù)據(jù),不斷評估訓(xùn)練生成的模型;也就是我們常說的“煉丹”。
最后就是部署模型,在絕大多數(shù)的應(yīng)用場景中,我們只需將模型服務(wù)部署到線上以 API 的形式給到應(yīng)用端進(jìn)行調(diào)用,當(dāng)然,隨著智能硬件的發(fā)展,很多設(shè)備端已經(jīng)能夠在本地調(diào)用模型服務(wù)。在發(fā)布的模型服務(wù)中,我們還能再收集數(shù)據(jù),比如難例反饋,進(jìn)一步優(yōu)化模型。

ModelArts 簡介
每次說到 ModelArts 不得不先說說全棧全場景AI解決方案。早在 2018 年第三屆華為全聯(lián)接大會上,首次發(fā)布了華為全棧全場景AI解決方案,所謂全棧,是技術(shù)功能視角,是包括芯片、芯片使能、訓(xùn)練和推理框架和應(yīng)用使能在內(nèi)的全堆棧方案;所謂全場景,是包括公有云、私有云、各種邊緣計算、物聯(lián)網(wǎng)行業(yè)終端以及消費類終端等全場景的部署環(huán)境。ModelArts 在整個企業(yè)智能中扮演者至關(guān)重要的角色,通過ModelArts平臺,我們能調(diào)用底層的芯片硬件、AI框架能力,如昇騰、鯤鵬、MindSpore、TensorFlow等;進(jìn)而開發(fā)通用的API,如OCR、自然語言處理、人臉識別等,甚至還能形成行業(yè)解決方案,將AI賦能到各行各業(yè)。
ModelArts 貫穿了AI應(yīng)用開發(fā)整個流程。在數(shù)據(jù)方面,ModelArts 的數(shù)據(jù)管理提供了數(shù)據(jù)處理所必備的能力,如數(shù)據(jù)采集、數(shù)據(jù)篩選、數(shù)據(jù)標(biāo)注等,基于華為AI能力,還支持?jǐn)?shù)據(jù)的智能處理如智能標(biāo)注、智能分析等;在模型訓(xùn)練方面,ModelArts支持超參自動調(diào)優(yōu)、模型可視化、自動學(xué)習(xí)、強化學(xué)習(xí)、聯(lián)邦學(xué)習(xí)等;在模型評估方面,ModelArts模型管理支持模型評估和智能診斷,并能給出優(yōu)化建議等;在模型部署方面,ModelArts支持“端邊云”多種場景的模型部署,提供在線服務(wù)、批量服務(wù)、邊緣服務(wù)部署方式,還支持自動難例發(fā)現(xiàn)。此外ModelArts 的AI Gallery(AI市場)提供了算法、模型、數(shù)據(jù)集等分享及交易能力,預(yù)期還會有AI應(yīng)用的分享和交易功能。
使用ModelArts可進(jìn)行端邊云聯(lián)合開發(fā),在云上訓(xùn)練模型,在本地推理,模型實時更新,極大豐富了AI應(yīng)用的落地場景。
作為AI小白及資深Copy攻城獅,我最鐘愛ModelArts的自動學(xué)習(xí),無需編程基礎(chǔ),無需AI經(jīng)驗,也能開發(fā)并上線自己的AI應(yīng)用。
動手實踐
“百聞不如一見”,一見不如親自動手實踐。本次實踐的前提是有華為云賬號并開通OBS和ModelArts服務(wù),且ModelArts已進(jìn)行全局授權(quán)。遵循AI應(yīng)用開發(fā)的流程,我們首先需要進(jìn)行“技術(shù)選型”,目的很明確--開發(fā)美食分類應(yīng)用,使用圖像分類的技術(shù),基于ModelArts 自動學(xué)習(xí)或者訂閱算法實現(xiàn);數(shù)據(jù)準(zhǔn)備上,直接通過AI Gallery 獲取美食數(shù)據(jù)集;模型訓(xùn)練最終使用訂閱算法功能使用圖像分類ResNet50-EI-Backbone;模型評估由于此次訂閱的算法暫未實現(xiàn)相關(guān)的代碼,因此無法查看關(guān)鍵數(shù)據(jù),但通過自動學(xué)習(xí)完成的模型能夠準(zhǔn)備顯示模型精度以便調(diào)優(yōu);最終將模型部署為在線服務(wù),方面應(yīng)用調(diào)用。
數(shù)據(jù)準(zhǔn)備
在AI Gallery 中,數(shù)據(jù)集的下載有兩種方式,分別是下載到OBS和下載到ModelArts數(shù)據(jù)集;兩者的本質(zhì)都是存放到OBS,后者只有數(shù)據(jù)集的上傳者使用的ModelArts數(shù)據(jù)集上傳才能下載。

訓(xùn)練模型
我們可以使用自動學(xué)習(xí)的圖像分類直接訓(xùn)練,也可以基于訂閱算法訓(xùn)練,當(dāng)然您還可以自行開發(fā)算法進(jìn)行訓(xùn)練。

部署模型
我們將訓(xùn)練好的模型發(fā)布為在線服務(wù),以 API 的形式提供給應(yīng)用調(diào)用。

ModelArts 在線服務(wù)還提供預(yù)測功能,我們可以直接上傳一張圖片來驗證模型。
當(dāng)然也可以通過調(diào)用 API 來完成美食分類,我也有幸嘗試過在 AppCube 之類低代碼開發(fā)平臺中調(diào)用 ModelArts 的在線服務(wù),整體開發(fā)體驗比較棒!

歡迎廣州地區(qū)的小伙伴加入 MDG-廣州

參考資料
EI 紅寶書:https://e.huawei.com/cn/material/huaweicloud/fcce53d81577406e927724058a1274c8




