性无码一区二区三区,三级片视频在线播放,台湾无码免费,中文字幕亚洲高清,中文字幕综合在线观看,波多野结衣乱码无码视频,无码av网站,欧美黄片亚洲

點(diǎn)擊上方“程序員大白”，選擇“星標(biāo)”公眾號(hào)
重磅干貨，第一時(shí)間送達(dá)

轉(zhuǎn)載自：機(jī)器之心

編輯：陳萍

Facebook AI 用 10 億張來(lái)自Instagram的隨機(jī)、未標(biāo)注圖像預(yù)訓(xùn)練了一個(gè)參數(shù)量達(dá) 13 億的自監(jiān)督模型 SEER，該模型取得了自監(jiān)督視覺(jué)模型的新 SOTA，可能會(huì)為計(jì)算機(jī)視覺(jué)領(lǐng)域打開(kāi)一個(gè)新篇章。

近日，F(xiàn)acebook 宣布了一項(xiàng)重要新工作：他們提出的自監(jiān)督 AI 模型 SEER 能夠在沒(méi)有人類(lèi)手動(dòng)標(biāo)注的情況下，從 10 億張來(lái)自 Instagram 的隨機(jī)圖片中學(xué)習(xí)識(shí)別和分類(lèi)照片中的主要對(duì)象。最終，該模型在 ImageNet 上的 top-1 準(zhǔn)確率達(dá)到 84.2%，比現(xiàn)有的 SOTA 自監(jiān)督模型高出一個(gè)百分點(diǎn)。

對(duì)此，F(xiàn)acebook AI 首席科學(xué)家、圖靈獎(jiǎng)得主 Yann Lecun 發(fā)推表示祝賀，并將顯著結(jié)果進(jìn)行了展示：

在大家的認(rèn)知里，大多數(shù)計(jì)算機(jī)視覺(jué)模型都是從標(biāo)記的數(shù)據(jù)集中學(xué)習(xí)。與此不同的是，F(xiàn)acebook 的模型則是通過(guò)暴露數(shù)據(jù)各部分之間的關(guān)系從數(shù)據(jù)中生成標(biāo)簽。

這一步被認(rèn)為對(duì)有朝一日實(shí)現(xiàn)人類(lèi)級(jí)的機(jī)器智能至關(guān)重要。

研究人員認(rèn)為，AI 的未來(lái)在于做出一種自動(dòng)化系統(tǒng)：其可以從任何給定的信息中進(jìn)行推斷，而不依賴于標(biāo)注的數(shù)據(jù)集。給定一份文本、圖像或其他類(lèi)型的數(shù)據(jù)，AI 系統(tǒng)最好能夠識(shí)別照片中的物體、讀懂文本，或執(zhí)行要求它完成的其他無(wú)數(shù)任務(wù)中的任何一項(xiàng)。

Facebook 聲稱(chēng)，他們已經(jīng)朝著這一目標(biāo)邁出了一步，推出了一種名為 SEER 的計(jì)算機(jī)視覺(jué)模型。SEER 是 SElf-supERvised 的縮寫(xiě)，包含 13 億個(gè)參數(shù)，可以從互聯(lián)網(wǎng)上的任何一組隨機(jī)圖像中學(xué)習(xí)，而不需要標(biāo)記數(shù)據(jù)。

論文地址：https://arxiv.org/pdf/2103.01988.pdf?fbclid=IwAR3sRgn_9uiOc_yZFROfEfyXylMZX5-C-yTDN_QRggHev9ai2snQkemh81w

SEER有何創(chuàng)新之處？

參數(shù)一直是機(jī)器學(xué)習(xí)系統(tǒng)的基本組成部分，是從歷史訓(xùn)練數(shù)據(jù)中得到的模型的一部分。AI 的未來(lái)在于是否能夠不依賴于帶注釋的數(shù)據(jù)集，從給定的信息中進(jìn)行推理。

視覺(jué)自監(jiān)督是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。對(duì)于文本來(lái)說(shuō)，語(yǔ)義概念可以分解為離散的詞，自監(jiān)督學(xué)習(xí)在自然語(yǔ)言處理中已經(jīng)取得突破，在數(shù)量越來(lái)越多的未標(biāo)記文本上訓(xùn)練算法已使諸如問(wèn)答、機(jī)器翻譯、自然語(yǔ)言推理等應(yīng)用程序取得了進(jìn)展。

但是對(duì)于圖像，計(jì)算機(jī)視覺(jué)尚未完全進(jìn)入自監(jiān)督的學(xué)習(xí)，在現(xiàn)有的技術(shù)中心，模型必須決定哪個(gè)像素屬于哪個(gè)概念。因此，要抓住圍繞一個(gè)概念的變化，就需要查看大量不同的圖像。

正如 Facebook AI Research 的軟件工程師 Priya Gopal 所解釋的那樣，SEER 是該領(lǐng)域的首創(chuàng)。與現(xiàn)有的在 ImageNet 數(shù)據(jù)集上訓(xùn)練的計(jì)算機(jī)視覺(jué)的自監(jiān)督模型相比，SEER 是第一個(gè)可以隨機(jī)訓(xùn)練互聯(lián)網(wǎng)上圖像上的完全自監(jiān)督的計(jì)算機(jī)視覺(jué)模型。

研究人員通過(guò) Instagram 公開(kāi)的 10 億張圖片進(jìn)行模型訓(xùn)練。

經(jīng)過(guò)研究，F(xiàn)acebook 的研究人員發(fā)現(xiàn)，擴(kuò)展 AI 系統(tǒng)以處理復(fù)雜圖像數(shù)據(jù)至少需要兩個(gè)核心部分：

第一為算法，其需要從大量的隨機(jī)圖像中學(xué)習(xí)，而不需要任何元數(shù)據(jù)或注釋?zhuān)?/span>
第二為卷積網(wǎng)絡(luò)，ConvNet——模型需要足夠大，可以從數(shù)據(jù)中捕捉和學(xué)習(xí)每一個(gè)視覺(jué)概念。

卷積網(wǎng)絡(luò)最早是在 20 世紀(jì) 80 年代被提出的，它的靈感來(lái)自于生物過(guò)程，即模型各部分之間的連接模式類(lèi)似于視覺(jué)皮層。

在開(kāi)發(fā) SEER 的過(guò)程中，F(xiàn)acebook 采用了一種稱(chēng)為 SwAV 的算法。SwAV 使用了一種聚類(lèi)技術(shù)，可以快速地對(duì)來(lái)自相似視覺(jué)概念的圖像進(jìn)行分組，并利用它們的相似性，與以前最先進(jìn)的自監(jiān)督學(xué)習(xí)相比有了改進(jìn)，同時(shí)所需的訓(xùn)練時(shí)間縮短為原來(lái)的1/6。

SEER 模型架構(gòu)的簡(jiǎn)化示意圖。圖源：Facebook

PriyaGoyal 介紹說(shuō)，為了訓(xùn)練 SEER，F(xiàn)acebook 的團(tuán)隊(duì)使用了具有 32GB RAM 的 512 塊英偉達(dá) V100 GPU，耗時(shí) 30 天完成。

訓(xùn)練 SEER，還需要 VISSL 通用庫(kù)，它一種基于 PyTorch 的全能庫(kù)，用于自監(jiān)督學(xué)習(xí)，該庫(kù)是開(kāi)源的。VISSL 通過(guò)整合現(xiàn)有的幾種算法，減少了對(duì)每個(gè) GPU 的內(nèi)存需要，提高了任意一個(gè)給定模型的訓(xùn)練速度，促進(jìn)了大規(guī)模的自監(jiān)督學(xué)習(xí)。

項(xiàng)目地址：https://github.com/facebookresearch/vissl

性能評(píng)價(jià)及未來(lái)工作

Facebook 的研究人員使用 ImageNet 數(shù)據(jù)集作評(píng)估 SEER 性能的基準(zhǔn)，他們發(fā)現(xiàn)自監(jiān)督模型在諸如物體檢測(cè)、分割和圖像分類(lèi)等任務(wù)上優(yōu)于最新的自監(jiān)督 AI 系統(tǒng)。結(jié)果表明，SEER 在對(duì) 10 億張 Instagram 公共圖片進(jìn)行預(yù)訓(xùn)練后，性能優(yōu)于現(xiàn)有的 SOTA 自監(jiān)督系統(tǒng)。

當(dāng)使用 ImageNet 數(shù)據(jù)集中 10% 的數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，SEER 仍然達(dá)到 77.9% 的準(zhǔn)確率。當(dāng)只使用 ImageNet 數(shù)據(jù)集中 1% 的數(shù)據(jù)訓(xùn)練時(shí)，SEER 的準(zhǔn)確率為 60.5%。

這一結(jié)果表明，研究人員不需要像 ImageNet 這樣的高度精選的數(shù)據(jù)集，對(duì)隨機(jī)圖像的自監(jiān)督學(xué)習(xí)就可以產(chǎn)生非常高質(zhì)量的模型。

當(dāng)被問(wèn)及 Instagram 用戶是否知道自己的照片被用來(lái)訓(xùn)練 SEER，或有機(jī)會(huì)選擇退出研究時(shí)，Goyal 表示說(shuō)，F(xiàn)acebook 在其數(shù)據(jù)政策中告知 Instagram 賬戶持有人，他們上傳的照片可能會(huì)被用來(lái)進(jìn)行研究，同時(shí)包括 SEER。

同時(shí)這也意味著，F(xiàn)acebook 沒(méi)有計(jì)劃分享圖像數(shù)據(jù)集或 SEER 模型本身。

Facebook 在博客中寫(xiě)道：自監(jiān)督學(xué)習(xí)一直是 Facebook AI 關(guān)注的焦點(diǎn)，因?yàn)樗箼C(jī)器能夠直接從大量可用的信息中學(xué)習(xí)，而不僅僅是從專(zhuān)門(mén)為 AI 研究創(chuàng)建的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)。

自監(jiān)督學(xué)習(xí)對(duì)計(jì)算機(jī)視覺(jué)的未來(lái)有著難以置信的影響，就像它在其他研究領(lǐng)域中的那樣。

消除對(duì)人類(lèi)注釋和元數(shù)據(jù)的需求，可以使計(jì)算機(jī)視覺(jué)模型能夠處理更大、更多樣化的數(shù)據(jù)集，從隨機(jī)的公共圖像中學(xué)習(xí)，并可能減輕數(shù)據(jù)管理中的一些偏見(jiàn)。

自監(jiān)督學(xué)習(xí)還可以幫助我們?cè)趫D像或元數(shù)據(jù)有限的領(lǐng)域（如醫(yī)學(xué)成像）進(jìn)行專(zhuān)門(mén)研究。而且，無(wú)需預(yù)先進(jìn)行標(biāo)記，就可以更快地創(chuàng)建和部署模型，從而能夠更快、更準(zhǔn)確地響應(yīng)快速變化的情況。

參考鏈接：

https://ai.facebook.com/blog/seer-the-start-of-a-more-powerful-flexible-and-accessible-era-for-computer-vision/

https://venturebeat.com/2021/03/04/facebooks-new-computer-vision-model-achieves-state-of-the-art-performance-by-learning-from-random-images/


推薦閱讀
國(guó)產(chǎn)小眾瀏覽器因屏蔽視頻廣告，被索賠100萬(wàn)（后續(xù)）
年輕人“不講武德”：因看黃片上癮，把網(wǎng)站和786名女主播起訴了
中國(guó)聯(lián)通官網(wǎng)被發(fā)現(xiàn)含木馬腳本，可向用戶推廣色情APP
張一鳴：每個(gè)逆襲的年輕人，都具備的底層能力

關(guān)于程序員大白

程序員大白是一群哈工大，東北大學(xué)，西湖大學(xué)和上海交通大學(xué)的碩士博士運(yùn)營(yíng)維護(hù)的號(hào)，大家樂(lè)于分享高質(zhì)量文章，喜歡總結(jié)知識(shí)，歡迎關(guān)注[程序員大白]，大家一起學(xué)習(xí)進(jìn)步！

CV領(lǐng)域中的Bert，了解一下？

CV領(lǐng)域中的Bert，了解一下？