成人免费激情视频,啊啊啊啊被操逼了好爽视频免费,大香蕉久热,美女被大鸡吧操视频网站在线播放 ,91成人影院,国产aaa免费视频,不卡不卡不卡不卡不卡国产精品视频,91蜜桃传媒

點擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時間送達

大數(shù)據(jù)文摘出品

來源：datasciencecentral

編譯：Min

我們被困住了，或者說至少我們已經(jīng)停滯不前了。有誰還記得上一次一年沒有在算法、芯片或數(shù)據(jù)處理方面取得重大顯著進展是什么時候？幾周前去參加Strata San Jose會議，卻沒有看到任何吸引眼球的新進展，這太不尋常了。

正如我之前所報告的那樣，似乎我們已經(jīng)進入了成熟期，現(xiàn)在我們的主要工作目標(biāo)是確保我們所有強大的新技術(shù)能夠很好地結(jié)合在一起（融合平臺），或者從那些大規(guī)模的VC投資中賺取相同的錢。

我不是唯一一個注意到這些的人。幾位與會者和參展商都和我說了非常類似的話。而就在前幾天，我收到了一個由知名研究人員組成的團隊的說明，他們一直在評估不同高級分析平臺的相對優(yōu)點，并得出結(jié)論：沒有任何值得報告的差異。

我們?yōu)槭裁春驮谀睦锵萑肜Ь常?/span>

我們現(xiàn)在所處的位置其實并不差。我們過去兩三年的進步都是在深度學(xué)習(xí)和強化學(xué)習(xí)領(lǐng)域。深度學(xué)習(xí)在處理語音、文本、圖像和視頻方面給我們帶來了了不起的能力。再加上強化學(xué)習(xí)，我們在游戲、自主車輛、機器人等方面都有了很大的進步。

我們正處于商業(yè)爆炸的最早階段，基于諸如通過聊天機器人與客戶互動來節(jié)省大量資金、個人助理和Alexa等新的個人便利應(yīng)用、個人汽車中的二級自動化，比如自適應(yīng)巡航控制、事故避免制動和車道維護。

Tensorflow、Keras和其他深度學(xué)習(xí)平臺比以往任何時候都更容易獲得，而且由于GPU的存在，比以往任何時候都更高效。

但是，已知的缺陷清單根本沒有解決：

需要太多標(biāo)簽化的訓(xùn)練數(shù)據(jù)。
模型的訓(xùn)練時間太長或者需要太多昂貴的資源，而且還可能根本無法訓(xùn)練。
超參數(shù)，尤其是圍繞節(jié)點和層的超參數(shù)，仍然是神秘的。自動化甚至是公認(rèn)的經(jīng)驗法則仍然遙不可及。
遷移學(xué)習(xí)，意味著只能從復(fù)雜到簡單，而不是從一個邏輯系統(tǒng)到另一個邏輯系統(tǒng)。

我相信我們可以列一個更長的清單。正是在解決這些主要的缺點方面，我們已經(jīng)陷入了困境。

是什么阻止了我們

在深度神經(jīng)網(wǎng)絡(luò)中，目前的傳統(tǒng)觀點是，只要我們不斷地推動，不斷地投資，那么這些不足就會被克服。例如，從80年代到00年代，我們知道如何讓深度神經(jīng)網(wǎng)絡(luò)工作，只是我們沒有硬件。一旦趕上了，那么深度神經(jīng)網(wǎng)絡(luò)結(jié)合新的開源精神，就會打開這個新的領(lǐng)域。

所有類型的研究都有自己的動力。特別是一旦你在一個特定的方向上投入了大量的時間和金錢，你就會一直朝著這個方向前進。如果你已經(jīng)投入了多年的時間來發(fā)展這些技能的專業(yè)知識，你就不會傾向于跳槽。

改變方向，即使你不完全確定應(yīng)該是什么方向。

有時候我們需要改變方向，即使我們不知道這個新方向到底是什么。最近，領(lǐng)先的加拿大和美國AI研究人員做到了這一點。他們認(rèn)為他們被誤導(dǎo)了，需要從本質(zhì)上重新開始。

這一見解在去年秋天被Geoffrey Hinton口頭表達出來，他在80年代末啟動神經(jīng)網(wǎng)絡(luò)主旨研究的過程中功不可沒。Hinton現(xiàn)在是多倫多大學(xué)的名譽教授，也是谷歌的研究員，他說他現(xiàn)在 "深深地懷疑 "反向傳播，這是DNN的核心方法。觀察到人腦并不需要所有這些標(biāo)簽數(shù)據(jù)來得出結(jié)論，Hinton說 "我的觀點是把這些數(shù)據(jù)全部扔掉，然后重新開始"。

因此，考慮到這一點，這里是一個簡短的調(diào)查，這些新方向介于確定可以實現(xiàn)和幾乎不可能實現(xiàn)之間，但不是我們所知道的深度神經(jīng)網(wǎng)的增量改進。

這些描述有意簡短，無疑會引導(dǎo)你進一步閱讀以充分理解它們。

看起來像DNN卻不是的東西

有一條研究路線與Hinton的反向傳播密切相關(guān)，即認(rèn)為節(jié)點和層的基本結(jié)構(gòu)是有用的，但連接和計算方法需要大幅修改。

我們從Hinton自己目前新的研究方向——CapsNet開始說起是很合適的。這與卷積神經(jīng)網(wǎng)絡(luò)的圖像分類有關(guān)，問題簡單來說，就是卷積神經(jīng)網(wǎng)絡(luò)對物體的姿勢不敏感。也就是說，如果要識別同一個物體，在位置、大小、方向、變形、速度、反射率、色調(diào)、紋理等方面存在差異，那么必須針對這些情況分別添加訓(xùn)練數(shù)據(jù)。

在卷積神經(jīng)網(wǎng)絡(luò)中，通過大量增加訓(xùn)練數(shù)據(jù)和（或）增加最大池化層來處理這個問題，這些層可以泛化，但只是損失實際信息。

下面的描述是眾多優(yōu)秀的CapsNets技術(shù)描述之一，該描述來自Hackernoon。

Capsule是一組嵌套的神經(jīng)層。在普通的神經(jīng)網(wǎng)絡(luò)中，你會不斷地添加更多的層。在CapsNet中，你會在一個單層內(nèi)增加更多的層?；蛘邠Q句話說，把一個神經(jīng)層嵌套在另一個神經(jīng)層里面。capsule里面的神經(jīng)元的狀態(tài)就能捕捉到圖像里面一個實體的上述屬性。一個膠囊輸出一個向量來代表實體的存在。向量的方向代表實體的屬性。該向量被發(fā)送到神經(jīng)網(wǎng)絡(luò)中所有可能的父代。預(yù)測向量是基于自身權(quán)重和權(quán)重矩陣相乘計算的。哪個父代的標(biāo)量預(yù)測向量乘積最大，哪個父代就會增加膠囊的結(jié)合度。其余的父代則降低其結(jié)合度。這種通過協(xié)議的路由方式優(yōu)于目前的max-pooling等機制。

CapsNet極大地減少了所需的訓(xùn)練集，并在早期測試中顯示出卓越的圖像分類性能。

多粒度級聯(lián)森林

2月份，我們介紹了南京大學(xué)新型軟件技術(shù)國家重點實驗室的周志華和馮霽的研究，展示了他們稱之為多粒度級聯(lián)森林的技術(shù)。他們的研究論文顯示，多粒度級聯(lián)森林在文本和圖像分類上都經(jīng)常擊敗卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)。效益相當(dāng)顯著。

只需要訓(xùn)練數(shù)據(jù)的一小部分。
在您的桌面CPU設(shè)備上運行，無需GPU。
訓(xùn)練速度一樣快，在許多情況下甚至更快，適合分布式處理。
超參數(shù)少得多，在默認(rèn)設(shè)置下表現(xiàn)良好。
依靠容易理解的隨機森林，而不是完全不透明的深度神經(jīng)網(wǎng)。

簡而言之，gcForest（多粒度級聯(lián)森林）是一種決策樹集合方法，其中保留了深網(wǎng)的級聯(lián)結(jié)構(gòu)，但不透明的邊緣和節(jié)點神經(jīng)元被隨機森林組與完全隨機的樹林配對取代。在我們的原文中閱讀更多關(guān)于gcForest的內(nèi)容。

Pyro and Edward

Pyro和Edward是兩種新的編程語言，它們?nèi)诤狭松疃葘W(xué)習(xí)框架和概率編程。Pyro是Uber和Google的作品，而Edward則來自哥倫比亞大學(xué)，由DARPA提供資金。其結(jié)果是一個框架，允許深度學(xué)習(xí)系統(tǒng)衡量他們對預(yù)測或決策的信心。

在經(jīng)典的預(yù)測分析中，我們可能會通過使用對數(shù)損失作為健身函數(shù)來處理這個問題，懲罰有信心但錯誤的預(yù)測（假陽性）。到目前為止，還沒有用于深度學(xué)習(xí)的必然結(jié)果。

例如，這有望使用的地方是在自動駕駛汽車或飛機中，允許控制在做出關(guān)鍵或致命的災(zāi)難性決定之前有一些信心或懷疑感。這當(dāng)然是你希望你的自主Uber在你上車之前就知道的事情。

Pyro和Edward都處于開發(fā)的早期階段。

不像深網(wǎng)的方法

我經(jīng)常會遇到一些小公司，他們的平臺核心是非常不尋常的算法。在我追問的大多數(shù)案例中，他們都不愿意提供足夠的細(xì)節(jié)，甚至讓我為你描述里面的情況。這種保密并不能使他們的效用失效，但是在他們提供一些基準(zhǔn)和一些細(xì)節(jié)之前，我無法真正告訴你里面發(fā)生了什么。當(dāng)他們最終揭開面紗的時候，就把這些當(dāng)作我們未來的工作臺吧。

目前，我所調(diào)查的最先進的非DNN算法和平臺是這樣的。

層次時間記憶(HTM)

層次時間記憶（HTM）使用稀疏分布式表示法（SDR）對大腦中的神經(jīng)元進行建模，并進行計算，在標(biāo)量預(yù)測（商品、能源或股票價格等未來值）和異常檢測方面優(yōu)于CNN和RNN。

這是Palm Pilot名宿Jeff Hawkins在其公司Numenta的奉獻作品?；艚鹚乖趯Υ竽X功能進行基礎(chǔ)研究的基礎(chǔ)上，追求的是一種強大的人工智能模型，而不是像DNN那樣用層和節(jié)點來結(jié)構(gòu)。

HTM的特點是，它發(fā)現(xiàn)模式的速度非?？欤恍?,000次觀測。這與訓(xùn)練CNN或RNN所需的幾十萬或幾百萬次的觀測相比，簡直是天壤之別。

此外，模式識別是無監(jiān)督的，并且可以根據(jù)輸入的變化來識別和概括模式的變化。這使得系統(tǒng)不僅訓(xùn)練速度非?？欤揖哂凶詫W(xué)習(xí)、自適應(yīng)性，不會被數(shù)據(jù)變化或噪聲所迷惑。

一些值得注意的漸進式改進

我們開始關(guān)注真正的游戲改變者，但至少有兩個漸進式改進的例子值得一提。這些顯然仍然是經(jīng)典的CNN和RNNs，具有反向支撐的元素，但它們工作得更好。

使用Google Cloud AutoML進行網(wǎng)絡(luò)修剪

谷歌和Nvidia的研究人員使用了一種名為網(wǎng)絡(luò)修剪的過程，通過去除對輸出沒有直接貢獻的神經(jīng)元，讓神經(jīng)網(wǎng)絡(luò)變得更小，運行效率更高。這一進步最近被推出，作為谷歌新的AutoML平臺性能的重大改進。

Transformer

Transformer是一種新穎的方法，最初在語言處理中很有用，比如語言到語言的翻譯，這一直是CNNs、RNNs和LSTMs的領(lǐng)域。去年夏末由谷歌大腦和多倫多大學(xué)的研究人員發(fā)布，它在各種測試中都表現(xiàn)出了顯著的準(zhǔn)確性改進，包括這個英語/德語翻譯測試。

RNNs的順序性使其更難充分利用現(xiàn)代快速計算設(shè)備（如GPU），因為GPU擅長的是并行而非順序處理。CNN比RNN的順序性要差得多，但在CNN架構(gòu)中，隨著距離的增加，將輸入的遠(yuǎn)端部分的信息組合起來所需的步驟數(shù)仍然會增加。

準(zhǔn)確率的突破來自于 "自注意功能 "的開發(fā)，它將步驟大幅減少到一個小的、恒定的步驟數(shù)。在每一個步驟中，它都應(yīng)用了一種自我關(guān)注機制，直接對一句話中所有詞之間的關(guān)系進行建模，而不管它們各自的位置如何。

就像VC說的那樣，也許是時候該換換口味了。

相關(guān)報道：

https://www.datasciencecentral.com/profiles/blogs/what-comes-after-deep-learning

下載1：OpenCV-Contrib擴展模塊中文版教程

在「小白學(xué)視覺」公眾號后臺回復(fù)：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實戰(zhàn)項目52講

在「小白學(xué)視覺」公眾號后臺回復(fù)：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學(xué)校計算機視覺。

下載3：OpenCV實戰(zhàn)項目20講

在「小白學(xué)視覺」公眾號后臺回復(fù)：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學(xué)習(xí)進階。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~

深度學(xué)習(xí)之后會是啥？