97午夜福利,亚洲免费在线观看视频,男女操逼在线免费观看,中午字幕在线观看,99热这里只有精品首页,蜜桃传媒91,无码一区二区三区四区五区六区七区 ,极品毛片

??新智元報(bào)道??

來源：GoogleAI Blog

編輯：QJP、小勻

【新智元導(dǎo)讀】2021年已經(jīng)度過十余天，谷歌Jeff Dean也在醞釀后在Google AI Blog發(fā)表了一篇萬字長文，回顧了谷歌AI2020年的發(fā)展與成就，同時(shí)，也展望了接下來的工作重點(diǎn)。本文較長，分兩部分編譯，原文在文末鏈接查看。

本文接上期精彩：Jeaf Dean萬字長文回顧2020谷歌技術(shù)發(fā)展（上）

機(jī)器學(xué)習(xí)算法

谷歌仍向無監(jiān)督學(xué)習(xí)方向大力發(fā)展，例如2020年開發(fā)的SimCLR，推進(jìn)自監(jiān)督和半監(jiān)督學(xué)習(xí)技術(shù)。

使用不同的自監(jiān)督方法（在ImageNet上預(yù)訓(xùn)練）學(xué)習(xí)的表示形式，對(duì)ImageClass的分類器進(jìn)行ImageNet top-1準(zhǔn)確性訓(xùn)練?；疑直硎臼鼙O(jiān)管的ResNet-50。

強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)通過學(xué)習(xí)其他主體以及改進(jìn)探索，谷歌已經(jīng)提高了RL算法的效率。

他們今年的主要重點(diǎn)是離線RL，它僅依賴于固定的，先前收集的數(shù)據(jù)集（例如先前的實(shí)驗(yàn)或人類演示），從而將RL擴(kuò)展到了無法即時(shí)收集訓(xùn)練數(shù)據(jù)的應(yīng)用程序中。研究人員為RL引入了對(duì)偶方法，開發(fā)了改進(jìn)的算法以用于非策略評(píng)估，此外，他們正在與更廣泛的社區(qū)合作，通過發(fā)布開源基準(zhǔn)測試數(shù)據(jù)集和Atari的DQN數(shù)據(jù)集來解決這些問題。

使用DQN重播數(shù)據(jù)集的Atari游戲的離線RL

另一個(gè)研究方向是通過學(xué)徒制學(xué)習(xí)（apprenticeship learning），向其他代理學(xué)習(xí)，從而提高了樣本效率。

需要注意的是，將RL擴(kuò)展到復(fù)雜的實(shí)際問題來說是一個(gè)重要的挑戰(zhàn)。

概述我們的方法并說明AttentionAgent中的數(shù)據(jù)處理流程。頂部：輸入轉(zhuǎn)換 - 一個(gè)滑動(dòng)窗口將輸入圖像分割成更小的補(bǔ)丁，然后將它們 "扁平化"，以便將來處理。中間。補(bǔ)丁選舉 - 修改后的自我注意力模塊在補(bǔ)丁之間進(jìn)行投票，以生成補(bǔ)丁重要性向量。底部：動(dòng)作生成--AttentionAgent在補(bǔ)丁之間進(jìn)行投票，生成補(bǔ)丁的重要性向量。行動(dòng)生成--AttentionAgent選擇重要性最高的補(bǔ)丁，提取相應(yīng)的特征，并基于這些特征做出決策。

AutoML

毫無疑問，這是一個(gè)非?；钴S和令人興奮的研究領(lǐng)域。

我在AutoML-Zero中：不斷學(xué)習(xí)的代碼，我們采用了另一種方法，即為演化算法提供一個(gè)由非常原始的運(yùn)算（例如加法，減法，變量賦值和矩陣乘法）組成的搜索空間，以查看是否有可能從頭開始發(fā)展現(xiàn)代ML算法。

但是，有用的算法實(shí)在太少了。如下圖所示，該系統(tǒng)重塑了過去30年中許多最重要的ML發(fā)現(xiàn)，例如線性模型，梯度下降，校正線性單位，有效的學(xué)習(xí)率設(shè)置和權(quán)重初始化以及梯度歸一化。

更好地理解ML算法和模型

隨著神經(jīng)網(wǎng)絡(luò)被做得更寬更深，它們往往訓(xùn)練得更快，泛化得更好。這是深度學(xué)習(xí)中的一個(gè)核心奧秘，因?yàn)榻?jīng)典學(xué)習(xí)理論表明，大型網(wǎng)絡(luò)應(yīng)該超配更多。

在無限寬的限制下，神經(jīng)網(wǎng)絡(luò)呈現(xiàn)出驚人的簡單形式，并由神經(jīng)網(wǎng)絡(luò)高斯過程（NNGP）或神經(jīng)切線核（NTK）來描述。谷歌研究人員從理論和實(shí)驗(yàn)上研究了這一現(xiàn)象，并發(fā)布了Neural Tangents，這是一個(gè)用JAX編寫的開源軟件庫，允許研究人員構(gòu)建和訓(xùn)練無限寬度的神經(jīng)網(wǎng)絡(luò)。

左：該示意圖顯示了深層神經(jīng)網(wǎng)絡(luò)如何隨著簡單的輸入/輸出圖變得無限寬而引發(fā)它們。右圖：隨著神經(jīng)網(wǎng)絡(luò)寬度的增加，我們看到在網(wǎng)絡(luò)的不同隨機(jī)實(shí)例上的輸出分布變?yōu)楦咚狗植肌?/span>

機(jī)器感知

對(duì)我們周圍世界的感知--對(duì)視覺、聽覺和多模態(tài)輸入的理解、建模和行動(dòng)--仍然是一個(gè)具有巨大潛力的研究領(lǐng)域，對(duì)我們的日常生活大有裨益。

2020年，深度學(xué)習(xí)使3D計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)更緊密地結(jié)合在一起。CvxNet、3D形狀的深度隱含函數(shù)、神經(jīng)體素渲染和CoReNet是這個(gè)方向的幾個(gè)例子。此外，他們關(guān)于將場景表示為神經(jīng)輻射場的研究（又名NeRF，也可參見本篇博文）是一個(gè)很好的例子，說明Google Research的學(xué)術(shù)合作如何刺激神經(jīng)體量渲染領(lǐng)域的快速進(jìn)展。

在與加州大學(xué)伯克利分校合作的《學(xué)習(xí)因素化和重新點(diǎn)亮城市》中，谷歌提出了一個(gè)基于學(xué)習(xí)的框架，用于將戶外場景分解為時(shí)空變化的照明和永久場景因素。這能為任何街景全景改變照明效果和場景幾何，甚至將其變成全天的延時(shí)視頻。

2020年，他們還使用神經(jīng)網(wǎng)絡(luò)進(jìn)行媒體壓縮的領(lǐng)域不斷擴(kuò)大，不僅在學(xué)習(xí)的圖像壓縮方面，而且在視頻壓縮的深層方法，體壓縮以及深不可知的圖像水印方面都取得了不錯(cuò)的成績。

第一行：沒有嵌入消息的封面圖像。第二行：來自HiDDeN組合失真模型的編碼圖像。第三行：來自我們模型的編碼圖像。第四行：HiDDeN組合模型的編碼圖像和封面圖像的歸一化差異。第五行：模型的歸一化差異

通過開源解決方案和數(shù)據(jù)集與更廣泛的研究社區(qū)進(jìn)行互動(dòng)是另一個(gè)重要方面。2020年，谷歌在MediaPipe中開源了多種新的感知推理功能和解決方案，例如設(shè)備上的面部，手和姿勢預(yù)測，實(shí)時(shí)身體姿勢跟蹤，實(shí)時(shí)虹膜跟蹤和深度估計(jì)以及實(shí)時(shí)3D對(duì)象檢測。

最后，展望這一年，我特別熱衷于構(gòu)建更多通用機(jī)器學(xué)習(xí)模型的可能性，這些模型可以處理各種模式，并且可以通過很少的培訓(xùn)示例來自動(dòng)學(xué)習(xí)完成新任務(wù)。該領(lǐng)域的進(jìn)步將為人們提供功能更強(qiáng)大的產(chǎn)品，為全世界數(shù)十億人帶來更好的翻譯，語音識(shí)別，語言理解和創(chuàng)作工具。?這種探索和影響使我們對(duì)工作感到興奮！

參考鏈接：

https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html

Jeaf Dean萬字長文回顧2020谷歌技術(shù)發(fā)展（下）

??新智元報(bào)道??