大數(shù)據(jù)文摘出品

作者：Christopher Dossman

編譯：Olivia、Joey、云舟

嗚啦啦啦啦啦啦啦大家好，本周的AI Scholar Weekly欄目又和大家見面啦！
AI ScholarWeekly是AI領(lǐng)域的學(xué)術(shù)專欄，致力于為你帶來最新潮、最全面、最深度的AI學(xué)術(shù)概覽，一網(wǎng)打盡每周AI學(xué)術(shù)的前沿資訊。
每周更新，做AI科研，每周從這一篇開始就夠啦！

本周關(guān)鍵詞：機(jī)器人、GAN、DNN

本周最佳學(xué)術(shù)研究

生成對抗網(wǎng)絡(luò)（GAN）的數(shù)學(xué)原理介紹

你是否一直想了解生成對抗網(wǎng)絡(luò)（GAN）背后的數(shù)學(xué)原理呢？

自Ian Goodfellow開創(chuàng)性地提出GAN以來，這個網(wǎng)絡(luò)框架受到了相當(dāng)多的關(guān)注。研究人員和工程師深入研究了理論概念并研發(fā)出了許多與GAN相關(guān)的新觀點(diǎn)，新技術(shù)和新應(yīng)用。如此多的科研成果令Yann LeCun都認(rèn)為，“GAN和它層出不窮的諸多變體是機(jī)器學(xué)習(xí)領(lǐng)域過去10年中最有趣的想法。”

本文試圖從數(shù)學(xué)的角度為GAN的初學(xué)者提供入門知識。誠然，理解GAN絕不僅僅是理解其數(shù)學(xué)原理這么簡單，還需要充分理解它的算法和應(yīng)用等。盡管如此，研究者仍認(rèn)為理解數(shù)學(xué)原理對于理解GAN是至關(guān)重要的。因?yàn)樵诖嘶A(chǔ)上，掌握GAN的其他方面將更加容易。

原文：

https://arxiv.org/abs/2009.00169v1

一個發(fā)展型機(jī)器人的模擬環(huán)境

盡管針對特定應(yīng)用的發(fā)展型機(jī)器人模型已經(jīng)有了許多令人印象深刻的新進(jìn)展，但是能夠像人類一樣學(xué)習(xí)和執(zhí)行多任務(wù)的模型仍非常缺乏。換言之，我們有必要為類似于人類學(xué)習(xí)環(huán)境的模型提供更多樣化的體驗(yàn)。

在這項(xiàng)工作中，研究人員提供了一種用于發(fā)展型機(jī)器人的模擬環(huán)境SEDRo，該環(huán)境仍在開發(fā)中。SEDRo提供了從胎兒到12個月大的人類的體驗(yàn)。根據(jù)研究，一系列基于發(fā)展心理學(xué)的模擬測試將用于評估學(xué)習(xí)模型的進(jìn)展。

研究人員稱，SEDRo可以在進(jìn)行實(shí)體機(jī)器人實(shí)驗(yàn)之前測試認(rèn)知架構(gòu)，從而減少了用于昂貴的實(shí)體機(jī)器人實(shí)驗(yàn)的候選架構(gòu)數(shù)量。因此，他們期望SEDRo能夠降低入門成本，并促進(jìn)發(fā)展型機(jī)器人領(lǐng)域的研究。

原文：

https://arxiv.org/pdf/2009.01810v1.pdf

關(guān)于加快深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推斷的研究

深度神經(jīng)網(wǎng)絡(luò)（DNN）越來越多地被用于許多應(yīng)用領(lǐng)域來提供最先進(jìn)的結(jié)果。然而，盡管它們越來越重要，但它們對計算和內(nèi)存的要求卻也非常高。這在客觀上導(dǎo)致了科研人員們從應(yīng)用系統(tǒng)到底層硬件去全流程地優(yōu)化DNN，過程中涉及到了很多復(fù)雜技術(shù)。

在本文中，研究人員介紹了一種利用稀疏性來加速DNN訓(xùn)練和推斷的硬件技術(shù)TensorDash。鑒于訓(xùn)練的重要性，它面臨的用于加速軟件或硬件的工作量非常大且不斷增加。

TensorDash將是低成本且稀疏的，它將每乘數(shù)八個多路復(fù)用器輸入的輸入操作數(shù)互聯(lián)結(jié)構(gòu)與區(qū)域高效的硬件調(diào)度器結(jié)合在一起。在評估方面，TensorDash在將訓(xùn)練過程加快了1.95倍的同時將能源效率提高了1.89倍，而且在考慮到片上和片外存儲器訪問時將能源效率提高了1.6倍。

原文：

https://arxiv.org/abs/2009.00748v1

使用RangeRCNN實(shí)現(xiàn)快速、準(zhǔn)確的3D對象檢測

3D數(shù)據(jù)對于自動駕駛等多種應(yīng)用極為重要。但是，由于點(diǎn)云不規(guī)則且稀疏，因此3D對象檢測仍然是一個極具挑戰(zhàn)性的任務(wù)——這需要對3D點(diǎn)云進(jìn)行強(qiáng)有力且合適的研究。

為此，近期的一項(xiàng)新研究探索了距離圖像表示的潛力，并引入了一個新的框架：RangeRCNN，用于快速、準(zhǔn)確的3D對象檢測。

廣泛的評估表明，RangeRCNN在KITTI 3D對象檢測數(shù)據(jù)集上達(dá)到了最先進(jìn)的性能。研究人員證明，基于距離圖像的識別方法可以在KITTI數(shù)據(jù)集上有效，這也為實(shí)時3D對象檢測提供了更多可能性

閱讀更多：

https://arxiv.org/abs/2009.00206v1

能實(shí)現(xiàn)關(guān)鍵字檢索的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本文實(shí)現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)了搜索功能，該模型可以基于從聲音信號中提取的特征來幫助提高關(guān)鍵字識別性能，同時保持可接受的內(nèi)存占用。

具體而言，研究人員使用可區(qū)分的體系結(jié)構(gòu)搜索技術(shù)在預(yù)定義的單元格搜索空間中搜索操作員及其連接。然后將找到的單元在深度和寬度上按比例放大以實(shí)現(xiàn)高性能。測試結(jié)果表明，該方法在Google的語音命令數(shù)據(jù)集上表現(xiàn)不錯，并且在文獻(xiàn)中通常報告的12類話語分類設(shè)置上達(dá)到了97％的最新精度。

但是，該方法的計算量大，需要數(shù)百個GPU，并且無法將模型轉(zhuǎn)移到大型數(shù)據(jù)集。另外，本文的作者設(shè)計了一個NASNet搜索空間來搜索最佳的卷積層，并堆疊此單元的副本，以形成NASNet體系結(jié)構(gòu)。盡管NASNet訓(xùn)練得更快，并且可以推廣到更龐大的數(shù)據(jù)集，但是使用500個GPU進(jìn)行整個搜索過程仍需花費(fèi)四天的時間，讓人不禁問：這真的是值得一試的東西嗎？

閱讀全文：

https://arxiv.org/abs/2009.00165v2

其他爆款論文

新的研究發(fā)現(xiàn)，通過重新訓(xùn)練進(jìn)行變換量化能夠?qū)NN模型（例如AlexNet，ResNet和DenseNet）壓縮到非常低的比特率（1-2位）：

https://arxiv.org/abs/2009.01174v1

在官方的KITTI排行榜中，這一新方法在所有基于融合的方法中排名最高：

https://arxiv.org/abs/2009.00784v1

?

用于線下生成樣式手寫文本的GAN：

https://arxiv.org/abs/2009.00678v1

3D面部深度恢復(fù)GAN：

https://arxiv.org/abs/2009.00938v1

深度學(xué)習(xí)運(yùn)動捕捉入門——原理、陷阱和觀點(diǎn)：

https://arxiv.org/abs/2009.00564v2

學(xué)習(xí)資源

自適應(yīng)深度學(xué)習(xí)訓(xùn)練和計劃框架的開源資源——AdaptDL：

https://petuum.com/2020/09/02/introducing-adaptdl

AI大事件

確切數(shù)據(jù)顯示，對人工智能工作的興趣真的在激增：

https://economictimes.indiatimes.com/jobs/artificial-intelligence-jobs-see-a-spike-in-interest-says-indeed-data/articleshow/77926043.cms?from=mdr

專欄作者介紹

Christopher Dossman是Wonder Technologies的首席數(shù)據(jù)科學(xué)家，在北京生活5年。他是深度學(xué)習(xí)系統(tǒng)部署方面的專家，在開發(fā)新的AI產(chǎn)品方面擁有豐富的經(jīng)驗(yàn)。除了卓越的工程經(jīng)驗(yàn)，他還教授了1000名學(xué)生了解深度學(xué)習(xí)基礎(chǔ)。

LinkedIn：

https：//www.linkedin.com/in/christopherdossman/

志愿者介紹

后臺回復(fù)“志愿者”加入我們