嗚啦啦啦啦啦啦啦大家好，本周的AI Scholar Weekly欄目又和大家見面啦！AI ScholarWeekly是AI領(lǐng)域的學(xué)術(shù)專欄，致力于為你帶來最新潮、最全面、最深度的AI學(xué)術(shù)概覽，一網(wǎng)打盡每周AI學(xué)術(shù)的前沿資訊。本周關(guān)鍵詞：遷移學(xué)習(xí)、Deepfake、聯(lián)合學(xué)習(xí)Google AI：用于AI模型透明化的Model Card ToolkitGoogle最近發(fā)布了Model Card Toolkit（MCT），該工具包旨在為開發(fā)人員、監(jiān)管人員和下游用戶提供透明化的AI模型。Google表示，模型透明度在影響人們生活的各個(gè)領(lǐng)域（從醫(yī)療保健到個(gè)人理財(cái)再到就業(yè)）都發(fā)揮著重要作用。Google過去公開發(fā)布了Model Cards來公開特定的模型架構(gòu)，并為一些用例深入分析了有助于確保其最佳性能的因素。MCT基于Google的Model Cards框架來報(bào)告模型的來源、使用情況和評(píng)估結(jié)果，并旨在通過收集必要信息和協(xié)助用戶創(chuàng)建界面，來為第三方創(chuàng)建Model Cards帶來便利。Google正在共享MCT以簡化所有ML從業(yè)人員Model Cards的創(chuàng)建過程。https://github.com/tensorflow/model-card-toolkit；
https://github.com/tensorflow/model-card-toolkit/blob/master/model_card_toolkit/documentation/examples/MLMD_Model_Card_Toolkit_Demo.ipynb.https://ai.googleblog.com/2020/07/introducing-model-card-toolkit-for.html內(nèi)存有效的終端設(shè)備學(xué)習(xí)這項(xiàng)工作提出了一種微小遷移學(xué)習(xí)方法（Tiny-Transfer-Learning（TinyTL））以實(shí)現(xiàn)內(nèi)存有效的終端設(shè)備學(xué)習(xí)，旨在使預(yù)訓(xùn)練的模型在邊緣設(shè)備新收集的數(shù)據(jù)上表現(xiàn)良好。現(xiàn)有遷移學(xué)習(xí)方法固定了架構(gòu)，基本上是通過細(xì)微調(diào)整權(quán)重以適合不同的目標(biāo)數(shù)據(jù)集。不同的是，TinyTL固定了權(quán)重，通過調(diào)整特征提取器的架構(gòu)并學(xué)習(xí)內(nèi)存有效的精簡殘差模塊和偏差，來適應(yīng)不同的目標(biāo)數(shù)據(jù)集 。因此，TinyTL不需要存儲(chǔ)中間激活值，而這正是終端設(shè)備學(xué)習(xí)的主要存儲(chǔ)瓶頸。在基準(zhǔn)遷移學(xué)習(xí)數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)一致表明了TinyTL的有效性和存儲(chǔ)效率，這為高效的終端設(shè)備機(jī)器學(xué)習(xí)鋪平了道路。https://arxiv.org/abs/2007.11622v2用于Deepfakes創(chuàng)建和檢測的深度學(xué)習(xí)方法Deepfake算法能偽造圖像和視頻而生成大量虛假內(nèi)容，人眼無法將它們與真實(shí)的圖像和視頻區(qū)分開來，因此開發(fā)能夠自動(dòng)檢測和評(píng)估數(shù)字視覺媒體真實(shí)性的算法至關(guān)重要。本文對(duì)deepfakes的創(chuàng)建算法和最新文獻(xiàn)中更為重要的deepfakes的檢測方法進(jìn)行了調(diào)查。研究人員針對(duì)挑戰(zhàn)、研究趨勢(shì)以及深層偽造技術(shù)的發(fā)展方向進(jìn)行了詳細(xì)討論，可以為你在這個(gè)領(lǐng)域的工作和研究提供幫助。通過回顧deepfakes的背景和最新的檢測方法，本文提供了對(duì)該技術(shù)的全面概述并促進(jìn)了新的更穩(wěn)健的方法的開發(fā)，來應(yīng)對(duì)日益嚴(yán)峻的偽造現(xiàn)象。https://arxiv.org/abs/1909.11573v2語音編碼器表征的自我監(jiān)督學(xué)習(xí)自我監(jiān)督學(xué)習(xí)作為一種學(xué)習(xí)大量未標(biāo)記數(shù)據(jù)中知識(shí)的有效方法，近年來發(fā)展迅速。但是，最近的方法經(jīng)常通過制定單個(gè)輔助任務(wù)來學(xué)習(xí)，例如對(duì)比預(yù)測\自回歸預(yù)測或蒙版重建。在本文中，一組研究人員提出了一種自我監(jiān)督的語音預(yù)訓(xùn)練方法，稱為“變形編碼器表征法”（TERA）。與以前的技術(shù)不同，TERA使用多目標(biāo)輔助任務(wù)對(duì)大量未標(biāo)記的語音進(jìn)行變壓器編碼器的預(yù)訓(xùn)練。該模型通過從變化后的副本中重建聲幀來學(xué)習(xí)，研究人員在其中使用隨機(jī)策略沿三個(gè)維度進(jìn)行變化：時(shí)間，通道和幅度。TERA可用于提取語音表示或與下游模型（包括音素分類，說話者識(shí)別和語音識(shí)別）進(jìn)行微調(diào)。TERA通過改善表面特征的方法在這些任務(wù)上實(shí)現(xiàn)了強(qiáng)大的性能。此外，研究人員表明，這一新方法可以輕松地轉(zhuǎn)移到未在預(yù)訓(xùn)練中使用的另一個(gè)數(shù)據(jù)集。https://arxiv.org/abs/2007.06028v2友好的聯(lián)合學(xué)習(xí)研究框架本文提出了一個(gè)名為Flower的新的聯(lián)合學(xué)習(xí)（FL）框架，該框架支持在移動(dòng)和無線設(shè)備上實(shí)施FL模型的實(shí)現(xiàn)和試驗(yàn)。FL（也稱為協(xié)作學(xué)習(xí)）是一種機(jī)器學(xué)習(xí)（ML）技術(shù)，可跨多個(gè)分散的邊緣設(shè)備或保存本地?cái)?shù)據(jù)樣本的服務(wù)器訓(xùn)練算法。FL專為應(yīng)用于移動(dòng)設(shè)備以及連接這些設(shè)備的無線鏈接而設(shè)計(jì)。該研究描述了Flower的設(shè)計(jì)原理和實(shí)現(xiàn)細(xì)節(jié)，以及將其與基于云的移動(dòng)客戶端集成的幾個(gè)示例。研究人員認(rèn)為，這將是FL移動(dòng)應(yīng)用中真正改變者。Flower通過Apache 2.0 License2的開放源代碼，希望它能幫助研究社區(qū)快速試驗(yàn)以FL為重點(diǎn)的研究問題，并且社區(qū)成員將進(jìn)一步擴(kuò)展框架以支持新的通信協(xié)議和移動(dòng)客戶端。https://arxiv.org/abs/2007.14390v1Google推出了ScaNN開源軟件，可進(jìn)行有效的矢量相似度搜索：https://github.com/google-research/google-research/tree/master/scann致力于改善現(xiàn)有的CNN，高效的深度CNN Dropout：https://arxiv.org/pdf/1904.03392v5.pdf一種新穎的樣式轉(zhuǎn)移算法，可從特征中完全提取特征：https://arxiv.org/abs/2007.13010v1逼真的室內(nèi)場景數(shù)據(jù)集的端到端開放框架：OpenRooms：https://arxiv.org/pdf/2007.12868v1.pdf與MIT和Microsoft的專家一起探索數(shù)據(jù)可視化，并獲得機(jī)器學(xué)習(xí)入門課程：https://www.edx.org/course/data-science-essentials哈佛的免費(fèi)數(shù)據(jù)科學(xué)課程：講座、視頻、實(shí)驗(yàn)課：http://cs109.github.io/2015/pages/videos.html微軟表示，我們正在從Facebook手中接管Windows 10 PyTorch AI庫：https://www.zdnet.com/article/microsoft-were-taking-over-windows-10-pytorch-ai-library-from-facebook/https://www.c4isrnet.com/artificial-intelligence/2020/07/23/intel-community-releases-framework-for-ethically-using-artificial-intelligence/?utm_campaign=Artificial%2BIntelligence%2BWeekly&utm_medium=email&utm_source=Artificial_Intelligence_Weekly_172Christopher Dossman是Wonder Technologies的首席數(shù)據(jù)科學(xué)家，在北京生活5年。他是深度學(xué)習(xí)系統(tǒng)部署方面的專家，在開發(fā)新的AI產(chǎn)品方面擁有豐富的經(jīng)驗(yàn)。除了卓越的工程經(jīng)驗(yàn)，他還教授了1000名學(xué)生了解深度學(xué)習(xí)基礎(chǔ)。
LinkedIn：
https：//www.linkedin.com/in/christopherdossman/
