无码性爱精品,亚洲色图在线观看视频,三级在线先锋,婷婷国产成人精品视频,www.久久99,日本特黄网站,狠狠狠狠干,123操逼电影网

來源：DeepHub IMBA
本文約1000字，建議閱讀5分鐘
本文提出了一種針對下游任務(wù)的有效神經(jīng)網(wǎng)絡(luò)選擇的新框架。

預(yù)訓(xùn)練大規(guī)模深度神經(jīng)網(wǎng)絡(luò)(NN)，并針對下游任務(wù)進(jìn)行微調(diào)已成為深度學(xué)習(xí)領(lǐng)域的現(xiàn)狀。研究人員面臨的一個挑戰(zhàn)是如何為給定的下游任務(wù)有效地選擇最合適的預(yù)訓(xùn)練模型，因?yàn)檫@個過程通常需要在模型訓(xùn)練中用于性能預(yù)測的昂貴計(jì)算成本。

在新論文 Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics 中，來自 Rensselaer Polytechnic Institute、Thomas J. Watson 研究中心和加州大學(xué)洛杉磯分校的研究小組提出了一種針對下游任務(wù)的有效神經(jīng)網(wǎng)絡(luò)選擇的新框架。該方法利用模型的累積信息來預(yù)測模型的預(yù)測能力，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的早期階段這樣做可以節(jié)省資源。

該團(tuán)隊(duì)總結(jié)了他們的結(jié)論:

將神經(jīng)網(wǎng)絡(luò)訓(xùn)練看作是一個基于突觸連接的動態(tài)系統(tǒng)，并首次從微觀角度研究突觸連接的相互作用。
提出了用于神經(jīng)網(wǎng)絡(luò)模型選擇的神經(jīng)電容度量βeff。
基于5個基準(zhǔn)數(shù)據(jù)集的17個預(yù)訓(xùn)練模型的實(shí)驗(yàn)結(jié)果表明，我們的βeff方法優(yōu)于現(xiàn)有的學(xué)習(xí)曲線預(yù)測方法。
在CIFAR10/CIFAR100/SVHN/Fashion MNIST/Birds上，根據(jù)訓(xùn)練前模型的性能，論文的方法比最佳基線提高了9.1/38.3/12.4/65.3/40.1%。

論文所提出的框架基于這樣的思想，即神經(jīng)網(wǎng)絡(luò)訓(xùn)練期間的反向傳播等效于突觸連接（邊緣）的動態(tài)演化，并且收斂神經(jīng)網(wǎng)絡(luò)與由這些邊緣組成的網(wǎng)絡(luò)系統(tǒng)的平衡狀態(tài)相關(guān)聯(lián)。它還借鑒了以前的研究，表明復(fù)雜的現(xiàn)實(shí)世界系統(tǒng)（例如植物-傳粉媒介的相互作用和 COVID-19 的傳播）可以用圖網(wǎng)絡(luò)進(jìn)行表示。

研究人員將 NN 訓(xùn)練視為突觸連接上的動態(tài)系統(tǒng)并首次以微觀方式探索這些突觸連接相互作用。他們提出“βeff”作為表征生物和人工神經(jīng)網(wǎng)絡(luò)的通用神經(jīng)電容度量（neural capacitance metric），可以為可訓(xùn)練權(quán)重構(gòu)建線圖并以與一般動態(tài)系統(tǒng)相同的形式重新制定訓(xùn)練動態(tài)系統(tǒng)，使βeff屬性能夠在訓(xùn)練過程的早期階段通過少量觀察預(yù)測圖神經(jīng)網(wǎng)絡(luò)的最終準(zhǔn)確性。

該團(tuán)隊(duì)在 17 個預(yù)訓(xùn)練 ImageNet 模型上評估了他們的框架，包括 AlexNet、VGGs (VGG16/19)、ResNets (ResNet50/50V2/101/101V2/152/152V2)、DenseNets (DenseNet121/169/201)、MobileNets (MobileNet 和 MobileNetV2) ，Inceptions（InceptionV3，InceptionResNetV2）和Xception。他們還將基于 βeff 的方法與其他各種模型排名基線進(jìn)行了比較。

在實(shí)驗(yàn)中，基于神經(jīng)電容 βeff 的方法優(yōu)于當(dāng)前的學(xué)習(xí)曲線預(yù)測方法，并在 CIFAR10/CIFAR100、SVHN、Fashion MNIST 和 Birds 數(shù)據(jù)集的最佳基線上取得了顯著的相對改進(jìn)。

結(jié)果驗(yàn)證了 βeff 作為基于早期訓(xùn)練結(jié)果預(yù)測一組預(yù)訓(xùn)練模型的排名的有效指標(biāo)。團(tuán)隊(duì)計(jì)劃在未來探索更多的相關(guān)研究方向，例如簡化鄰接矩陣 P 以捕捉突觸連接之間的依賴和相互交互，將框架擴(kuò)展到 NAS 基準(zhǔn)以選擇最佳子網(wǎng)絡(luò)，以及設(shè)計(jì)一種高效的算法直接基于 βeff 優(yōu)化 NN 架構(gòu)。

論文地址：

https://arxiv.org/abs/2201.04194

論文推薦：在早期訓(xùn)練階段預(yù)測下游模型性能