午夜国际一极毛片,中文无码无字幕A久久东京热免费视频,亚洲免费a视频,久久久天堂,天堂AV√,亚洲黄色影院,中文字幕777,欧美日韩国产手机在线

【ICML2022】深度學(xué)習(xí)中的協(xié)同和對稱：數(shù)據(jù)、模型和推理算法之間的交互

共 472字，需瀏覽 1分鐘

2022-07-16 20:37

來源：專知
本文為論文介紹，建議閱讀5分鐘
當(dāng)這些對稱性與數(shù)據(jù)分布的對稱性相容時，學(xué)習(xí)效率最高。

盡管人們普遍認(rèn)為高維學(xué)習(xí)面臨維數(shù)災(zāi)難，但現(xiàn)代機(jī)器學(xué)習(xí)方法往往表現(xiàn)出驚人的能力，可以在不使用大量數(shù)據(jù)的情況下解決各種具有挑戰(zhàn)性的現(xiàn)實世界學(xué)習(xí)問題。這些方法究竟是如何打破這一詛咒的，仍然是深度學(xué)習(xí)理論中一個根本的開放問題。雖然以前的努力通過研究數(shù)據(jù)(D)、模型(M)和推理算法(I)作為獨(dú)立模塊來研究這個問題，但在本文中，我們將三元組(D, M, I)作為一個集成系統(tǒng)來分析，并識別有助于減輕維度詛咒的重要協(xié)同作用。我們首先研究了與各種學(xué)習(xí)算法(M, I)相關(guān)的基本對稱性，重點(diǎn)關(guān)注深度學(xué)習(xí)中的四種原型架構(gòu):全連接網(wǎng)絡(luò)(FCN)、本地連接網(wǎng)絡(luò)(LCN)和帶池化和不帶池化的卷積網(wǎng)絡(luò)(GAP/VEC)。我們發(fā)現(xiàn)，當(dāng)這些對稱性與數(shù)據(jù)分布的對稱性相容時，學(xué)習(xí)效率最高，而當(dāng)(D, M, I)三元組中的任何成員不一致或次優(yōu)時，學(xué)習(xí)效率顯著下降。

https://arxiv.org/pdf/2207.04612.pdf

點(diǎn)贊

評論

舉報