日本在线色视频,亚洲专区欧美专区,看看亚洲的黄色网,人人操超碰,成人做爰黄级A片免费看土方,色播综合,日韩性爱一区二区三区,爱啪啪网

在訓(xùn)練模型的時候，我們需要將損失函數(shù)一直訓(xùn)練到0嗎？顯然不用。一般來說，我們是用訓(xùn)練集來訓(xùn)練模型，但希望的是驗證機的損失越小越好，而正常來說訓(xùn)練集的損失降到一定值后，驗證集的損失就會開始上升，因此沒必要把訓(xùn)練集的損失降低到0

既然如此，在已經(jīng)達到了某個閾值之后，我們可不可以做點別的事情來提升模型性能呢？ICML2020的論文《Do We Need Zero Training Loss After Achieving Zero Training Error?》回答了這個問題，不過實際上它并沒有很好的描述"為什么"，而只是提出了"怎么做"

左圖：不加Flooding的訓(xùn)練示意圖；右圖：加了Flooding的訓(xùn)練示意圖

簡單來說，就是最終的驗證集效果可能更好一些，原論文的實驗結(jié)果如下：

Flooding的實驗結(jié)果：第一行W表示是否使用weight decay，第二行E表示是否使用early stop，第三行的F表示是否使用Flooding

個人分析

如何解釋這個方法呢？可以想像，當(dāng)損失函數(shù)達到b bb之后，訓(xùn)練流程大概就是在交替執(zhí)行梯度下降和梯度上升。直觀想的話，感覺一步上

繼續(xù)腦洞

想要使用Flooding非常簡單，只需要在原有代碼基礎(chǔ)上增加一行即可

效果檢驗

我隨便在網(wǎng)上找了個競賽，然后利用別人提供的以BERT為baseline的代碼，對Flooding的效果進行了測試，下圖分別是沒有做Flooding和參數(shù)b = 0.7 的Flooding損失值變化圖，值得一提的是，沒有做Flooding的驗證集最低損失值為0.814198，而做了Flooding的驗證集最低損失值為0.809810

最后推一下我的星球：只聊技術(shù)變現(xiàn)，不復(fù)制粘貼資訊，不會搬運他人觀點。我會在這里分享對新技術(shù)的思考，風(fēng)口賺錢項目，介紹變現(xiàn)套路，為大家答疑解惑。你可以把我當(dāng)作你的另一雙眼睛，幫你篩選，解讀最有價值的信息。現(xiàn)在加入附贈：1）AI資料大禮包；2）GPT、Claude 、Gemini、Llama、Qwen、DeepSeek、Minimax、Moonshot、Yi、GLM國內(nèi)網(wǎng)絡(luò)免費使用；3）部分公眾號付費專欄或付費閱讀的文章免費暢讀；4）AI繪畫、高效AI工具、高質(zhì)量資料分享；5）微信群&有問必答

大模型最新情報

Pandas 加速150倍！

用機器學(xué)習(xí)來優(yōu)化人生

我“參加了”阿里巴巴全球數(shù)學(xué)競賽決賽，分享一下經(jīng)驗

搭建機器學(xué)習(xí)開發(fā)環(huán)境及Python基礎(chǔ)，108頁PDF

116頁PDF小冊子：機器學(xué)習(xí)中的概率論、統(tǒng)計學(xué)、線性代數(shù)

把訓(xùn)練集的損失降低到0，沒必要

繼續(xù)腦洞

把訓(xùn)練集的損失降低到0，沒必要