操逼网av,激情文学视频一区,欧美性A V,色五月激情,激情自拍偷拍视频,亚洲区色情区激情区小说纯熟调抖 ,A片免费电影,国产精品国产自产拍高清AV

點擊上方“程序員大白”，選擇“星標(biāo)”公眾號
重磅干貨，第一時間送達(dá)

來自 | 知乎作者 | 劉聰NLP

鏈接｜https://www.zhihu.com/question/485441585/answer/2112050954

本文僅作學(xué)術(shù)分享，若侵權(quán)，請聯(lián)系后臺刪文處理

主要由矩陣分解和參數(shù)共享兩個部分進(jìn)行了參數(shù)壓縮。

1、矩陣分解

將詞表*輸出維度，變成詞表*小維度+小維度*輸出維度。

舉例：如果BERT-base模型的詞表為30K，輸出維度維度為768，那么embedding部分的參數(shù)量為23,040,000。進(jìn)行矩陣分解，小維度為128，那么embedding部分的參數(shù)量為3,840,000+98,304=3,938,304?？s小了20M。

2、參數(shù)共享

原來BERT-base模型有12層transformer-encode，每層大概7M，共84M參數(shù)。ALBERT將12層參數(shù)共享，相當(dāng)于只有7M參數(shù)，縮小了77M。

詳細(xì)對比如下：

其實，可以看出，參數(shù)的主要壓縮要歸功于參數(shù)共享。但是雖然參數(shù)變少了，但是推理速度并沒有變。對于工業(yè)來說，其實挺雞肋的，我又不差那點硬盤空間，我差的是推理速度。還不如老老實實蒸餾、量化、剪枝呢。

最后，推薦一下之前寫的“常用預(yù)訓(xùn)練語言模型總結(jié)”：

https://zhuanlan.zhihu.com/p/406512290


推薦閱讀
“拍一拍” 能撤回了 ！??！
5款Chrome插件，第1款絕對良心！
為開發(fā)色情游戲，這家公司赴日尋找AV女優(yōu)拍攝，期望暴力賺錢結(jié)果...
拼多多終于釀成慘劇
華為阿里下班時間曝光：所有的光鮮，都有加班的味道

關(guān)于程序員大白

程序員大白是一群哈工大，東北大學(xué)，西湖大學(xué)和上海交通大學(xué)的碩士博士運營維護(hù)的號，大家樂于分享高質(zhì)量文章，喜歡總結(jié)知識，歡迎關(guān)注[程序員大白]，大家一起學(xué)習(xí)進(jìn)步！

ALBERT 如何有效減少 BERT 的參數(shù)？

ALBERT 如何有效減少 BERT 的參數(shù)？