99热新网址,囯产精品久久久久久久久久免费,黄色人人操,91国產乱老熟,一级黄色片成年人电影,黄色学生妹网站在线免费播放,日本天堂视频,777奇米四色成人影色区

點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)
本文轉(zhuǎn)自|計(jì)算機(jī)視覺工坊

歷屆kaggle競賽冠軍的做法，或簡單或復(fù)雜，其最后一步必然是集成學(xué)習(xí)，盡管現(xiàn)有的模型已經(jīng)很強(qiáng)大了，但是集成學(xué)習(xí)往往能夠起到錦上添花的作用。一般而言，深度學(xué)習(xí)的集成有兩大層面：數(shù)據(jù)層面和模型層面。下面詳細(xì)介紹這些方法。

01 數(shù)據(jù)層面

（1）數(shù)據(jù)擴(kuò)充法

數(shù)據(jù)擴(kuò)充法在訓(xùn)練和測試階段均適用，可以增強(qiáng)模型的魯棒性。

常見的數(shù)據(jù)擴(kuò)充方法有：

圖像多尺度(multi-scale)：將圖像resize到不同尺寸，分別輸入網(wǎng)絡(luò)，對結(jié)果進(jìn)行平均或者加權(quán)。
隨機(jī)扣取(random crop)：對測試圖片隨機(jī)扣取n張圖像，在測試階段用訓(xùn)練好的深度網(wǎng)絡(luò)模型對n張扣取出來的圖分別做預(yù)測，之后將預(yù)測的各類置信度平均作為測試圖像最終的測試結(jié)果。

（2）簡單集成法

“簡單集成法”是Liu等人提出針對不平衡樣本問題的一種簡單集成學(xué)習(xí)解決方案，好處在于模型集成的同時(shí)還能緩解數(shù)據(jù)不平衡帶來的問題。

簡單集成法，簡單說三點(diǎn)：

對于樣本較多的類采取降采樣(undersampling)，每次采樣數(shù)依據(jù)樣本數(shù)量最少的類別而定，這樣每類取到的樣本數(shù)可保持均等；
采樣結(jié)束后，針對每次采樣得到的子數(shù)據(jù)集訓(xùn)練模型，如此采樣、訓(xùn)練重復(fù)進(jìn)行多次。
最后依據(jù)訓(xùn)練得到若干個(gè)模型的結(jié)果取平均/投票。

02 模型層面

2.1 單模型集成

（1）同一模型不同初始化

同一模型不同初始化方法，非常適用于小樣本學(xué)習(xí)場景，會(huì)大幅度緩解模型的隨機(jī)性，提升最終任務(wù)的預(yù)測結(jié)果。

對于同一個(gè)模型來說，不同的參數(shù)初始化方式通過隨機(jī)梯度下降方法得到的訓(xùn)練結(jié)果也會(huì)不同。具體的做法如下：

初始：首先對同一模型進(jìn)行不同初始化；
集成：將得到的網(wǎng)絡(luò)模型結(jié)果進(jìn)行集成；

（2）同一模型不同訓(xùn)練輪數(shù)

同一模型不同訓(xùn)練輪數(shù)方法，可以有效降低訓(xùn)練輪數(shù)過多帶來的過擬合風(fēng)險(xiǎn)。

若網(wǎng)絡(luò)超參數(shù)設(shè)置得當(dāng)，深度模型隨著網(wǎng)絡(luò)訓(xùn)練的進(jìn)行會(huì)逐步趨于收斂，但不同訓(xùn)練輪數(shù)的結(jié)果仍有不同。無法確定到底哪一輪得到的模型最適用于測試數(shù)據(jù)，我們將最后幾輪訓(xùn)練結(jié)果做集成。

（3）不同損失函數(shù)

損失函數(shù)是整個(gè)網(wǎng)絡(luò)訓(xùn)練的 “指揮棒”，選擇不同目標(biāo)函數(shù)勢必讓網(wǎng)絡(luò)學(xué)到不同的特征表示。

具體的做法如下，以分類任務(wù)為例：可將包括交叉熵?fù)p失、合頁損失、大間隔交叉熵?fù)p失、中心損失等作為損失函數(shù)分別訓(xùn)練模型。而在測試階段，有兩種做法：

置信度融合：直接對不同模型預(yù)測結(jié)果做平均/投票；
特征融合：將不同網(wǎng)絡(luò)得到的深度特征抽出后級聯(lián)(concatenate)作為最終特征，然后訓(xùn)練淺層分類器（如支持向量機(jī)）完成預(yù)測工作；

（4）多層特征融合法

由于深度卷積神經(jīng)網(wǎng)絡(luò)特征具有層次性的特點(diǎn)，不同層特征富含的語義信息可以相互補(bǔ)充，因而在目標(biāo)檢測、圖像語義分割、細(xì)粒度圖像檢索這些領(lǐng)域常見多層特征融合策略的使用。

一般地，多層特征融合操作可直接將不同層的網(wǎng)絡(luò)特征進(jìn)行級聯(lián)（concatenate），而對于特征融合應(yīng)該選取哪些網(wǎng)絡(luò)層，選取的經(jīng)驗(yàn)是：最好使用靠近目標(biāo)函數(shù)的幾層卷積特征，因?yàn)橛顚犹卣靼母邔诱Z義愈強(qiáng)，分辨能力也愈強(qiáng)。相反，網(wǎng)絡(luò)較淺層的特征更為普適，用于特征融合反而起不到作用。

（5）網(wǎng)絡(luò)快照法

我們知道深度神經(jīng)網(wǎng)絡(luò)模型復(fù)雜的解空間中存在非常多的局部最優(yōu)解，而傳統(tǒng)的Min-batch SGD往往只能收斂到其中一個(gè)局部最優(yōu)解，如下所示：

圖1 SGD：傳統(tǒng)SGD方法只能收斂到一個(gè)局部最優(yōu)解

相反的，網(wǎng)絡(luò)快照法通過循環(huán)調(diào)整學(xué)習(xí)率，使得網(wǎng)絡(luò)依次收斂到不同的局部最優(yōu)解，利用這些最優(yōu)解對模型進(jìn)行集成，示意圖如下所示：

圖2 快照法：通過循環(huán)調(diào)整學(xué)習(xí)率，使得網(wǎng)絡(luò)依次收斂到不同的局部最優(yōu)解

具體的做法如下，將網(wǎng)絡(luò)學(xué)習(xí)率設(shè)置為隨模型迭代輪數(shù)t改變的函數(shù)：

其中：

為初始學(xué)習(xí)率，一般設(shè)置為 0.1 或 0.2；
t為模型迭代輪數(shù)；
T為模型總的批處理訓(xùn)練次數(shù)；
M為“循環(huán)退火”次數(shù)，對應(yīng)于模型將收斂到的局部最優(yōu)解的個(gè)數(shù)；

注：退火原先是材料加工的一個(gè)特有名詞，指將金屬加熱到某個(gè)再結(jié)晶溫度并維持一段時(shí)間，再將其緩慢冷卻的過程。這里退火指網(wǎng)絡(luò)模型學(xué)習(xí)率從初始學(xué)習(xí)率逐漸減緩到0的過程。

學(xué)習(xí)率從0.1*1 隨著t增長逐漸減緩到0，之后將學(xué)習(xí)率重新放大，從而跳出該局部最優(yōu)解，如此往復(fù)，分別得到不同權(quán)重參數(shù)的同一模型。測試階段，一般我們挑選最后個(gè)模型“快照”用于集成，這些模型“快照”可以采用“直接平均法”。

2.2 多模型集成

我們可以使用不同架構(gòu)的網(wǎng)絡(luò)訓(xùn)練模型，根據(jù)這些模型結(jié)果做集成。假設(shè)共有N個(gè)模型待集成，對于某測試樣本x，其預(yù)測結(jié)果為N個(gè)維向量：S1,S2,...,Sn（C為數(shù)據(jù)的標(biāo)記空間大小）。我們介紹常見的四種方法：

（1）直接平均法

直接平均不同模型產(chǎn)生的類別置信度得到最終預(yù)測結(jié)果。

公式：

（2）加權(quán)平均法

在直接平均法的基礎(chǔ)上加入權(quán)重來調(diào)節(jié)不同模型輸出間的重要程度。

公式：

其中，Wi 對應(yīng)第 i 個(gè)模型的權(quán)重，且必須滿足：

實(shí)際使用中，權(quán)重 w_i 的取值可以根據(jù)不同模型在驗(yàn)證集上各自單獨(dú)的準(zhǔn)確率而定。簡單說：準(zhǔn)確率高點(diǎn)的權(quán)重高點(diǎn)，準(zhǔn)確率低點(diǎn)權(quán)重就小點(diǎn)。

（3）投票法

投票法，少數(shù)服從多數(shù)，投票數(shù)最多的類別作為最終預(yù)測結(jié)果。

投票法前，我們先將模型各自預(yù)測的置信度基于閾值轉(zhuǎn)換為相應(yīng)的類別，那么對于某次預(yù)測，就有以下兩種情況：

某個(gè)類別獲得一半以上模型投票，則將樣本標(biāo)記為該類別；
沒有任何類別獲得一半以上投票，則拒絕預(yù)測；

但是這樣有個(gè)問題，就是模型拒絕預(yù)測時(shí)候怎么辦？一般我們采用相對多數(shù)投票法，很簡單，少數(shù)服從多數(shù)，即投票數(shù)最多的類別即作為最終預(yù)測結(jié)果。

（4）堆疊法

堆疊法，一階段，原始模型進(jìn)行訓(xùn)練和預(yù)測，預(yù)測結(jié)果作為二階段的輸入，非常容易過擬合。

堆疊法分兩步：

原始模型訓(xùn)練、預(yù)測：樣本x作為模型的輸入,Si為第i個(gè)模型的類別置信度輸出；
預(yù)測結(jié)果作為二階段輸入：講這些輸出置信度進(jìn)行級聯(lián)，作為新的特征，基于這些特征訓(xùn)練一個(gè)新的分類器進(jìn)行訓(xùn)練；

注意此時(shí)的學(xué)習(xí)器可以為任何學(xué)習(xí)算法模型，如支持向量機(jī)、隨機(jī)森林等。不過在此需要指出的是，堆疊法真的非常非常容易過擬合！

03 總結(jié)

集成的匯總?cè)缦拢?/span>

留大家一個(gè)作業(yè)，回顧我們的課程，然后用思維導(dǎo)圖或者表格整理出這些方法的優(yōu)缺點(diǎn)。下面，我有一個(gè)之前自己學(xué)習(xí)筆記整理的（不完全）：

還有，請大家思考，我們實(shí)戰(zhàn)中怎么用模型集成來提升最終預(yù)測準(zhǔn)確率？下期我們用實(shí)戰(zhàn)來講模型集成到底怎么用？

好消息，小白學(xué)視覺團(tuán)隊(duì)的知識(shí)星球開通啦，為了感謝大家的支持與厚愛，團(tuán)隊(duì)決定將價(jià)值149元的知識(shí)星球現(xiàn)時(shí)免費(fèi)加入。各位小伙伴們要抓住機(jī)會(huì)哦！

下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程

在「小白學(xué)視覺」公眾號后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實(shí)戰(zhàn)項(xiàng)目52講

在「小白學(xué)視覺」公眾號后臺(tái)回復(fù)：Python視覺實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計(jì)數(shù)、添加眼線、車牌識(shí)別、字符識(shí)別、情緒檢測、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺。

下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講

在「小白學(xué)視覺」公眾號后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會(huì)逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會(huì)根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會(huì)請出群，謝謝理解~

常見深度學(xué)習(xí)模型集成方法