国产区高清,日韩无码乱伦小说,国产精品8,久久婷婷丁香五月天,国产成人久久777777黄蓉,日本被H网站入口,久久一卡二卡,日日成人网

點擊下方“AI算法與圖像處理”，一起進步！

重磅干貨，第一時間送達

作者：Changsin Lee
編輯：Happy
鏈接：Changsin Lee@Medium

導(dǎo)讀

本文采用Yolov5進行測試，從實驗中得出訓(xùn)練時所需圖像數(shù)據(jù)的最少數(shù)據(jù)量，數(shù)據(jù)不平衡問題的解決方式，以及模型更新的最優(yōu)方法。

不知你有沒有想過：訓(xùn)練一個檢測器至少需要多少圖像？又該如何處理數(shù)據(jù)不平衡問題？

在這篇文章中，作者期望回答一下三個與目標檢測訓(xùn)練數(shù)據(jù)相關(guān)的問題：

達成最大性能增益的最小數(shù)據(jù)集是多大？
如何處理類別不平衡問題？
采用新數(shù)據(jù)更新預(yù)訓(xùn)練模型的最佳姿勢是哪個？

第一個問題的重要性并未得到足夠的重視。一般來講，預(yù)處理(數(shù)據(jù)收集、數(shù)據(jù)清洗、數(shù)據(jù)標注)占據(jù)了一個AI算法的至少80%時間。因此，我們希望以最小的投入獲取最大的回報。

第二個問題對于任何實際AI項目來說都是一個常見問題：常見數(shù)據(jù)可以輕易得到一個好的性能，而不常見數(shù)據(jù)卻很難得到好的性能。過采樣與欠采樣是解決類別不平衡常見的兩種策略。

對與訓(xùn)練模型進行微調(diào)變得越來越重要，這是因為：一個AI模型無法滿足所有應(yīng)用場景，我們需要頻繁的對其微調(diào)以適配新的數(shù)據(jù)(即跨域微調(diào))。

接下來，作者將以YOLOv5+Korean Sidewalkd數(shù)據(jù)回答上述問題。

1YOLOv5

目標檢測旨在對圖像或視頻中的實例進行定位與識別，即回答where與what這兩個問題。在上圖中，我們可以看到已標注bbox與label信息的行人、車輛、板凳。

為獲得上述反饋，目標檢測器需要定位目標在哪并識別它屬于哪個類別，前者對應(yīng)目標定位，后者對應(yīng)目標分類。

為訓(xùn)練一個目標檢測模型，我們需要準備一個包含圖像以及對應(yīng)目標位置+標簽標注的數(shù)據(jù)集。然而，構(gòu)建這樣一個數(shù)據(jù)集非常耗時，幸運的是，已有許多公開數(shù)據(jù)集，COCO則是目標檢測領(lǐng)域最常用數(shù)據(jù)集，它包含80個類別。

YOLO是目標檢測領(lǐng)域應(yīng)用最廣泛的檢測器(沒有之一)，YOLOv5更是因為高效率、易部署、易擴展等受到諸多從業(yè)人員的追捧?；赮OLOv5而引申出了不少知名的檢測器，如YOLOv5-lite就是其中佼佼者。

在后續(xù)文章中，我們以YOLOv5s為基礎(chǔ)，除batch(16)與epoch(100)外，其他超參均為默認參數(shù)。

2Korean Sidewalk

該數(shù)據(jù)集包含670000+帶標注信息的圖像，其中有約352810帶有bbox標注信息，故我們采用這部分用于模型訓(xùn)練，下圖給出了該部分數(shù)據(jù)的分布以及類別信息。注：我們僅采用了top15類用于訓(xùn)練與測試。

關(guān)于該數(shù)據(jù)集有幾個比較重要的信息：

類別不平衡：該數(shù)據(jù)集存在嚴重類別不平衡問題，top5占據(jù)了70%左右，top15占據(jù)了90+%，最常見的類別car在整個數(shù)據(jù)集中的比例高達24%(可參考上圖)。
同一圖像存在多實例：在每個圖像中，存在多個同類別目標。比如，每個圖像中包含3-4個car目標(這個很容易理解，因為數(shù)據(jù)就是人行道拍攝圖像)。
De-identified：人行道圖像包含一些私人信息，如人臉、車牌。為保護信息，這個帶有私人信息的圖像在標注與發(fā)布之前進行了特殊處理，可參考下圖的車牌。

該數(shù)據(jù)集的上述三個特性在實際AI算法研發(fā)過程中非常常見。因此，基于該數(shù)據(jù)集，讓我們來對文章開頭提到的幾個問題進行探究吧。

3Minimum Dataset Size

按照《How many images do I need》一文所提到：影響模型性能的數(shù)據(jù)量的拐點在每個類別包含150-500張圖像，即在該拐點之前，數(shù)據(jù)量的提升對模型性能影響非常顯著，超過該拐點后性能增益趨于平穩(wěn)。

為復(fù)現(xiàn)該實驗并比較不同類別的性能增益，作者將數(shù)據(jù)集劃分為以下三類：

Top5：car、person、tree、pole、bollard
Top10：traffic_sign、traffic_light、truck、moveable_ginage、potted_plant
Top15：motor_cycle、bicycle、bus、chair、bench

上圖給出了上述三類與整體性能伴隨數(shù)據(jù)量增加的性能曲線，從中可以看到：

Top5的性能拐點在300左右，這是因為每個圖像中有多個實例；
150-500看起來是影響檢測性能的一個比較可靠的拐點；
Top15的性能同樣服從類似的趨勢，但因為存在低頻目標導(dǎo)致拐點更出現(xiàn)的更晚。

4Countering the Class Imbalance

在上面的實驗中，Top5迅速取得了非常的性能，但Top10與Top15緊隨其后，但當(dāng)每個類別的數(shù)量達到1000后期性能仍弱于Top5。顯而易見，數(shù)據(jù)量少是主要原因。

前面也提到：過采樣與欠采樣是兩種常見策略。由于該數(shù)據(jù)集存在嚴重不平衡，因此，我們同時進行低頻目標數(shù)據(jù)進行過采樣與高頻目標數(shù)據(jù)欠采樣。

上圖給出了重采樣前后數(shù)據(jù)量對比。由于數(shù)據(jù)的特性問題，完全平衡的數(shù)據(jù)集是不可獲取的。比如，當(dāng)對bus或motercycle進行采樣時，我們不得不也對car進行處理。

上圖給出了采樣前后模型的性能對比。當(dāng)然，性能增益不能只看數(shù)值。低頻類別增多就意味著高頻類別減少。可能低頻類別的性能提升了，而高頻類別的性能變差了很多。那么，我們該如何知道這是不是真的呢？

加權(quán)平均是一種非常好的技術(shù)，因此，我們對所得mAP進行加權(quán)平均。采樣前后的性能對比見上圖：很明顯，重采樣的性能增益仍有，但不會那么劇烈。

從該實驗中，我們可以學(xué)到：當(dāng)進行模型訓(xùn)練時，你需要有一個合理的采樣策略以及一個合理的度量準則。

5How to Update the Model

當(dāng)把模型進行應(yīng)用時，它可能面臨不聽的類別分布，甚至存在未訓(xùn)練的類別。為此，我們需要采用新數(shù)據(jù)集進行模型更新。在對模型進行更新時，有兩種不同的策略：

僅使用新數(shù)據(jù)；
采用新+舊數(shù)據(jù)組合。

從上圖可以看到：無論是隨機采樣還是重采樣，組合數(shù)據(jù)均提供了更佳的結(jié)果。

與此同時，我們需要回答另一個新問題：從頭開始訓(xùn)練與遷移學(xué)習(xí)哪種的性能更佳呢？從上圖可以看到：兩種訓(xùn)練策略并無明顯差異。僅有的區(qū)別在于遷移學(xué)習(xí)具有更好的早期收斂性能。因此，當(dāng)新數(shù)據(jù)很少時，遷移學(xué)習(xí)可以節(jié)省更多時間。

6Conclusion

從上述實驗中我們學(xué)到了以下三點：

用于訓(xùn)練的最少圖像數(shù)據(jù)量在150-500；
采用過采樣與欠采樣補償類別不平衡問題，但需要對重平衡的數(shù)據(jù)分布非常謹慎；
模型的更新建議在新+舊組合數(shù)據(jù)集上進行遷移學(xué)習(xí)。

努力分享優(yōu)質(zhì)的計算機視覺相關(guān)內(nèi)容，歡迎關(guān)注：

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有美顏、三維視覺、計算攝影、檢測、分割、識別、NeRF、GAN、算法競賽等微信群

個人微信（如果沒有備注不拉群！）
請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱



下載1：何愷明頂會分享

在「AI算法與圖像處理」公眾號后臺回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號后臺回復(fù)：c++，即可下載。歷經(jīng)十年考驗，最權(quán)威的編程規(guī)范！


下載3 CVPR2021

在「AI算法與圖像處理」公眾號后臺回復(fù)：CVPR，即可下載1467篇CVPR?2020論文 和 CVPR 2021 最新論文

目標檢測最少訓(xùn)練數(shù)據(jù)量及類別不平衡的實戰(zhàn)研究