道路損傷檢測(cè)任務(wù)是對(duì)幾種道路損傷進(jìn)行檢測(cè)，不僅要分類出損傷類別，還要定位到損傷的位置，故實(shí)質(zhì)是一個(gè)目標(biāo)檢測(cè)問(wèn)題。

https://rdd2020.sekilab.global/overview/

GRDDC'2020 數(shù)據(jù)集是從印度、日本和捷克收集的道路圖像。包括三個(gè)部分：Train, Test1, Test2。訓(xùn)練集包括帶有 PASCAL VOC 格式 XML 文件標(biāo)注的道路圖像。在給參賽者的數(shù)據(jù)Test1 和 Test2 中是沒(méi)有標(biāo)注。train則包含標(biāo)注。

數(shù)據(jù)分布如下：

三個(gè)數(shù)據(jù)集和三個(gè)國(guó)家的圖像分布統(tǒng)計(jì)

訓(xùn)練數(shù)據(jù)中每種損壞類型的實(shí)例數(shù)

GRDD 挑戰(zhàn)賽的評(píng)估標(biāo)準(zhǔn)是F1-Score。

對(duì)于參賽者提交的預(yù)測(cè)結(jié)果，如果預(yù)測(cè)滿足以下兩個(gè)標(biāo)準(zhǔn)，則認(rèn)為它是正確的。

predicted bounding box 與 ground truth bounding box 之間的重疊區(qū)域超過(guò) 50%，即 IoU > 0.5。
預(yù)測(cè)的標(biāo)簽與實(shí)際的標(biāo)簽相匹配，如圖像的標(biāo)注文件中所指定的（ground truth）。

評(píng)估腳本比較兩個(gè)輸入文件以及計(jì)算所提交的 F1-Score。F1-Score 為精確率和召回率的調(diào)和平均數(shù)，精確度是真陽(yáng)性與所有預(yù)測(cè)陽(yáng)性的比率。召回率是真正的陽(yáng)性結(jié)果與所有實(shí)際陽(yáng)性結(jié)果的比率。

各參數(shù)的細(xì)節(jié)如下：

真陽(yáng)性（TP）：ground truth 中存在一個(gè)損害實(shí)例，并且該實(shí)例的標(biāo)簽和邊界框被正確預(yù)測(cè)，IoU>0.5。
假陽(yáng)性（FP）：當(dāng)模型預(yù)測(cè)了圖像中某一特定位置的損害實(shí)例，但該實(shí)例并不存在于圖像的 ground truth 中。也包括了預(yù)測(cè)標(biāo)簽與實(shí)際標(biāo)簽不匹配的情況。
假陰性（FN）：當(dāng)一個(gè)損害實(shí)例出現(xiàn)在 ground truth 中，但模型無(wú)法預(yù)測(cè)正確的標(biāo)簽或該實(shí)例的邊界框。

召回率：

F1指標(biāo)對(duì)召回和精度的權(quán)重相等。因此，參賽者需要在兩者都有中等水平的表現(xiàn)，而不是在其中一個(gè)方面表現(xiàn)突出，在另一個(gè)方面表現(xiàn)不佳。

冠軍團(tuán)隊(duì)

項(xiàng)目代碼獲取方式：

關(guān)注微信公眾號(hào) datadyx 然后回復(fù) 道路即可獲取。

AI項(xiàng)目體驗(yàn)地址 https://loveai.tech

IMSC團(tuán)隊(duì)(Hedge等，來(lái)自美國(guó)南加州大學(xué)和約旦德國(guó)約旦大學(xué))，提出方法基于 ultralytics-YOLO (u-YOLO) [YOLOv5, 2020]，并應(yīng)用了測(cè)試時(shí)數(shù)據(jù)增強(qiáng)（TTA），提高了模型的魯棒性。TTA 通過(guò)對(duì)每張測(cè)試圖像進(jìn)行多次變換（如水平翻轉(zhuǎn)、提高圖像分辨率）并生成新的圖像來(lái)進(jìn)行數(shù)據(jù)增廣。

新的圖像與現(xiàn)有圖像一起被輸入到訓(xùn)練好的 u-YOLO 模型中。因此，對(duì)應(yīng)于每一個(gè)測(cè)試圖像，使用增強(qiáng)的圖像生成多個(gè)預(yù)測(cè)。在此過(guò)程中產(chǎn)生的重復(fù)或重疊的預(yù)測(cè)使用非極大抑制（NMS）算法進(jìn)行過(guò)濾。整個(gè)方法被稱為集成預(yù)測(cè)（Ensemble Prediction，EP）。

除了 EP，該團(tuán)隊(duì)還提出了另一種方法，稱為集成模型（EM）。顧名思義，EM是將 u-YOLO 模型的不同變體進(jìn)行集成。鑒于訓(xùn)練一個(gè) u-YOLO 模型涉及到調(diào)整不同的超參數(shù)，使用這些參數(shù)的不同組合會(huì)產(chǎn)生不同的訓(xùn)練模型。作者選擇這些模型的一個(gè)子集，以使它們的整體精度最大化。每幅圖像都會(huì)在所有選定的模型上測(cè)試，然后對(duì)每個(gè)模型的預(yù)測(cè)結(jié)果進(jìn)行平均，最后應(yīng)用非極大抑制。這種集成技術(shù)通過(guò)降低預(yù)測(cè)方差實(shí)現(xiàn)了更好的準(zhǔn)確性。

團(tuán)隊(duì)的最終方案是將這兩種方法結(jié)合起來(lái)，Ensemble Model with Ensemble Prediction（EM+EP）。可以想象每幅圖像的測(cè)試時(shí)間肯定是很長(zhǎng)的，但好在這只是比賽。

當(dāng)然作者也比較了三種方法(EM、EP和EM+EP)在速度和精度方面的表現(xiàn)。統(tǒng)計(jì)結(jié)果顯示，雖然在(EM+EP)的情況下，準(zhǔn)確率得到了提高，達(dá)到了最高的 F1-score(測(cè)試1為0.67)（大力出奇跡?。。?，而如果用每幅圖像的檢測(cè)時(shí)間來(lái)衡量，該方法在檢測(cè)速度方面是最差的。

獲勝團(tuán)隊(duì)的最后得分及代碼如下：

Test1-Score：0.6748

Test2-Score：0.6662

（這個(gè)結(jié)果是遠(yuǎn)超第二名的?。?/p>

機(jī)器學(xué)習(xí)算法AI大數(shù)據(jù)技術(shù)

搜索公眾號(hào)添加： datanlp

長(zhǎng)按圖片，識(shí)別二維碼

閱讀過(guò)本文的人還看了以下文章：

TensorFlow 2.0深度學(xué)習(xí)案例實(shí)戰(zhàn)

基于40萬(wàn)表格數(shù)據(jù)集TableBank，用MaskRCNN做表格檢測(cè)

《基于深度學(xué)習(xí)的自然語(yǔ)言處理》中/英PDF

Deep Learning 中文版初版-周志華團(tuán)隊(duì)