3分鐘,了解3題必問算法題(NMS/分割/分類)
大家好,我是燦視。
我們將在每天更新的博文中,簡單介紹下我們今天更新了哪些題,并且給出一個簡短的參考答案。同時,我們每一題都會提供一個詳細版本的參考回答,這些詳細的參考回答是放在github上的,方便各位查看。
各位可以在文末的閱讀原文,跳轉(zhuǎn)到我們的Github地址。
算法面經(jīng)題分享(5.26)
1. 介紹下FCN與UNet
是深度學(xué)習(xí)網(wǎng)絡(luò)應(yīng)用于圖像分割領(lǐng)域的開山之作,它將全連接層全部替換為卷積層。由于整個網(wǎng)絡(luò)中只有卷積層,所以叫做全卷積網(wǎng)絡(luò)。
整體的網(wǎng)絡(luò)結(jié)構(gòu)分為兩個部分:全卷積部分和反卷積部分。其中全卷積部分借用了一些經(jīng)典的 網(wǎng)絡(luò)(如 , , 等),并把最后的全連接層換成卷積,用于提取特征,形成熱點圖;反卷積部分則是將小尺寸的熱點圖上采樣得到原尺寸的語義分割圖像。
為了得到分割效果更好的模型,提出三種不同的模型: 、 、 ,將不同尺度的特征圖進行融合,以恢復(fù)一些細節(jié)特征。
仍有一些缺點,比如:
-
得到的結(jié)果還不夠精細,對細節(jié)不夠敏感; -
沒有考慮像素與像素之間的關(guān)系,缺乏空間一致性等。
網(wǎng)絡(luò)結(jié)構(gòu)是典型的編碼器-解碼器結(jié)構(gòu)。它由一個收縮路徑(左側(cè))和一個擴展路徑(右側(cè))組成。收縮路徑遵循卷積網(wǎng)絡(luò)的典型架構(gòu)。它由兩個 x 卷積(未填充卷積)的重復(fù)應(yīng)用組成,每個卷積后跟一個整流線性單位( )和一個 x 最大池化操作,步長為 用于下采樣。在每個降采樣步驟中,我們將特征通道的數(shù)量增加一倍。
擴展路徑中的每個步驟都包括對特征圖進行上采樣,然后進行 x 卷積(”上卷積”),以將特征通道的數(shù)量減半,并與從收縮路徑中相應(yīng)裁剪的特征圖進行級聯(lián),再進行兩個3x3卷積,每個卷積都由一個 進行。由于每次卷積中都會丟失邊界像素,因此有必要進行裁剪。在最后一層,使用 x 卷積將每 分量特征向量映射到所需的類數(shù)。該網(wǎng)絡(luò)總共有 個卷積層。
相比更早提出的 網(wǎng)絡(luò),主要是以下的區(qū)別:
-
是通過特征圖對應(yīng)像素值的相加來融合特征的; -
使用拼接來作為特征圖的融合方式,通過通道數(shù)的拼接,這樣可以形成更厚的特征,當然這樣會更佳消耗顯存;
的好處我感覺是:網(wǎng)絡(luò)層越深得到的特征圖,有著更大的視野域,淺層卷積關(guān)注紋理特征,深層網(wǎng)絡(luò)關(guān)注本質(zhì)的那種特征,所以深層淺層特征都是有各自的意義;另外一點是通過反卷積得到的更大的尺寸的特征圖的邊緣,是缺少信息的,畢竟每一次下采樣提煉特征的同時,也必然會損失一些邊緣特征,而失去的特征并不能從上采樣中找回,因此通過特征的拼接,來實現(xiàn)邊緣特征的一個找回。
詳細信息,請點擊底部閱讀原文,查閱 中的詳細文章。
2. 系列之 與
為什么把 與 放一起呢?主要是因為它倆出自一篇文章~
主要核心創(chuàng)新點:
-
用兩個 × 的卷積代替 × 的卷積
-
用 × 和 × 卷積代替 × 卷積
-
模塊中的濾波器組被擴展(即變得更寬而不是更深)
-
引入輔助分類器,加速深度網(wǎng)絡(luò)收斂 -
避免使用瓶頸層 -
減小特征圖的尺寸
在 和 中, 主要是在 的基礎(chǔ)上增加了 層;
提出了四種 模塊,并引入輔助分類器,加速深度網(wǎng)絡(luò)收斂。另一方面,在 中作者使用了 優(yōu)化器和標簽平滑,并在輔助分類器使用了 ,進一步加速網(wǎng)絡(luò)收斂的速度。
詳細信息,請點擊底部閱讀原文,查閱 中的詳細文章。
3. 說下 ?
- - (非極大值抑制): 當兩個 空間位置非常接近,就以 更高的那個作為基準,看 即重合度如何,如果與其重合度超過閾值,就抑制 更小的 ,只保留 大的就 ,其它的 就都應(yīng)該過濾掉。對于 而言,適合于水平框,針對各種不同形狀的框,會有不同的 來進行處理。
具體的過程與代碼,可以點擊底部閱讀原文,查閱 中的詳細文章。
- END -長按掃描下方二維碼添加小助手。
可以一起討論遇到的問題
聲明:轉(zhuǎn)載請說明出處
掃描下方二維碼關(guān)注【集智書童】公眾號,獲取更多實踐項目源碼和論文解讀,非常期待你我的相遇,讓我們以夢為馬,砥礪前行!
