視覺SLAM如何基于深度學(xué)習(xí)閉環(huán)檢測？

重磅干貨，第一時(shí)間送達(dá)

本文轉(zhuǎn)自：計(jì)算機(jī)視覺life

TurtleZhong:

相比現(xiàn)在基本都是用深度學(xué)習(xí)做的吧，只要涉及到場景光照變化大，相機(jī)視野變化大等等，傳統(tǒng)的DBoW，VLAD方法確實(shí)能力有限，那想必現(xiàn)在大多數(shù)都用的是基于深度學(xué)習(xí)來做閉環(huán)檢測的，具體的方法可以參考我前段時(shí)間寫的總結(jié)：

https://github.com/TurtleZhong/Map-based-Visual-Localization

其實(shí)里面列舉了傳統(tǒng)方法和深度學(xué)習(xí)的方法，當(dāng)然可能不全，但是歡迎補(bǔ)充，另外覺得有用的話點(diǎn)個(gè)關(guān)注。

九歌:

俺就是在做深度學(xué)習(xí)與閉環(huán)檢測結(jié)合的工作的呀

目前將深度學(xué)習(xí)應(yīng)用到閉環(huán)檢測中已經(jīng)很普遍了吧。直接的想法是在bow框架下利用如superpoint、d2、r2d2等深度學(xué)習(xí)特征代替?zhèn)鹘y(tǒng)orb、sift等特征。也有如NetVLAD、CALC等用神經(jīng)網(wǎng)絡(luò)模擬傳統(tǒng)特征提取策略，以獲得更好魯棒性的。也有加入語義信息，如X-view、LoST、CALC2.0等利用圖像語義信息，實(shí)現(xiàn)閉環(huán)檢測的。

總的來說，如果只是關(guān)注閉環(huán)檢測中圖像檢索的部分，與深度學(xué)習(xí)相關(guān)的工作還是很多很好的。難點(diǎn)在于要應(yīng)對閉環(huán)檢測中的一些實(shí)際挑戰(zhàn)，比如cross-view乃至opposite-view，appearance changes，perceptual aliasing，dynamics，textless這些問題。

害，其實(shí)dbow和fabmap從效果和實(shí)時(shí)性的平衡上來說，不已經(jīng)超好了嘛

劉斯坦:

搜deep learning feature points matching，文章非常多。

具體結(jié)合SLAM的工作，今年剛出的這篇清華的就很不錯(cuò)，還有代碼：
ivipsourcecode/dxslamgithub.com

基本是一個(gè)純工程的工作，很直觀，把各種成熟的深度學(xué)習(xí)特征點(diǎn)提取和匹配網(wǎng)絡(luò)（SuperPoint, D2-Net, HF-Net）的預(yù)訓(xùn)練模型直接拿來用，替換掉ORB-SLAM2里面的相關(guān)部分：

王小二:

1、不知道其它大佬的情況，現(xiàn)階段我做的方向就是深度學(xué)習(xí)和SLAM的結(jié)合方向，所以SLAM各個(gè)比較關(guān)鍵的環(huán)節(jié)如何使用深度學(xué)習(xí)來完成，我倒是看過部分文章，比如特征提取，回環(huán)檢測，優(yōu)化等等。但是實(shí)際操作過的目前只有特征提取和描述子生成部分。詳情見：https://zhuanlan.zhihu.com/p/214158164zhuanlan.zhihu.com

2、說回到回環(huán)檢測這個(gè)問題，其實(shí)從直觀上來說和圖像檢測，重識別等領(lǐng)域應(yīng)該是有共通之處的，所以我之前的考慮也是利用圖像檢索的方式來實(shí)現(xiàn)回環(huán)檢測。

3、說到具體的操作，當(dāng)時(shí)考慮過的方向有：A、使用完整的圖像來完成特征提??；B、圖像切塊或者提前感興趣區(qū)域提取特征；C、整體+興趣區(qū)域共同提取特征->企圖在查詢速度和精度做平衡

4、提取特征的方法考慮過：A、使用傳統(tǒng)的特征來監(jiān)督CNN，比如ORB，SIFT，HOG等；B、學(xué)習(xí)人臉識別，重識別等使用triple loss，margin loss等使用圖片對或者圖片組來訓(xùn)練

5、說起來，也許可以看看小樣本分類識別的部分思路；細(xì)粒度識別分類的一些方案

6、現(xiàn)在已經(jīng)有的搜圖定位不妨也看看7、步子不要太大，是不是可以考慮CNN+傳統(tǒng)的詞袋模型一起使用？

Howie:

閉環(huán)過程使用深度學(xué)習(xí)中的圖像檢索，能有效的減少由于環(huán)境光照 季節(jié)更替，視角變化引起的匹配問題。但是需要采集大量的樣本進(jìn)行訓(xùn)練，同時(shí)考慮網(wǎng)絡(luò)的大小和推理速度，以及自身的硬件平臺性能。在一些嵌入式應(yīng)用中，由深度學(xué)習(xí)帶來的性能提升 可能需要消耗巨大的資源，此時(shí)仍需以傳統(tǒng)算法為主。

實(shí)際使用中，若環(huán)境可布置如室內(nèi)環(huán)境，建議使用二維碼等人為標(biāo)志進(jìn)行回環(huán)檢測，兼顧精度和速度。若是室外可變環(huán)境，則需要考慮自身的硬件性能，進(jìn)行傳統(tǒng)算法與深度學(xué)習(xí)方法的選擇，對于純粹的深度方向，應(yīng)考慮模型設(shè)計(jì)優(yōu)化，通過壓縮量化等手段提升模型速度。