車道線檢測(cè)一百問(wèn)！
點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
本文只做學(xué)術(shù)分享，如有侵權(quán)，聯(lián)系刪文
所有問(wèn)答出自：自動(dòng)駕駛之心知識(shí)星球（國(guó)內(nèi)首個(gè)自動(dòng)駕駛技術(shù)交流社區(qū)）
1.請(qǐng)問(wèn)下，車道線檢測(cè)中，道路上會(huì)有一些舊車道線影響新車道線怎么辦？
答：這種依賴模型不好解決，只能用車道后處理來(lái)解決了，可以嘗試加一下跟蹤或者看一下車道線分布規(guī)則來(lái)約束一下；
2.各位大佬，車道線在分流點(diǎn)，合流點(diǎn)會(huì)有幾幀出錯(cuò)怎么辦？
答：有加跟蹤嗎？或者針對(duì)合流和分流做一些邏輯穩(wěn)定，比如檢測(cè)到（或者計(jì)算得到）合流點(diǎn)，然后根據(jù)點(diǎn)的位置做一些穩(wěn)定；
3.想問(wèn)一下大家，在自動(dòng)駕駛車輛當(dāng)中，汽車空載和滿載帶來(lái)的對(duì)前視相機(jī)外參影響（主要是pitch角），進(jìn)而會(huì)對(duì)車道線檢測(cè)或者居中保持功能產(chǎn)生影響對(duì)嗎？如果有影響的話是從標(biāo)定的角度入手還是車道線檢測(cè)的角度入手去解決呢？
答：可以測(cè)一下影響有多大，其實(shí)通過(guò)加一個(gè)消失點(diǎn)估計(jì)，也能校正pitch角；
4.請(qǐng)問(wèn)各位大佬，車道線檢測(cè)中，有的會(huì)做到自車中間會(huì)有一條中心線，這是怎么做的呢？
答：可以貼個(gè)圖看看，我理解自車中間的中心線是和自車位置，兩邊主車道線相關(guān)的，可以通過(guò)它們擬合出來(lái)；
5.請(qǐng)問(wèn)下車道線數(shù)據(jù)集Curvelanes沒(méi)有車道線類別，自己的數(shù)據(jù)集有類別，請(qǐng)問(wèn)下這兩個(gè)數(shù)據(jù)集怎么一塊用呢？
答：用自己的有類別的數(shù)據(jù)訓(xùn)練個(gè)分類模型對(duì)Curvelanes打個(gè)類別偽標(biāo)簽也可以，再用一些半監(jiān)督的策略，一起用。或者先不關(guān)心類別，先用兩個(gè)數(shù)據(jù)集訓(xùn)練一個(gè)不帶類別輸出的模型，然后再用自己數(shù)據(jù)集微調(diào)出一個(gè)帶類別的模型；
6.有沒(méi)有誰(shuí)做過(guò)車道線跟蹤，都找不到相關(guān)論文，現(xiàn)在一般都用什么方法做？
答：如果定位信息準(zhǔn)的話，多幀的車道線可以在世界坐標(biāo)系下完全重合，利用這個(gè)原理去匹配當(dāng)前幀和前些幀就能很好的做到跟蹤了，然后做濾波，跟蹤匹配預(yù)測(cè)；
7.大佬們，車道線語(yǔ)義分割對(duì)于遮擋情況都是怎么解決的?
答：可以考慮長(zhǎng)短焦多相機(jī)融合；加數(shù)據(jù)，通過(guò)GAN等方法制造一些遮擋數(shù)據(jù)。
8.您好，我利用圖像檢測(cè)出車道線，然后提取出像素點(diǎn)，想問(wèn)下，這些像素點(diǎn)轉(zhuǎn)換到激光雷達(dá)坐標(biāo)系有什么好的方法嘛，（因?yàn)樽罱K想轉(zhuǎn)換到地圖坐標(biāo)系）？是單目相機(jī)，沒(méi)有深度信息。我使用了相機(jī)激光雷達(dá)標(biāo)定參數(shù)，轉(zhuǎn)換出的結(jié)果如下，不太對(duì)，有沒(méi)有什么解決方法嘛？
答：因?yàn)閱文肯鄼C(jī)到三維空間的轉(zhuǎn)換本身就存在一對(duì)多的關(guān)系，因此需要用激光雷達(dá)對(duì)含有車道的環(huán)境進(jìn)行掃描，車道點(diǎn)投影到圖像平面，建立一一對(duì)應(yīng)關(guān)系，然后根據(jù)圖片上車道線點(diǎn)找到其對(duì)應(yīng)的激光點(diǎn)云位置，即為三維空間下的車道線位置；像素坐標(biāo)轉(zhuǎn)為3d坐標(biāo)肯定是需要深度信息的，既然你沒(méi)有深度信息，那么肯定是不行的。但是如果你有相機(jī)內(nèi)外參數(shù)，倒是可以嘗試通過(guò)IPM的方式，將2d像素點(diǎn)投影到地面上，相對(duì)來(lái)說(shuō)深度還是比較準(zhǔn)確的，只是地面高度信息沒(méi)了；
9.大佬們，想請(qǐng)教下下在算力低下的嵌入式設(shè)備中，檢測(cè)車道線有哪些好用的網(wǎng)絡(luò)呢？
答：ultra fast 系列 可以看看
10.各位大佬，我想請(qǐng)問(wèn)一下，針對(duì)周視的車道線檢測(cè)問(wèn)題，對(duì)于非BEV方案 大家有沒(méi)有比較好的方法呀？
答：車道線更關(guān)注前視，所以基本都是基于單目做的，在局部地圖構(gòu)建中可優(yōu)先考慮BEV方案，否則還要拼接圖像，或者結(jié)果，非常不優(yōu)雅；如果一定要做，那就是單目車道線檢測(cè)那幾種了，基于anchor的落地方便，基于分割耗時(shí)可能大一些，需要后處理多一些。具體方法可以嘗試一下；
11.請(qǐng)教一下大佬們，車道線檢測(cè)結(jié)果的擬合及跟蹤一般都是如何做的？多車道線情況下怎么擬合出多條曲線呢？
答：車道線檢測(cè)的話，要獲取車道線實(shí)例，有基于anchor的輸出就是車道線實(shí)例，也有先二值分割再聚類的，或者關(guān)鍵點(diǎn)再聚類或者特殊解碼算法的，跟蹤的話我了解也不是很多，建議找找相關(guān)論文，有看到過(guò)倒是；
12.各位大佬，有沒(méi)有車道線彎道和變道檢測(cè)效果比較好的模型，用過(guò)UFLD和UFLDv2，感覺(jué)這個(gè)問(wèn)題都沒(méi)有大的改善
答：這個(gè)是之前一個(gè)開(kāi)源項(xiàng)目及論文，可以參考：Rethinking Efficient Lane Detection via Curve Modeling
13.極端天氣的車道線消失如何補(bǔ)償呢，大家有沒(méi)有什么好的方案？
答：視覺(jué)感知的話，如果不是連續(xù)幀出現(xiàn)車道線消失，可以考慮時(shí)序的融合，模型和后處理都可以。如果是連續(xù)幀，從功能上來(lái)說(shuō)應(yīng)該要進(jìn)failsafe了。有激光雷達(dá)的話，好的激光雷達(dá)理論上可以直接從點(diǎn)云上提取車道線，車道線和地面的強(qiáng)度不一樣，會(huì)比依賴視覺(jué)的影響小一些。
14.大佬們求教，如果想做車道線的分割和路面標(biāo)識(shí)（左轉(zhuǎn)右轉(zhuǎn)直行箭頭等）檢測(cè)，有什么比較合適的數(shù)據(jù)增強(qiáng)方式嘛？
答：路面標(biāo)志可以做一些目標(biāo)框內(nèi)的一些擾動(dòng)，比如水平垂直flip，旋轉(zhuǎn)等等，還有形變操作(仿射變換等)，只要增強(qiáng)出來(lái)看著合理都可用。
15.相機(jī)與高精地圖的車道線融合目前有什么好的方案（工程上）？車道線的視覺(jué)檢測(cè)結(jié)果已有！
答：1.視覺(jué)結(jié)果是相對(duì)車輛的位置，高精地圖是絕對(duì)位置，將兩個(gè)車道線匹配一下，之后應(yīng)該可以使用卡爾曼濾波融合，結(jié)合位置信息得到最終結(jié)果，這個(gè)思路可以試試 2.我記得阿波羅里面應(yīng)該有車道線感知和高精地圖融合的內(nèi)容，也可以參考下~
下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程
在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺(jué)、目標(biāo)跟蹤、生物視覺(jué)、超分辨率處理等二十多章內(nèi)容。
下載2：Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目52講 在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測(cè)、車道線檢測(cè)、車輛計(jì)數(shù)、添加眼線、車牌識(shí)別、字符識(shí)別、情緒檢測(cè)、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺(jué)實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺(jué)。
下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講 在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。
交流群
歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺(jué)、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺(jué)SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~