點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時間送達(dá)

?

碩士研究生階段如何學(xué)習(xí)slam機(jī)器人？

作者：矮腳獸
https://www.zhihu.com/question/396119527/answer/1256819922

實(shí)驗(yàn)室的師兄剛畢業(yè),都找的是slam方向的工作,自己也正在往這個方向努力.所以在這里總結(jié)以下學(xué)習(xí)經(jīng)驗(yàn)吧.

個人認(rèn)為看視頻的效率較低,更傾向于看書,以下的推薦的英文書籍大都可以在Library Genesis(需富強(qiáng)上網(wǎng))上找到,都是個人已經(jīng)看完或者正在看的書,相信會對你有所幫助.

1. 基礎(chǔ)篇

1.1 C++

C++是slam所有知識的基礎(chǔ),它的作用和地位怎么強(qiáng)調(diào)都不為過,在學(xué)習(xí)其他所有知識之前一定要先過這一關(guān).否則你的接下來的路會很難走.

在這里推薦兩本書:C++ Prime Plus和Effective C++,特別是第一本,它將陪伴你整個slam的學(xué)習(xí)生涯.我當(dāng)時大概花了兩個月左右每天練習(xí)上面的例子,后面發(fā)現(xiàn)C/C++的使用貫穿了所有學(xué)習(xí)環(huán)節(jié),所以每次遇到不會的都會重新來讀這兩本書.

C++四大組成部分,每一個都要懂其用法,至少做到遇到問題時能快速定位到書里相應(yīng)的部分:

• 以C語言為載體的面向過程的編程(Procedure Oriented Programming)
• 面向?qū)ο蟮木幊?Object-Oriented Programming):類,多態(tài),繼承,虛函數(shù)
• 為了解決代碼重用問題而出現(xiàn)的泛型編程(Generic Programming)以及對應(yīng)的標(biāo)準(zhǔn)模板庫(STL)

1.2 OpenCV

有了C++的基礎(chǔ),你就可以來學(xué)習(xí)一些圖像處理的內(nèi)容了.圖像處理很多算法原理上會比較難以理解,不過沒關(guān)系,我們有強(qiáng)大的圖像處理的函數(shù)庫可以調(diào)用,那就是OpenCV.

學(xué)習(xí)OpenCV最最推薦的教材是官方的Tutorial.最開始看完Introduction to OpenCV和The Core Functionality(core modeule)這兩個就行,剩余的可以以后用到再回來查找.

如果你英文水平不夠好的話,可以看看《OpenCV3編程入門》.個人更加推薦看英文的入門文檔,畢竟翻譯過程會有信息丟失,不利于理解學(xué)習(xí).

1.3 Linux & ROS

Linux是slam常用的搭載環(huán)境,它其實(shí)有很多的發(fā)行商,但是只推薦使用Ubuntu,原因很簡單,只有機(jī)器人操作系統(tǒng)ROS是基于它開發(fā)的.

關(guān)于Linux的學(xué)習(xí),推薦兩本書《鳥哥的Linux私房菜》和The Linux Command Line.前者是基于CentOS寫的,但是這并不影響使用,后者是基于Ubuntu寫的,但是是英文書,

自己學(xué)著安裝Ubuntu的雙系統(tǒng)(虛擬機(jī)和Windows直接安裝都不推薦,會出各種意想不到的Bug).然后拿著The Linux Command Line,將里面常見的命令自己敲一遍看看效果.

個人認(rèn)為比較重要的幾個點(diǎn):

• 終端的使用
• Linux文件目錄結(jié)構(gòu)
• 怎么安裝軟件
• 怎么新建和刪除文件/文件夾
• 文件打包及解壓

至于ROS的學(xué)習(xí),目前只推薦官方的Wiki文檔.

1.4 機(jī)器人學(xué)數(shù)學(xué)基礎(chǔ)

這里涉及到了三維旋轉(zhuǎn)矩陣,四元數(shù),李群李代數(shù)的知識.由于在學(xué)校選了相應(yīng)的課(聽老師說現(xiàn)在全國只有北航開設(shè)了相關(guān)課程?),所以在課外沒怎么學(xué)習(xí).不過最近倒是在Github上發(fā)現(xiàn)了一個很好的項(xiàng)目,主要是講三維旋轉(zhuǎn)和四元數(shù)的,可以去下載下來看.

我自己也有開了相關(guān)的專欄,感興趣的可以去看看(隨緣佛性更新):

機(jī)器人學(xué)數(shù)學(xué)基礎(chǔ)專欄地址：

https://zhuanlan.zhihu.com/c_1244623606790995968

2. 實(shí)踐篇

2.1《視覺slam十四講》

之所以把這本書放在第二部分講,主要有三個原因:

1. 這本書提供了大量的源碼,具有很強(qiáng)的實(shí)踐意義.
2. 如果你沒有上面的基礎(chǔ)知識作為支撐,看這本書可能會有些吃力
3. 從找工作的角度講,個人認(rèn)為基礎(chǔ)知識的意義大于slam知識本身

關(guān)于這本書,其他回答說的很多了,不再贅述.值得強(qiáng)調(diào)的是,里面的程序最好自己寫一遍,修改修改部分代碼看看會出來什么樣的效果.

2.2 相機(jī) & 激光雷達(dá)

在學(xué)習(xí)好理論知識后,家庭條件允許的話,,可以自己設(shè)計組裝一個機(jī)器人來玩玩.上淘寶購買相應(yīng)的零部件.把它們架設(shè)到能移動的機(jī)器人上,自己編程實(shí)現(xiàn)建圖啥的.

零部件網(wǎng)購地址：

1、https://item.taobao.com/item.htm?spm=a230r.1.14.30.57113f68i6DW3D&id=579103092794&ns=1&abbucket=4#detail

2、https://item.taobao.com/item.htm?spm=a1z0k.7386009.0.d4919233.3dca5014N5GgWp&id=574115048099&_u=t2dmg8j26111

2.3 TurtleBot

TurtleBot是一款搭載ROS的移動機(jī)器人,上面自帶了激光雷達(dá)或者雙目視覺系統(tǒng).

TurtleBot

學(xué)校開設(shè)了移動機(jī)器人的課程,去年(2019)剛剛購買了一批TurtleBot2,所以很有幸使用了一段時間.原本還想著自己買一臺玩玩,但是看了一下淘寶將近6000元的價格,只能說一句"打擾了,再見!".

你可以打聽打聽學(xué)校有沒有實(shí)驗(yàn)室有這個玩意兒,如果有的話可以去蹭一蹭,這將會對你的實(shí)踐能力的提升有很大的幫助.

3. 進(jìn)階篇

基礎(chǔ)有了,實(shí)踐有了,接下來就是理論水平的提高了.

主要從兩個方向努力,一個是看相關(guān)論文,還有一個是看兩本書:

《概率機(jī)器人》對應(yīng)的英文書名叫Probabilistic Robotics,還有一個多視覺幾何的書籍Multiple View Geometry in computer vision

這兩本書不知道各位大佬感覺如何,我最近正在啃,覺得還是比較吃力的.近期準(zhǔn)備把這兩本書看完然后去看《視覺slam十四講》后面羅列的一些論文.

4. 就業(yè)篇

這個是上面答主都都忽略的一點(diǎn),這個可能要潑一些冷水了.前兩年隨著百度宣布搞無人車,帶動了一大批的slam就業(yè)崗位,但是現(xiàn)在風(fēng)口漸漸平息,最近在媒體上也少有看到相應(yīng)的報道.雖然slam現(xiàn)在看起來還是一個比較火的方向.但是很多單位已經(jīng)開始減少招收的人數(shù).至于工資,年薪大概在25w左右,還算是可以的.

不過,既然選擇了這條路就勇敢向前走吧,一起加油!

作者：鄭純?nèi)?/span>
https://www.zhihu.com/question/396119527/answer/1235876702

• 首先是代碼環(huán)境問題：標(biāo)配Ubuntu+ROS，因?yàn)榻^大部分源碼是C++，所以CMake的基本模板要會用

浙江大學(xué)視覺slam公開課-從視頻標(biāo)定到SLAM視頻地址：

https://www.bilibili.com/video/BV1ax411R7Hd

• 必看入門書籍：視覺SLAM十四講 ?稍微進(jìn)階：機(jī)器人學(xué)的狀態(tài)估計，多視圖幾何

? ? ???視頻地址：https://www.bilibili.com/video/BV1YW411P7AU

• SLAM相關(guān)非常易懂快速上手的課程：

1.這位浙大教授講得非常非常清晰，雖然不如高博視覺SLAM的課有配套習(xí)題和課件那樣系統(tǒng)，但可能譚平教授更會去用學(xué)生能理解的方式闡述SLAM的概念，表達(dá)也更清晰一些

視頻地址：

https://www.bilibili.com/video/BV1ax411R7Hd

2. 經(jīng)典的高博的視覺SLAM

視頻地址：

https://www.bilibili.com/video/BV16t411g7FR?from=search&seid=14811571160409762901

3. 曾書格老師的激光SLAM或者某象的無人駕駛

視頻地址：

https://www.bilibili.com/video/BV11a4y1v79G

4. 波恩大學(xué)《傳感器及狀態(tài)估計》SLAM，這是2020年最新的課程

視頻地址：https://www.bilibili.com/video/BV1aK4y1k7FQ

5. Coursera 自動駕駛教程，主要是講相機(jī)模型，多視幾何方面的內(nèi)容，對3D視覺標(biāo)定方面非常有幫助

視頻地址：

https://www.bilibili.com/video/BV1PE411D72p?p=2

6. 賓大的vslam，我沒聽過，但據(jù)說聽完收獲很大

視頻地址：

https://www.bilibili.com/video/BV1Y4411m7aG?from=search&seid=18344384925427038262

• SLAM方面的論文

論文地址：

https://blog.csdn.net/heyijia0327/article/details/82855443

賀博在這里總結(jié)得特別好，有分類，有文章作者名，有下載鏈接，而且貌似還在維護(hù)更新...

因?yàn)楫吘箤W(xué)習(xí)時間和精力畢竟有限，初學(xué)者看起來比較慢，所以我一會兒重點(diǎn)推薦一兩篇

• 如何借助這些資源開展SLAM學(xué)習(xí)

我接下來只是講得我自己的學(xué)習(xí)方法，希望能幫助到你。

1.首先看一遍視覺SLAM十四講這本書，從三維空間的表示方法，李群李代數(shù)的數(shù)學(xué)原理這些關(guān)鍵的基礎(chǔ)概念，到視覺SLAM的前端，后端，回環(huán)整個流程的經(jīng)典算法實(shí)現(xiàn)原理。大致過一遍，不需要把每一個公式都推導(dǎo)一遍，比較難的雅各比可以放一放，一些簡單的隨手就推了，比如針孔相機(jī)模型。

2.之后可以擼一遍視覺SLAM十四講的視頻，抱著之前對SLAM的印象，也可以說是帶著疑問吧，在高博的耐心講解中再回顧一下，視頻也不會看得很慢（比如因?yàn)榭床欢匆幌峦Ｒ幌拢€可能會對以前理解比較粗糙的地方突然領(lǐng)悟...###此處致敬高博，并沒有勇氣 @Ta

3.這時候可以看一些經(jīng)典且寫得很規(guī)范的代碼啦，比如ORB-SLAM2?。?/strong>

輔助可以看一下這篇論文：ORB-SLAM2:?an Open-Source SLAM System for Monocular, Stereo and RGB-D?Cameras

4. 可以自己模仿寫一個視覺里程計

5. 對于激光SLAM其實(shí)我也推薦先看視覺SLAM十四講，因?yàn)镾LAM間結(jié)構(gòu)和原理相似，且視覺SLAM有這樣好的入門教材沒有不看的理由。同時由于相機(jī)的觀測模型相比激光雷達(dá)會更復(fù)雜一些，所以互相轉(zhuǎn)換起來會比較快。我之前一個回答，可以借鑒一下~

網(wǎng)址：

https://www.zhihu.com/question/52634751/answer/1233033108

• 一些其他主要方向

1. 語義SLAM

網(wǎng)址：

https://zhuanlan.zhihu.com/p/58648284

我覺得高博講得太好了，流淚ing，幾分鐘時間讓我這個語義小白都懂了是什么，為什么，要怎么做...深度學(xué)習(xí)提取路標(biāo)啊，建立物體級別的地圖去進(jìn)行地圖復(fù)用等等等，文章還舉例了幾篇論文，都挺好，可以看看~

2. VIO視覺慣性里程計 or VINS視覺慣性導(dǎo)航系統(tǒng)

這邊深藍(lán)有出了一套課，講得蠻好的，主講是賀博高博崔大神，里面IMU的預(yù)積分，以及對應(yīng)殘差雅各比，初始化等講得蠻詳細(xì)。最棒的是基于目前非常強(qiáng)的沈老師組的VINS-mono的代碼架構(gòu)講解的。此處強(qiáng)推一篇論文：VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Estimator

前幾天本科畢設(shè)要求英文文獻(xiàn)翻譯，我自己翻譯了一份重新排了版，傳了一份Word版本的，大家自取吧~

鏈接：https://pan.baidu.com/s/1t_bDIiWOdyxnJYuqGrMSwA

提取碼：um34

3. 與深度學(xué)習(xí)結(jié)合，估計位姿，用來做閉環(huán)檢測（場景的再識別）

4. 水下SLAM

5. 仿生SLAM

6. ......

作者：wjonuee
https://www.zhihu.com/question/396119527/answer/1235688565

1、看書：高翔的《視覺SLAM十四講》、《概率機(jī)器人》、《機(jī)器人學(xué)中的狀態(tài)估計》、《計算機(jī)視覺中的多視圖幾何》；

2、學(xué)習(xí)ROS、OpenCV、Eigen、sophus、Ceres、g2o等開源軟件使用；

3、看SLAM開源項(xiàng)目，激光經(jīng)典的cartography、gMapping、Hector等；視覺的ORB-SLAM、RGBD-SLAM，LSD-SLAM等；

4、關(guān)注優(yōu)秀的SLAM公眾號，計算機(jī)視覺life、泡泡機(jī)器人SLAM等；

附一篇計算機(jī)視覺life的一篇推薦給SLAM小白入門的文章：https://mp.weixin.qq.com/s/GYcO7m9oBfJK4h2ZWRq0mw

其中有一張思維腦圖不錯：

https://weixin.qq.com/cgi-bin/readtemplate?check=false&t=w_indexn73&uin=&stype=10037102&promote=1003799&fr=&

下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程
在「小白學(xué)視覺」公眾號后臺回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實(shí)戰(zhàn)項(xiàng)目52講
在「小白學(xué)視覺」公眾號后臺回復(fù)：Python視覺實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計算機(jī)視覺。

下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講
在「小白學(xué)視覺」公眾號后臺回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個基于OpenCV實(shí)現(xiàn)20個實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~