2022選擇了交大,回顧這一年的成長
作者：王琦，上海交通大學，Datawhale成員
2022年是頗為忙碌的一年，今年我從中國科學院大學畢業(yè)、申請上了上海交通大學的博士、參與貢獻了開源教程“Easy-RL”（5.6K GitHub Stars）、出版了著作《Easy RL：強化學習教程》，?“蘑菇書”??得到了多位強化學習領域專家的推薦，被評為人民郵電出版社的季度好書，并被國家圖書館收錄、拿到了 Datawhale 的致卓獎。
這一年經歷了很多事情，也有不少的收獲，有一些觀點跟強化學習的思想不謀而和（強化學習可能是能夠實現(xiàn)通用人工智能的一種途徑，其中的算法設計思想值得推敲）。
選擇長期的價值
1.選擇交大讀博
在做決策的時候，很容易短視，對短期價值更加看重。碩士的最后一個學期，我就面臨一個相當重要的決策：就業(yè)或者繼續(xù)深造。身邊大部分同學都選擇了就業(yè)，拿到了年薪不錯的 offer。如果這個時候，我比較考慮短期的價值，就應該隨波逐流，直接選擇就業(yè)。但我的目標是進高校或研究所，繼續(xù)科研工作。除了讀博，其實我做開源也是選擇長期的價值。做開源這件事并不能帶給我一些直接的、短期的價值，相反，我需要花費大量的時間來對開源項目進行維護。但從長期的角度來看，開源可以不僅鍛煉我學習的能力，還可以讓我認識更多志趣相投的小伙伴。
2.覺得 Datawhale 做的事情有意義
或許可以從另一個角度來考慮長期收益的事情。我很喜歡喬布斯斯坦福演講中關于因果相連的一個故事。喬布斯當年在里德學院選擇了一門書法課進行學習，他學習書法純粹是出于興趣，并沒有覺得這是一個很有用的課程。但當喬布斯后來設計第一臺蘋果電腦的時候，需要設計字體，這個時候，之前書法課的知識就起作用了。利用之前學到的書法知識，喬布斯設計出了豐富、美妙的蘋果電腦字體。類似地，當時我加入Datawhale，只是覺得 Datawhale 做的事情很有意義，并沒有考慮太多。后來能夠在Datawhale以及人民郵電出版社陳冀康老師（以下簡稱陳老師）的牽頭下出版書籍，并且這段經歷為我申博增添了不少亮點，完全是我意料之外的事情。
平衡探索與利用
3.感受到做筆記的
好處
如何平衡探索與利用也是一個值得思考的問題。一般來說，大家更傾向于利用，因為這樣成本最低，風險最低，結果也是在預知內的，可控的。做筆記就是利用的一種實現(xiàn)方法，通過做筆記把一些經驗、知識以及可能遇到的問題記錄下來，這樣做的好處是，如果遇到相同的問題，可以直接查看自己的筆記（自己的筆記相比別人的總結更加容易理解）。
4.不斷嘗試一些新工具/新技巧
如果一直是利用也會導致一些問題，利用意味著我們是在舒適區(qū)，如果想去學習區(qū)，則要嘗試著使用一些新工具/新技巧，接受一些新想法，這樣才能不斷地進步。Think different，在解決一些任務的時候，可以想想我們怎樣才能做得更好，是不是采取一些與之前不一樣的方法。舉個例子，在日常工作，完成一些任務的時候，我們一般都會有一套工具鏈：比如寫文檔用 Word/LaTeX/Markdown，數(shù)據(jù)分析用 Excel/Python，展示匯報用 PPT。而這套工具鏈是可以不斷改進的，不斷嘗試一些新工具/新技巧，可以讓你的工作效率不斷提升。
學會模仿學習
5.模仿學習優(yōu)秀項目
在一開始學習新東西的時候，我們很難達到一個專業(yè)的高度。這種情況，就有一個比較常用的技巧：模仿專家的學習。當時我準備設計“Easy-RL”的時候，Datawhale 已經有非常棒的開源項目：“南瓜書”、Joyful-Pandas等，于是我花了一段時間研究這些開源項目，學習這些項目的優(yōu)秀之處。通過這樣的模仿學習，“Easy-RL”作為開源項目，其雛形至少是比較標準的。
在進行模仿學習的時候，有一點很重要，我們要善于觀察。福爾摩斯里面有句話很有啟發(fā)：“You see, but you do not observe（你是在看，而不是在觀察）”。學會觀察這些項目成功的地方。這個技巧對于寫論文也是適用的。要想寫出優(yōu)秀的論文，一開始都要閱讀大量的優(yōu)秀論文，觀察這些論文的排篇布局、遣詞造句，不斷積累才能寫出一篇像樣的論文。
6.思考底層原因
當然，我們也可以使用“吸星大法”，直接模仿優(yōu)秀人的學習，觀察他們值得學習的習慣或思考方式。但使用“吸星大法”的話，一定要注意有批判地“吸收”，切忌拿來主義，不要只是模仿別人，而沒有自己的思考?？吹絼e人這樣做的時候，要思考下他這樣做的底層原因，從而達到靈活變通，最終實現(xiàn)“青出于藍而勝于藍”。
接受反饋，才能快速成長
7. 接受反饋能快速成長
很多時候，我們的認知是存在思維定式的。如果這個時候，能有其他人從他的角度給出建議，這肯定是大有裨益的。接受反饋，能夠讓人快速成長。舉個例子，大家如果想要發(fā)表論文，不僅需要寫完論文，還要發(fā)給審稿人看，也就是有 peer review（同行評審），同行會對你的論文進行評價，然后給出大量建議，這些建議能夠讓你的論文更加完善。
8. 開源帶來大量反饋
開源可以帶來大量的反饋，在 Datawhale 做開源項目，會有很多來自不同渠道的反饋。比如“南瓜書”的作者謝文睿（睿哥）給我提供了不少如何做好開源項目的建議，這些建議都很有借鑒性。跟馬燕鵬老師合作，開展了“蘑菇書”的組隊學習，學習者在學習過程中也給出了很棒的建議。除此之外，GitHub 的讀者會在 issue 區(qū)，微信讀者群的讀者會在微信群提建議，這些建議讓“蘑菇書”越來越好。后續(xù)在出版的時候，“蘑菇書”的責編郭媛老師以及出版社的陳老師、校對老師針對出版的要求，給出了相當專業(yè)的建議。不得不說，“蘑菇書”其實是群策群力的結果，里面有眾多小伙伴的智慧。
除了開源項目以及出版的反饋，還有表達上的反饋。有一次我在Datawhale內部做了一個分享，分享后沒一會兒，有組織成員給我打了一個微信電話，非常細心地提供了很多做公開分享的建議（比如語速過快的解決方法），受益良多。后續(xù)參加分享時，根據(jù)提出的建議，我做出了一些改進，相比之前，分享效果更好了。
三個臭皮匠，頂個諸葛亮
9.三個人一起進步
多個智能體能夠更好地學習，“一個人可能走得快，一群人才能走得遠”。在 Datawhale 中，我找到了很好的合作者：楊毅遠（以下簡稱毅遠），江季（以下簡稱季哥），三個人的通力協(xié)作才有了“蘑菇書”。有了毅遠和季哥的加入，“蘑菇書”的內容豐富了許多，不僅有理論知識，還有算法實戰(zhàn)、面試題、習題。此外，我們三個人還會分享學習經驗、工具技巧等等，三個人一起進步！
“蘑菇書”的小伙伴們
在“蘑菇書”出版時，陳老師也賦詩一首：
三師三校三友著，深入寶山采蘑菇。 為繼共學做晚廚，RL自此無難處。
放寬心，不斷試錯
10.最好先動起來
放寬心，保持良好的心態(tài)，不斷試錯。當然，我們不能盲目地試錯，要先經過一定的分析，把事情想清楚，再開始行動。但有時候考慮太多，瞻前顧后，會導致過多的顧慮，從而遲遲不肯行動，這種情況最好先“動起來”。當人開始做事的時候，注意力都在解決問題上，焦慮就少了許多?！傲魉粻幭龋瑺幍氖翘咸喜唤^”，“日拱一卒，功不唐捐”，有的時候，堅持的力量真的超過我們的想象。
最后用一句我很喜歡的話來結尾吧：“stay hungry，stay foolish（求知若饑，虛心若愚）。”整理不易， 點 贊 三連 ↓