上海交大ACM班俞勇團(tuán)隊(duì)出新書(shū)了！

說(shuō)起俞勇，想必大家都不陌生。

北有清華姚班，南有上海交大ACM班。

作為“上海交大ACM班總教頭”，2002年，他帶領(lǐng)學(xué)生為亞洲首次奪得ACM國(guó)際大學(xué)生程序設(shè)計(jì)競(jìng)賽世界冠軍，短短8年就斬獲三次世界總冠軍。而且他創(chuàng)辦的中國(guó)第一個(gè)計(jì)算機(jī)特長(zhǎng)班“上海交大ACM班”，成為了中國(guó)AI人才界名副其實(shí)的“黃埔軍?！?。

大家熟悉的《動(dòng)手學(xué)深度學(xué)習(xí)》作者、亞馬遜資深首席科學(xué)家的李沐；

曾提出火爆機(jī)器學(xué)習(xí)社區(qū)的XGBoost 算法，如今是卡耐基梅隆大學(xué)助理教授的陳天奇；

因在NLP領(lǐng)域的卓越成就，入選2020年“福布斯30位30歲以下科學(xué)精英榜”佐治亞理工學(xué)院的助理教授楊笛一；

還有前字節(jié)跳動(dòng)人工智能實(shí)驗(yàn)室總監(jiān)李磊、第四范式創(chuàng)始人戴文淵、美國(guó)賓州州立大學(xué)終身教授黎珍輝等一大批計(jì)算機(jī)界的牛人，都是在俞勇教授的課堂中成長(zhǎng)的。

培養(yǎng)中國(guó)的計(jì)算機(jī)科學(xué)家，是俞勇教授一直以來(lái)的目標(biāo)，他還有一個(gè)憧憬，便是期望有一天他的學(xué)生能夠獲得圖靈獎(jiǎng)。

為此，他為ACM班請(qǐng)了最好的老師；開(kāi)設(shè)了一系列前沿且創(chuàng)新的課程，諸如強(qiáng)化學(xué)習(xí)課程等；邀請(qǐng)IT界大咖開(kāi)展交流分享會(huì)。除此之外，俞勇還想打破教育資源不平衡的壁壘，為中國(guó)培養(yǎng)更多的IT人才，于是，俞勇教授創(chuàng)立了伯禹教育。

這是俞勇教授的堅(jiān)守。

同樣地，今天，給大家?guī)?lái)的這本來(lái)自俞勇教授團(tuán)隊(duì)的《動(dòng)手學(xué)強(qiáng)化學(xué)習(xí)》，也有異曲同工之妙——讓優(yōu)秀的強(qiáng)化學(xué)習(xí)教材走出ACM班，分享給每一位求學(xué)者。

在俞勇教授看來(lái)：

那怎么辦呢？

這本源自上海交通大學(xué)強(qiáng)化學(xué)習(xí)課程的《動(dòng)手學(xué)強(qiáng)化學(xué)習(xí)》給了我們答案。

畢竟，這真的是一本受到了多位專(zhuān)家教授檢閱，還在上海交通大學(xué)中教學(xué)實(shí)踐過(guò)的教材！

書(shū)籍作者之一張偉楠副教授在上海交通大學(xué)致遠(yuǎn)學(xué)院、電子信息與電氣工程學(xué)院為大三本科生開(kāi)設(shè)了強(qiáng)化學(xué)習(xí)課程，占 2個(gè)學(xué)分。

在 2021 年春季上海交通大學(xué)致遠(yuǎn)學(xué)院 ACM 班的強(qiáng)化學(xué)習(xí)課程中，作者團(tuán)隊(duì)嘗試以在線Python Notebook 的形式為學(xué)生提供課程輔助材料和代碼小作業(yè)。

在 2021 年秋季電子信息與電氣工程學(xué)院AI 專(zhuān)業(yè)的強(qiáng)化學(xué)習(xí)課程中，作者團(tuán)隊(duì)通過(guò)在線平臺(tái)向?qū)W生完全公開(kāi)了學(xué)習(xí)材料，并以“動(dòng)手學(xué)強(qiáng)化學(xué)習(xí)”作為主要的課后學(xué)習(xí)形式，這種形式獲得了學(xué)生更加積極的反饋。

基于在強(qiáng)化學(xué)習(xí)研究和教學(xué)中的經(jīng)驗(yàn)，俞勇團(tuán)隊(duì)寫(xiě)作了這本《動(dòng)手學(xué)強(qiáng)化學(xué)習(xí)》。他們的初衷更是為了探索一種更好的強(qiáng)化學(xué)習(xí)教學(xué)方式，為我國(guó)強(qiáng)化學(xué)習(xí)的人才培養(yǎng)貢獻(xiàn)一份力量。

多么無(wú)私的想法啊！

俞勇團(tuán)隊(duì)結(jié)合多年編程教育、強(qiáng)化學(xué)習(xí)經(jīng)驗(yàn)以及學(xué)生反饋，打造了這本強(qiáng)化學(xué)習(xí)入門(mén)佳作，從“基礎(chǔ)”“進(jìn)階”“前沿”“展望”四個(gè)方面著手，讓讀者不僅能掌握強(qiáng)化學(xué)習(xí)的理論知識(shí)，更能掌握真正運(yùn)用強(qiáng)化學(xué)習(xí)的能力。

令小異最驚喜的是，這本書(shū)的主要特點(diǎn)有四點(diǎn)，而這四點(diǎn)又正好是我們自學(xué)強(qiáng)化學(xué)習(xí)最好的四大步驟！

俞勇教授真不愧是“國(guó)家級(jí)教學(xué)名師”啊！

對(duì)于書(shū)籍內(nèi)容和結(jié)構(gòu)的安排太贊啦！

首先，這本書(shū)不僅注重理論基礎(chǔ)，還兼顧了公式推導(dǎo)。

這本書(shū)主要包含 3 個(gè)部分內(nèi)容：

小異拿到這本書(shū)的時(shí)候都驚呆了！

要知道，現(xiàn)在市面上的強(qiáng)化學(xué)習(xí)教材是無(wú)法在把理論知識(shí)通俗易懂地講解出來(lái)的同時(shí)，做到把公式也一步步推導(dǎo)出來(lái)的。許多教材是先出“入門(mén)版”，再配套出“公式推導(dǎo)版”。

可能，有剛剛?cè)腴T(mén)的小伙伴會(huì)有疑惑：

怎么說(shuō)呢，你剛剛?cè)腴T(mén)時(shí)是應(yīng)該重點(diǎn)關(guān)注理論基礎(chǔ)，畢竟“基礎(chǔ)不牢，地動(dòng)山搖”，但是，當(dāng)你學(xué)得越來(lái)越深入，公式推導(dǎo)的重要性越發(fā)重要。

一來(lái)，要想掌握理論背后的物理、數(shù)學(xué)含義，你需要進(jìn)行公式推導(dǎo)；

二來(lái)，要想知道某種理論的適用范圍，你需要通過(guò)公式推導(dǎo)；

三來(lái)，要想對(duì)比不同算法的優(yōu)越性，對(duì)比不同模型的適配度，你需要對(duì)底層公式推導(dǎo)有著清晰的認(rèn)識(shí)。

最后，但是特別重要的一點(diǎn)，要想熟練編寫(xiě)代碼和理解算法，你需要深入公式推導(dǎo)，畢竟這是寫(xiě)代碼的目的所在。

小異記得有一個(gè)段子是這樣說(shuō)的：“理論再好，代碼難搞。公式推導(dǎo)，明年博導(dǎo)?。?！”

雖然有些搞笑，但是說(shuō)的還是在理的。

給你看個(gè)這本書(shū)的公式推導(dǎo)過(guò)程，這步驟清晰得讓新手完全不同經(jīng)歷那種“公式不知道用在哪里，公式不知道怎么推導(dǎo)出來(lái)的“抓狂體驗(yàn)：

一本讓理論基礎(chǔ)和公式推導(dǎo)相輔相成，讓你入門(mén)更加輕松的書(shū)籍，不香嗎？

對(duì)于初學(xué)者而言，強(qiáng)化學(xué)習(xí)一難在理論，二難在代碼實(shí)戰(zhàn)。

而這本書(shū)開(kāi)始就為你解決了理論基礎(chǔ)和公式推導(dǎo)的難題，接下來(lái)的代碼難關(guān)也為你提供了解決之道。

在ACM 班的強(qiáng)化學(xué)習(xí)課程中，作者們嘗試以在線 Python Notebook 的形式為學(xué)生提供課程輔助材料和代碼小作業(yè)。對(duì)于一個(gè)強(qiáng)化學(xué)習(xí)主題單元，他們將原理講解部分（包括配圖和公式）與對(duì)應(yīng)的代碼實(shí)踐部分耦合，使學(xué)生在學(xué)習(xí)完一個(gè)原理知識(shí)點(diǎn)后能立即以代碼實(shí)踐的形式學(xué)習(xí)其實(shí)現(xiàn)方式。

更重要的是，這樣的代碼塊可以直接在線運(yùn)行和修改，也就是說(shuō)學(xué)生可以在一個(gè) Notebook 里完成對(duì)一個(gè)強(qiáng)化學(xué)習(xí)主題單元的原理學(xué)習(xí)和代碼實(shí)踐。

從上海交通大學(xué)的學(xué)生的反饋來(lái)看，這樣的學(xué)習(xí)方式能幫助他們更好地將理論知識(shí)點(diǎn)和實(shí)踐能力點(diǎn)對(duì)應(yīng)，也能幫助老師更高效地授課、布置和批改作業(yè)。

所以，這本書(shū)就沿用了這種方法。理論與實(shí)踐并重，提供配套的線上代碼實(shí)踐平臺(tái)，通過(guò)展示源碼的編寫(xiě)和運(yùn)行過(guò)程，讓讀者進(jìn)一步掌握強(qiáng)化學(xué)習(xí)算法的運(yùn)行機(jī)制，幫助讀者通過(guò)實(shí)踐加深對(duì)理論的理解。

書(shū)中提供的代碼都是基于?Python 3?編寫(xiě)的，此外，考慮到目前 PyTorch 機(jī)器學(xué)習(xí)框架比較受歡迎，本書(shū)中的代碼在涉及自動(dòng)求導(dǎo)時(shí)皆使用?PyTorch 框架實(shí)現(xiàn)。

每一章的內(nèi)容都提供了Jupyter Notebook鏈接，可以在線直接運(yùn)行。每一份示例代碼中都包含可以由讀者自行設(shè)置的變量，方便讀者進(jìn)行修改并觀察相應(yīng)的結(jié)果，從而加深對(duì)算法的理解。

書(shū)中的一些關(guān)鍵代碼都有相應(yīng)注釋，特別適合那些對(duì)編程很吃力的初學(xué)者。

一本落地性強(qiáng)，讓你無(wú)懼代碼的實(shí)戰(zhàn)書(shū)，不想收入囊中嗎？

對(duì)于自學(xué)一種新技術(shù)，我們要么是通過(guò)購(gòu)買(mǎi)一本入門(mén)教材，要么是到網(wǎng)上尋找大師視頻課程進(jìn)行學(xué)習(xí)。

而這本書(shū)，就提供了一種兼顧教材和網(wǎng)課的學(xué)習(xí)方法，能讓你系統(tǒng)地學(xué)習(xí)強(qiáng)化學(xué)習(xí)。這也是它的最大優(yōu)勢(shì)之一。

作者團(tuán)隊(duì)為這本書(shū)錄制了在線視頻，讀者可掃描書(shū)中的二維碼進(jìn)行學(xué)習(xí)，也可在網(wǎng)站（https://www.boyuai.com/elites/course/xVqhU42F5IDky94x）中進(jìn)行學(xué)習(xí)。

每一章節(jié)課程結(jié)束之后，都會(huì)提供課后練習(xí)，幫助你消化所學(xué)知識(shí)。

你可以在討論區(qū)提問(wèn)，作者團(tuán)隊(duì)會(huì)在線答疑，避免學(xué)習(xí)的迷茫期。

提供配套課件，教師可以采用其進(jìn)行授課，特別方便。

一本追求卓越，最全面滿足初學(xué)者需求的強(qiáng)化學(xué)習(xí)百寶書(shū)，不心動(dòng)嗎？

心動(dòng)不如行動(dòng)，正如這本書(shū)的書(shū)名說(shuō)的那樣，快去擁有這本書(shū)，開(kāi)始動(dòng)手學(xué)強(qiáng)化學(xué)習(xí)吧！