“16年前，黃煦濤去香港過(guò)圣誕，無(wú)意間發(fā)現(xiàn)一同聚會(huì)的幾位計(jì)算機(jī)視覺(jué)的領(lǐng)軍人物均相差10歲，分別是：1936年出生的黃煦濤、1946年出生的馬頌德、1956年出生的高文、1966年出生的沈向洋。大家便討論下一次聚會(huì)，是否能再找到另一位再年輕10歲的計(jì)算機(jī)視覺(jué)領(lǐng)軍人物，討論迅速指向同一個(gè)人，那便是沈向洋的學(xué)生、1976年出生的孫劍?！?/span>

2020年夏天，陳長(zhǎng)汶教授在全球人工智能與機(jī)器人大會(huì)（GAIR） “Thomas S. Huang紀(jì)念專(zhuān)場(chǎng)—中國(guó)計(jì)算機(jī)視覺(jué)的40年傳承”環(huán)節(jié)，講述了“40年傳承”的由來(lái)。

作為40年傳承故事的主人公，孫劍也連續(xù)三個(gè)夏天（2017-2019）來(lái)到雷峰網(wǎng)GAIR大會(huì)的講臺(tái)，帶著上百頁(yè)幻燈片，毫無(wú)保留地為千名后輩們傳承布道。

然而就在一個(gè)星期前的6月14日，孫劍卻因病離世，這怎不讓人扼腕嘆息。

生平與貢獻(xiàn)

孫劍博士一生專(zhuān)注于科研工作，是人工智能計(jì)算機(jī)視覺(jué)及深度學(xué)習(xí)領(lǐng)域的知名學(xué)者。他的研究成果極大的推動(dòng)了人工智能技術(shù)的發(fā)展和應(yīng)用。孫劍博士的主要研究方向是計(jì)算機(jī)視覺(jué)和計(jì)算攝影學(xué)。自2002年以來(lái)在CVPR、ICCV、ECCV、SIGGRAPH、PAMI五個(gè)頂級(jí)學(xué)術(shù)會(huì)議和期刊上發(fā)表學(xué)術(shù)論文100余篇，Google Scholar引用數(shù)超過(guò)28萬(wàn)次，H-index 121，兩次獲得CVPR Best Paper Award(2009，2016)。

2016年7月，孫劍博士加入曠視，任首席科學(xué)家、曠視研究院院長(zhǎng)。在孫劍博士的帶領(lǐng)下，曠視研究院從十幾人的小團(tuán)隊(duì)發(fā)展成為行業(yè)領(lǐng)先的計(jì)算機(jī)視覺(jué)研究院，研發(fā)了包括移動(dòng)端高效卷積神經(jīng)網(wǎng)絡(luò)ShuffleNet、開(kāi)源深度學(xué)習(xí)框架曠視天元MegEngine、 AI生產(chǎn)力平臺(tái)Brain++等多項(xiàng)創(chuàng)新技術(shù)，引領(lǐng)前沿人工智能應(yīng)用。孫劍博士一手創(chuàng)造了研究院開(kāi)放、平等、自由的文化和工作氛圍并奠定了研究院的使命：持續(xù)創(chuàng)新拓展認(rèn)知邊界；非凡科技成就產(chǎn)品價(jià)值。

代表作ResNet

根據(jù)Google Scholar統(tǒng)計(jì)，孫劍的論文引用數(shù)高達(dá)28萬(wàn)6千余次，引用量排名第一的，正是“深度殘差網(wǎng)絡(luò)（ResNet）”。ResNet是世界上第一個(gè)超過(guò)百層的深度神經(jīng)網(wǎng)絡(luò)，也是深度學(xué)習(xí)領(lǐng)域最重要的研究之一。

在GAIR 2017上，孫劍曾經(jīng)介紹ResNet研究的背景：曾經(jīng)人們不相信深度學(xué)習(xí)網(wǎng)絡(luò)是可以被訓(xùn)練的，從2012年8層的AlexNet之后，一切就都變了。但受各種條件的限制，在這種范式下，網(wǎng)絡(luò)在20層左右的表現(xiàn)最好；直至ResNet的出現(xiàn)，則是讓神經(jīng)網(wǎng)絡(luò)的研究開(kāi)始起飛，進(jìn)入了一個(gè)新的階段。

這一切緣由于神經(jīng)網(wǎng)絡(luò)研究一向的“The Deeper，The Better”（越深越好）的信念：網(wǎng)絡(luò)層數(shù)的加深會(huì)讓網(wǎng)絡(luò)的表達(dá)能力和抽象能力也會(huì)提高；而另一方面，層數(shù)的加深也大幅提高了可供調(diào)整的參數(shù)的數(shù)量，調(diào)整的自由度也越大。換言之，神經(jīng)網(wǎng)絡(luò)的層數(shù)的增加可以在一定程度上彌補(bǔ)網(wǎng)絡(luò)結(jié)構(gòu)精巧性的不足，這也使得“調(diào)參俠”和“煉丹師”的隊(duì)伍進(jìn)一步擴(kuò)大——正如李沐所說(shuō)，假設(shè)你在使用卷積神經(jīng)網(wǎng)絡(luò)，有一半的可能性就是在使用ResNet 或它的變種。

但神經(jīng)網(wǎng)絡(luò)復(fù)雜性的增加的同時(shí)也隨之帶來(lái)一系列的問(wèn)題，如梯度消失/梯度爆炸、過(guò)擬合問(wèn)題、退化問(wèn)題等。ResNet所解決的正是深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的“退化問(wèn)題”，使得訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)成為可能。

如果做個(gè)類(lèi)比，在神經(jīng)網(wǎng)絡(luò)中加入隱藏層，解決了著名的“單層神經(jīng)網(wǎng)絡(luò)為啥擬合不了XOR函數(shù)”是神經(jīng)網(wǎng)絡(luò)從0到1的突破，AlexNet是從1到10的突破，ResNet則是從10到100或者1000，甚至更多的突破。

此外，孫劍的Faster RCNN、Spatial pyramid pooling、Single Image Haze Removal Using Dark Channel Prior、ShuffleNet等代表性研究也在計(jì)算機(jī)視覺(jué)的諸多領(lǐng)域做出了杰出的貢獻(xiàn)。

為了不曾忘卻的紀(jì)念

我們始終相信一句話(huà)：紀(jì)念，是為了不曾忘卻。

在今天凌晨的CVPR 2022開(kāi)幕式上，我們欣慰地看到大會(huì)增加了一個(gè)簡(jiǎn)短的紀(jì)念孫劍博士的環(huán)節(jié)。孫劍是CVPR社區(qū)的活躍者，并曾兩次獲得CVPR的最佳論文?；蛟S個(gè)人的痕跡或許終會(huì)被時(shí)間撫平，但他的智慧將成為世界的一部分。

子曰：君子疾沒(méi)世而名不稱(chēng)焉。傳名于后世，是對(duì)于人生的激勵(lì)；在歷史浩瀚的長(zhǎng)河中，唯有推動(dòng)了歷史進(jìn)步、給世界留下了痕跡的那些東西，才會(huì)真正的存在下去。

在今天這個(gè)悲傷的日子里，我們推出孫劍博士的紀(jì)念專(zhuān)題，追思孫劍博士的生平，緬懷孫劍博士的貢獻(xiàn)，追思人生點(diǎn)滴，學(xué)習(xí)其學(xué)術(shù)思想，并將其發(fā)揚(yáng)。

本期紀(jì)念專(zhuān)題分為四個(gè)部分：

生平與貢獻(xiàn)。在本文中我們已經(jīng)做了簡(jiǎn)要的總結(jié)，若有不當(dāng)之處，敬請(qǐng)?jiān)彙?/span>
研究解讀。對(duì)于無(wú)數(shù)人工智能研究者來(lái)說(shuō)，孫劍是他們成長(zhǎng)路上的良師益友；我們選取了孫劍博士最具代表性的研究解讀，也希望更多人如同孫劍的學(xué)生張祥雨在紀(jì)念孫劍時(shí)所說(shuō)的，接過(guò)衣缽，砥礪前行。
懷念文章。我們最初曾考慮向?qū)O劍的親朋好友們進(jìn)行約稿，回憶與孫劍博士的點(diǎn)滴片段。但綜合考慮后，我們還是決定改為將親朋好友們已寫(xiě)好或發(fā)布的緬懷文章進(jìn)行匯總；
演講整理。包含孫劍的研究理念、前沿研究成果及學(xué)術(shù)與產(chǎn)業(yè)化的思考等。

作為文字工作者，我們相信文字的力量。將孫劍博士的研究解讀、懷念文章和演講整理匯總與此，是我們能想到的對(duì)孫劍博士最好的紀(jì)念；也希望后來(lái)者以此對(duì)照自己，見(jiàn)賢，思齊；并沿著前人開(kāi)拓的道路，既往，開(kāi)來(lái)。

研究與解讀

殘差網(wǎng)絡(luò)解決了什么，為什么有效？

懷念與追憶