深度學(xué)習(xí):方法及應(yīng)用
序言
譯者序
深度學(xué)習(xí)是目前人工智能、機(jī)器學(xué)習(xí)領(lǐng)域異?；馃岬难芯糠较?，受到了學(xué)術(shù)界和工業(yè)界的高度關(guān)注，被《麻省理工學(xué)院技術(shù)評(píng)論》（MIT Technology Review）評(píng)為2013年十大突破性技術(shù)之首。深度學(xué)習(xí)已經(jīng)在語音識(shí)別、圖像識(shí)別、自然語言處理等諸多領(lǐng)域取得了突破性進(jìn)展，對(duì)學(xué)術(shù)界和工業(yè)界產(chǎn)生了深遠(yuǎn)的影響。本書原著的作者——微軟研究院的鄧力博士和俞棟博士是最早將深度學(xué)習(xí)技術(shù)付諸于語音識(shí)別工業(yè)級(jí)實(shí)踐的專家，他們和深度學(xué)習(xí)專家多倫多大學(xué)Geoffrey Hinton教授合作，最早將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于大詞匯量連續(xù)語音識(shí)別領(lǐng)域中，使相對(duì)識(shí)別錯(cuò)誤率降低了20%以上。
作為多年的導(dǎo)師和好朋友，兩位專家將這本書的中文翻譯任務(wù)交付給我，我倍感榮幸。此次中譯本是在忠于原著的基礎(chǔ)上進(jìn)行翻譯的，既涉及深度學(xué)習(xí)的背景和基本概念，又涉及常用的模型與方法，同時(shí)包含深度學(xué)...
序言
譯者序
深度學(xué)習(xí)是目前人工智能、機(jī)器學(xué)習(xí)領(lǐng)域異?；馃岬难芯糠较?，受到了學(xué)術(shù)界和工業(yè)界的高度關(guān)注，被《麻省理工學(xué)院技術(shù)評(píng)論》（MIT Technology Review）評(píng)為2013年十大突破性技術(shù)之首。深度學(xué)習(xí)已經(jīng)在語音識(shí)別、圖像識(shí)別、自然語言處理等諸多領(lǐng)域取得了突破性進(jìn)展，對(duì)學(xué)術(shù)界和工業(yè)界產(chǎn)生了深遠(yuǎn)的影響。本書原著的作者——微軟研究院的鄧力博士和俞棟博士是最早將深度學(xué)習(xí)技術(shù)付諸于語音識(shí)別工業(yè)級(jí)實(shí)踐的專家，他們和深度學(xué)習(xí)專家多倫多大學(xué)Geoffrey Hinton教授合作，最早將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于大詞匯量連續(xù)語音識(shí)別領(lǐng)域中，使相對(duì)識(shí)別錯(cuò)誤率降低了20%以上。
作為多年的導(dǎo)師和好朋友，兩位專家將這本書的中文翻譯任務(wù)交付給我，我倍感榮幸。此次中譯本是在忠于原著的基礎(chǔ)上進(jìn)行翻譯的，既涉及深度學(xué)習(xí)的背景和基本概念，又涉及常用的模型與方法，同時(shí)包含深度學(xué)習(xí)在不同領(lǐng)域中的應(yīng)用。本書共有12章，具體內(nèi)容包括：引言、深度學(xué)習(xí)的歷史、三類深度學(xué)習(xí)網(wǎng)絡(luò)、深度自編碼器、預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)、深度堆疊網(wǎng)絡(luò)及其變種、語音和音頻處理中的應(yīng)用、在語言模型和自然語言處理中的相關(guān)應(yīng)用、信息檢索領(lǐng)域中的應(yīng)用、在目標(biāo)識(shí)別和計(jì)算機(jī)視覺中的應(yīng)用、多模態(tài)和多任務(wù)學(xué)習(xí)中的典型應(yīng)用、結(jié)論。
本書的翻譯除了受到原著作者的指導(dǎo)，也受到了張蓬副教授、陳小敏、呂航、丁闖、孫思寧、何長青、樊博、張弼弘、張彬彬、周祥增的幫助，在此表示感謝。同時(shí)感謝機(jī)械工業(yè)出版社的大力支持與推動(dòng)。沒有他們的幫助，本書的翻譯是無法促成的。
由于深度學(xué)習(xí)技術(shù)是一個(gè)快速發(fā)展的方向，新的模型和應(yīng)用層出不窮，加之本人學(xué)識(shí)有限以及中英文語言表達(dá)、術(shù)語翻譯上的差異，書中難免存在錯(cuò)誤，還請(qǐng)廣大讀者指正與原諒。建議讀者在學(xué)習(xí)過程中和英文原著一起閱讀，并參考本書引用的參考文獻(xiàn)，以便提高學(xué)習(xí)和理解效果。
謝磊
原書序
“這本書對(duì)最前沿的深度學(xué)習(xí)方法及應(yīng)用進(jìn)行了全面的闡述，不僅包括自動(dòng)語音識(shí)別(ASR)，還包括計(jì)算機(jī)視覺、語言建模、文本處理、多模態(tài)學(xué)習(xí)以及信息檢索。在深度學(xué)習(xí)這一領(lǐng)域，這是第一本，也是最有價(jià)值的一本書，能使讀者對(duì)這一領(lǐng)域進(jìn)行廣泛而深入的學(xué)習(xí)。深度學(xué)習(xí)對(duì)信息處理的很多方面（尤其對(duì)語音識(shí)別）都具有重大的影響，甚至對(duì)整個(gè)科技領(lǐng)域的影響也不容忽視。因此，對(duì)于有意了解這一領(lǐng)域的學(xué)者，這本書是絕對(duì)不容錯(cuò)過的?！?/p>
——Sadaoki Furui，芝加哥豐田技術(shù)研究院院長，日本東京工業(yè)大學(xué)教授
如前所述，深度學(xué)習(xí)指的是一類廣泛的機(jī)器學(xué)習(xí)技術(shù)和架構(gòu)，其特點(diǎn)是采用多層的非線性信息處理方法，這種方法在本質(zhì)上是分層的。根據(jù)這些結(jié)構(gòu)和技術(shù)不同的應(yīng)用領(lǐng)域，如合成／生成或識(shí)別／分類，我們可以大致把這些結(jié)構(gòu)分為三類：
（1）無監(jiān)督或生成式學(xué)習(xí)的深度網(wǎng)絡(luò)針對(duì)模式分析和合成任務(wù)，用于在沒有目標(biāo)類標(biāo)簽信息的情況下捕捉觀測到的或可見數(shù)據(jù)的高階相關(guān)性。各種文獻(xiàn)中的無監(jiān)督特征或表達(dá)學(xué)習(xí)指的就是這一類深度網(wǎng)絡(luò)。當(dāng)用于生成模式時(shí)，它也可以用來描述可見數(shù)據(jù)和其相關(guān)分類的聯(lián)合概率分布，此時(shí)它具有可利用的類別標(biāo)簽，而且這些類別標(biāo)簽被看作是可見數(shù)據(jù)的一部分。在后一種情況中，利用貝葉斯準(zhǔn)則可以把生成式學(xué)習(xí)網(wǎng)絡(luò)轉(zhuǎn)換為判別式學(xué)習(xí)網(wǎng)絡(luò)。
（2）有監(jiān)督學(xué)習(xí)的深度網(wǎng)絡(luò) 直接提供用于模式分類目的的判別能力，它的特點(diǎn)是描述了可見數(shù)據(jù)條件下的類別后驗(yàn)分布。對(duì)于這種有監(jiān)督的學(xué)習(xí)，目標(biāo)類別標(biāo)簽總是以直接或間接形式給出，所以它們也被稱作判別式深度網(wǎng)絡(luò)。
（3）混合深度網(wǎng)絡(luò) 目標(biāo)是判別式模型，往往以生成式或無監(jiān)督深度網(wǎng)絡(luò)的結(jié)果作為重要輔助，可以通過更好地優(yōu)化和正則化類別（2）中的深度網(wǎng)絡(luò)來實(shí)現(xiàn)，也可以通過在對(duì)類別（1）中所述的深度生成式或無監(jiān)督深度網(wǎng)絡(luò)的參數(shù)進(jìn)行估計(jì)時(shí)，使用判別式準(zhǔn)則來實(shí)現(xiàn)。