李航老師《統(tǒng)計學習方法》的代碼實現(xiàn)、課件、作業(yè)等相關資源的最全匯總

李航：畢業(yè)于日本京都大學電氣電子工程系，日本東京大學獲得計算機科學博士學位。1990年至2001年就職于日本NEC 公司中央研究所，任研究員，2001年至2012年就職于微軟亞洲研究院，任高級研究員與主任研究員。2012年至2017年就職于華為技術有限公司諾亞方舟實驗室，任首席科學家、主任。現(xiàn)任字節(jié)跳動科技有限公司人工智能實驗室總監(jiān)，北京大學、南京大學客座教授，IEEE 會士，ACM 杰出科學家，CCF 高級會員。研究方向包括信息檢索，自然語言處理，統(tǒng)計機器學習，及數(shù)據(jù)挖掘。曾出版過三部學術專著，并在頂級國際學術會議和頂級國際學術期刊上發(fā)表過120多篇學術論文，擁有40項授權(quán)美國專利。

李航老師編寫的《統(tǒng)計學習方法》全面系統(tǒng)地介紹了統(tǒng)計學習的主要方法，特別是監(jiān)督學習方法，包括感知機、k近鄰法、樸素貝葉斯法、決策樹、邏輯斯諦回歸與支持向量機、提升方法、em算法、隱馬爾可夫模型和條件隨機場等。除第1章概論和最后一章總結(jié)外，每章介紹一種方法。敘述從具體問題或?qū)嵗胧?，由淺入深，闡明思路，給出必要的數(shù)學推導，便于讀者掌握統(tǒng)計學習方法的實質(zhì)，學會運用。

《統(tǒng)計學習方法》可以說是機器學習的入門寶典，許多機器學習培訓班、互聯(lián)網(wǎng)企業(yè)的面試、筆試題目，很多都參考這本書。?

今天我們將李航老師經(jīng)典的機器學習資源進行匯總，并整理后提供下載。

1. 《統(tǒng)計學習方法》（第二版）

《統(tǒng)計學習方法》第一版于 2012年出版，講述了統(tǒng)計機器學習方法，主要是一些常用的監(jiān)督學習方法。第二版增加了一些常用的無監(jiān)督學習方法，由此本書涵蓋了傳統(tǒng)統(tǒng)計機器學習方法的主要內(nèi)容。

第二版課程目錄：

第1篇 監(jiān)督掌習

第1章統(tǒng)計學習及監(jiān)督學習概論
第2章感知機
第3章k近鄰法
第4章樸素貝葉斯法
第5章決策樹
第6章邏輯斯諦回歸與優(yōu)選熵模型
第7章支持向量機
第8章提升方法
第9章EM算法及其推廣
第10章隱馬爾可夫模型
第11章條件隨機場
第12章監(jiān)督學習方法總結(jié)
第2篇無監(jiān)督學習
第13章無監(jiān)督學習概論
第14章聚類方法
第15章奇異值分解
第16章主成分分析
第17章潛在語義分析
第18章概率潛在語義分析
第19章馬爾可夫鏈蒙特卡羅法

第20章? 潛在狄利克雷分配

第21章? PageRank算法

第22章? 無監(jiān)督學習方法總結(jié)

? ? 附錄A? 梯度下降法

? ? 附錄B? 牛頓法和擬牛頓法

? ? 附錄C? 拉格朗日對偶性

? ? 附錄D? 矩陣的基本子空間

? ? 附錄E? KL散度的定義和狄利克雷分布的性質(zhì)

我們可以看到：《統(tǒng)計學習方法（第2版）》分為監(jiān)督學習和無監(jiān)督學習兩篇，全面系統(tǒng)地介紹了統(tǒng)計學習的主要方法。包括感知機、k近鄰法、樸素貝葉斯法、決策樹、邏輯斯諦回歸與大熵模型、支持向量機、提升方法、EM算法、隱馬爾可夫模型和條件隨機場，以及聚類方法、奇異值分解、主成分分析、潛在語義分析、概率潛在語義分析、馬爾可夫鏈蒙特卡羅法、潛在狄利克雷分配和PageRank算法等。
《統(tǒng)計學習方法（第2版）》比第一版更全面，而且價格也不高（不到100元還有打折）。這本書是統(tǒng)計機器學習及相關課程的教學參考書，適用于高等院校文本數(shù)據(jù)挖掘、信息檢索及自然語言處理等專業(yè)的大學生、研究生，也可供計算機應用等專業(yè)的研發(fā)人員參考。

出于版權(quán)保護，本文不提供電子書下載，請大家購買正版。

2. 《統(tǒng)計學習方法》的代碼實現(xiàn)

《統(tǒng)計學習方法》這本書，附件里并沒有代碼實現(xiàn)，于是許多研究者復現(xiàn)了里面算法的代碼，并放在github里分享，這里介紹幾個比較熱門的《統(tǒng)計學習方法》代碼實現(xiàn)的項目：

?

?1）https://github.com/fengdu78/lihang-code （標星：12k+）

這個倉庫由黃海廣博士整理，已經(jīng)基本整理完畢（第一版、第二版），倉庫的主要內(nèi)容以Jupyter Notebook格式展現(xiàn)，同時介紹書上的主要算法及公式推導。

2) https://github.com/WenDesi/lihang_book_algorithm （標星：4.4k+）

這個倉庫不介紹任何機器學習算法的原理，只是將《統(tǒng)計學習方法》中每一章的算法用我自己的方式實現(xiàn)一遍。除了李航書上的算法外，還實現(xiàn)了一些其他機器學習的算法，這個倉庫用Python代碼實現(xiàn)。(更新完十二章)

3）https://github.com/Dod-o/Statistical-Learning-Method_Code （標星：5.6k+）

這個倉庫力求每行代碼都有注釋，重要部分注明公式來源。具體會追求下方這樣的代碼，學習者可以照著公式看程序，讓代碼有據(jù)可查。(更新完十章)

代碼截圖，注釋完整且規(guī)范

4）https://github.com/SmirkCao/Lihang?（標星：3.6k+）

這個倉庫用markdown編寫，前十二章更新完畢，后面部分也更新了大部分，沒有代碼，但是，公式推導相當全。

3.?《統(tǒng)計學習方法》課件

《統(tǒng)計學習方法》第二版的最新課件是由清華大學深圳研究院的袁春教授制作的。我們一起來看看該課件的主要內(nèi)容。

所有的課件都是 ppt 格式，總共包含 22 章。正好是《統(tǒng)計學習方法》第 2 版的完整內(nèi)容。

完整版下載見文末！

1）https://github.com/datawhalechina/statistical-learning-method-solutions-manual

這個倉庫主要完成了該書（第一版）的全部習題，并提供代碼和運行之后的截圖，里面的內(nèi)容是以統(tǒng)計學習方法的內(nèi)容為前置知識，該習題解答的最佳使用方法是以李航老師的《統(tǒng)計學習方法》為主線，并嘗試完成課后習題，如果遇到不會的，再來查閱習題解答。

由于習題解答中需要有程序和執(zhí)行結(jié)果，采用jupyter notebook的格式進行編寫（文件路徑：notebook/notes），然后將其導出成markdown格式，再覆蓋到docs對應的章節(jié)下。

內(nèi)容截圖：

內(nèi)容截圖

本文搜集了李航老師的《統(tǒng)計學習方法》的相關資源。

以上資源我們已經(jīng)打包整理完畢！需要的可以按照以下方式獲取：

掃碼關注我們的公眾號，回復“l(fā)ihang”獲取下載鏈接。