送書：周志華新作《機(jī)器學(xué)習(xí)理論導(dǎo)引》
每周送書，絕不錯過！
本周具體送書名單和抽獎方式見文末
最近在讀《機(jī)器學(xué)習(xí)理論導(dǎo)引》。這本書是西瓜書的作者周志華老師領(lǐng)銜、南大LAMDA四位教授共同撰寫的新書，權(quán)威就自不必說。封面畫了一只充滿了阿里巴巴和四十大盜風(fēng)格的木箱子，一看就是童話故事官方指定用來裝寶貝的那一種，大家就按慣例起了個綽號，叫“寶箱書”。
?
剛接觸機(jī)器學(xué)習(xí)應(yīng)該都有一個共同的感覺，就是機(jī)器學(xué)習(xí)不太好學(xué)習(xí)。主要的難題有兩個，第一個自然是數(shù)學(xué)，機(jī)器學(xué)習(xí)需要大量的數(shù)學(xué)基礎(chǔ)知識，一個個張牙舞爪的數(shù)學(xué)公式很容易讓人望而卻步。可是，當(dāng)我們好不容易鼓起勇氣，為了學(xué)好機(jī)器學(xué)習(xí)，決心和數(shù)學(xué)死磕到底，我們很快又會遇到第二個難題，知識面太過寬泛，就算愿意硬啃，也讓人無從下嘴。
我在以前的文章反復(fù)說過，機(jī)器學(xué)習(xí)是算法，不是一種算法，是一群算法的總稱。機(jī)器學(xué)習(xí)雖然要求解的問題來來去去就那幾個大類，但解題思路是一個賽一個精奇，不同思想下設(shè)計(jì)出來的算法自然也就猶如八仙過海。精彩是挺精彩的，但是自然涉及的數(shù)學(xué)基礎(chǔ)自然五花八門，從學(xué)習(xí)的角度來看，總感覺要學(xué)的東西東一塊西一塊的不成體系，缺乏一條循序漸進(jìn)的主軸，甚至連起點(diǎn)在哪里都不太好找。
?
《機(jī)器學(xué)習(xí)理論導(dǎo)引》就是要解決這個問題。這本書的定位是“給學(xué)習(xí)和研究機(jī)器學(xué)習(xí)理論提供一個入門引導(dǎo)”，這話是我從書里抄的，寫得相當(dāng)官方，如果沒看完這本書，光看這句話確實(shí)不太容易明白究竟是什么意思。其實(shí)很簡單，我們學(xué)習(xí)一門知識，習(xí)慣上總是從基礎(chǔ)學(xué)習(xí)，畢竟從小就說要夯實(shí)基礎(chǔ)再往上學(xué)嘛。可是，上面已經(jīng)說了，機(jī)器學(xué)習(xí)的理論知識客觀上確實(shí)存在并非同根同源的問題，真的能找到所謂的“機(jī)器學(xué)習(xí)基礎(chǔ)理論知識”嗎？
?
答案是可以的。機(jī)器學(xué)習(xí)算法腦洞頻閃，但既然都叫機(jī)器學(xué)習(xí)，那自然都能抽象出一些共同的特點(diǎn)來，能夠被歸入同一套學(xué)習(xí)框架之中。這套從機(jī)器學(xué)習(xí)中通過高度抽象而來理論框架，就叫學(xué)習(xí)理論，顧名思義，是專門研究機(jī)器學(xué)習(xí)如何學(xué)習(xí)的理論體系，是機(jī)器學(xué)習(xí)算法理論的理論，這也是《機(jī)器學(xué)習(xí)理論導(dǎo)引》的主要內(nèi)容。
?
如果你對這個詞很陌生，不要緊，它是本篇的主角，接下來我們會用很長的篇幅介紹學(xué)習(xí)理論到底都研究哪些問題。總而言之，和機(jī)器學(xué)習(xí)算法散漫的知識點(diǎn)相比，學(xué)習(xí)理論顯然更為系統(tǒng)，看上去更符合我們平時印象當(dāng)中的“基礎(chǔ)理論體系”。
?
那難道其它教材都不知道有學(xué)習(xí)理論的存在嗎？當(dāng)然不是，實(shí)際上很多的機(jī)器學(xué)習(xí)教材都有涉及。不過，市面上機(jī)器學(xué)習(xí)的教材主要還是著眼于算法，對學(xué)習(xí)理論的介紹通常分散在不同的章節(jié)當(dāng)中，仍然無法避免知識點(diǎn)割裂的問題。另一些教材為了強(qiáng)調(diào)邏輯的關(guān)聯(lián)，選擇了另一個極端，即只選擇學(xué)習(xí)理論中具體的某一種深入介紹，有一點(diǎn)研究專著的意思，這種選擇確實(shí)能夠避免了割裂問題，但同時也只好犧牲了知識的全面性。
?
教材市場的這種現(xiàn)狀其實(shí)并不奇怪，癥結(jié)在于機(jī)器學(xué)習(xí)的基礎(chǔ)理論一點(diǎn)也不“基礎(chǔ)”。我們說過，學(xué)習(xí)理論是機(jī)器學(xué)習(xí)理論的理論，是高度抽象的學(xué)習(xí)理論框架。看到“高度抽象”幾個字，你也許會突然明白點(diǎn)什么。初次翻《機(jī)器學(xué)習(xí)理論引導(dǎo)》，特別是以前已經(jīng)看過一些機(jī)器學(xué)習(xí)相關(guān)教材的同學(xué)，可能會有種用頭霧水的感覺。我們習(xí)慣看到機(jī)器學(xué)習(xí)的書里面用不同的章節(jié)介紹線性模型、決策樹、神經(jīng)網(wǎng)絡(luò)之類的知識，但《機(jī)器學(xué)習(xí)理論導(dǎo)引》這本書卻不是這么回事，翻開目錄，除了第一章預(yù)備知識里提了一嘴支持向量機(jī)，正片里全是可學(xué)性、復(fù)雜度、遺憾界之類搞不清從哪冒出來的怪詞，搞不清和我們過往熟悉的那一套機(jī)器學(xué)習(xí)知識都有什么關(guān)聯(lián)，自然就不太容易搞清楚應(yīng)該怎樣閱讀。
這也正是本文的重點(diǎn)，這本書書名叫《機(jī)器學(xué)習(xí)理論導(dǎo)引》，定位是“導(dǎo)引”，不過正如上面所說，學(xué)習(xí)理論高度抽象，連《導(dǎo)引》翻開都是陌生艱澀的名詞，容易讓人摸不著頭腦。我想，如果再有一篇《導(dǎo)引》的導(dǎo)引，介紹一下這本書都寫了些什么內(nèi)容，都有什么作用，又是按什么邏輯串在一起的，讀起來也許就友好多了。
那么接下來我們就專聊怎么讀的問題。《機(jī)器學(xué)習(xí)理論導(dǎo)引》這本書介紹的是機(jī)器學(xué)習(xí)中的學(xué)習(xí)理論，本書一共八個章節(jié)，除了第一章預(yù)備知識外，每章介紹一種學(xué)習(xí)理論的問題，一共介紹了七種重要概念和理論工具。“七”這個數(shù)字在周老師看來有著非凡意義，周老師在前言里自曝是武俠迷，“七”讓他一下想起了古龍先生的代表作《七種武器》，而第七種武器正好是“什么都能往里裝”的神奇箱子。周老師說，他忍不住要致敬《七種武器》，這就有了封面的寶箱，“寶箱書”也因此而得名。
學(xué)習(xí)理論的研究對象是機(jī)器學(xué)習(xí)是怎樣學(xué)習(xí)的，很多的課題，哪怕此前已經(jīng)對機(jī)器學(xué)習(xí)有所了解，可能剛接觸時仍會感到陌生。要比較流暢地閱讀本書，首先需要了解《機(jī)器學(xué)習(xí)理論導(dǎo)引》是根據(jù)怎樣的組織邏輯、按照怎樣的主線介紹學(xué)習(xí)理論。
首先講的是可學(xué)性，這是學(xué)習(xí)理論的基礎(chǔ)。先說說“可學(xué)性”這個詞，是不是給人一種每一個字我都認(rèn)識，但合在一起就不知道是什么意思的感覺？這個詞和機(jī)器學(xué)習(xí)中的“學(xué)習(xí)”密切相關(guān)，英文叫Learnable，直譯過來就是可學(xué)（習(xí)）性。聽起來很復(fù)雜，其實(shí)意思很簡單，機(jī)器學(xué)習(xí)的能力是有上限的，這里不是指某一款模型，而是在座的各位，也就是有些任務(wù)是無法通過機(jī)器學(xué)習(xí)來完成的。如果把機(jī)器學(xué)習(xí)要完成的任務(wù)看作是一道數(shù)學(xué)題，那可學(xué)性指的就是這道題是否有解，也就是能否通過機(jī)器學(xué)習(xí)來達(dá)到目標(biāo)，反之亦然。
這一章有一個非常重要的學(xué)習(xí)理論，需要重點(diǎn)學(xué)習(xí)，叫概率近似正確理論，一般采用它的英文縮寫，寫作PAC理論。PAC理論是學(xué)習(xí)理論中最基本的理論，不難想見，“學(xué)習(xí)能力”是一個高度抽象的概念，我們可以用直白的語言解釋它的含義，那要給出形式化的定義并不容易。PAC學(xué)習(xí)正是給出了一個抽象刻畫機(jī)器學(xué)習(xí)能力的框架。這是一項(xiàng)開創(chuàng)性的工作，由圖靈獎得主Valiant創(chuàng)立，并籍此開創(chuàng)了“計(jì)算學(xué)習(xí)理論”這個新的研究領(lǐng)域。
接下來講的是復(fù)雜度。這一章承接上一章，可學(xué)性關(guān)注的是問題是否有解，而復(fù)雜度關(guān)注的是有多難解。在PAC理論中，可學(xué)性與假設(shè)空間的復(fù)雜程度密切相關(guān)，假設(shè)空間越復(fù)雜，搜索解的難度越大。當(dāng)假設(shè)空間是有限的時候，可以通過層層篩選搜索解，但這就有了一個限制條件：假設(shè)空間必須有限。數(shù)學(xué)不喜歡局限，同時，很多模型的假設(shè)空間并非是有限的，那這時應(yīng)該怎樣刻畫復(fù)雜度呢？這就是本章的主要內(nèi)容。
本章同樣有一個非常重要的概念，VC維。一般機(jī)器學(xué)習(xí)的教材如果選擇放入一點(diǎn)學(xué)習(xí)理論的內(nèi)容，通常至少會包括兩個知識點(diǎn)，一個是前一章的PAC理論，另二個就著本章的VC維。VC維是一種刻畫假設(shè)空間復(fù)雜度常用的方法，當(dāng)然這不是唯一一種，本章同時也介紹了另一種，名為Rademacher復(fù)雜度。
也許大家第一次看，會覺得PAC理論、VC維這些知識太過抽象，也不知道學(xué)來能有什么用。這些知識確實(shí)不太容易學(xué)懂，但都是學(xué)習(xí)理論的基礎(chǔ)，也是最常用的研究工具，絕不是為學(xué)而學(xué)，學(xué)完就扔了的，后續(xù)的章節(jié)會反復(fù)使用這些基礎(chǔ)和工具來研究更具體的問題。書里接下來安排的三章，包括第4章的泛化界、第5章的穩(wěn)定性和第6章的一致性，可以看作是同一個大問題的三個大塊，這個大問題就是模型效果評價(jià)。在機(jī)器學(xué)習(xí)中，模型效果毫無疑問是最需要關(guān)注的問題之一。
機(jī)器學(xué)習(xí)模型效果好不好，一般業(yè)內(nèi)會用泛化能力強(qiáng)不強(qiáng)來評價(jià)。什么叫“泛化”呢？泛化指的是模型在不同數(shù)據(jù)集中的預(yù)測效果。為什么要考慮這個問題呢？如果看過我寫的那本面向初學(xué)者的《機(jī)器學(xué)習(xí)算法的數(shù)學(xué)解析和Python實(shí)現(xiàn)》知道，所謂機(jī)器學(xué)習(xí)，就是擬合數(shù)據(jù)。要使用機(jī)器學(xué)習(xí)模型，首先是需要經(jīng)過訓(xùn)練的，模型訓(xùn)練需要數(shù)據(jù)，這部分?jǐn)?shù)據(jù)稱為訓(xùn)練數(shù)據(jù)，或者叫訓(xùn)練集。
這里有一個隱含的知識點(diǎn)，每個數(shù)據(jù)集都有自己的分布特征，使用訓(xùn)練集訓(xùn)練模型，模型擬合的其實(shí)是訓(xùn)練集的特征，這就可能導(dǎo)致一個問題，過擬合問題。過擬合直白來說，就是模型學(xué)得太好了，這是初學(xué)者很費(fèi)解的一個詞，學(xué)得太好怎么能叫問題呢？這個問題我在《機(jī)器學(xué)習(xí)算法的數(shù)學(xué)解析和Python實(shí)現(xiàn)》也專門進(jìn)行了介紹，學(xué)得太好當(dāng)然不是問題，問題是不同的數(shù)據(jù)集可能會有不同的分布特征，模型在訓(xùn)練集上學(xué)得太好，在其它數(shù)據(jù)集上，具體來說，是在其它分布特征上，模型的預(yù)測性能反而可能下降，也就是過擬合使得模型的泛化能力下降了。這可能就會產(chǎn)生一個現(xiàn)象，泛化能力差的模型在訓(xùn)練時看起來效果不錯，可是一部署到生產(chǎn)環(huán)境就變成了笑話，完全不可用了。這就是為什么無論是學(xué)術(shù)界還是工業(yè)界，都非常關(guān)心模型的泛化能力。
為了具體研究這個問題，《機(jī)器學(xué)習(xí)理論導(dǎo)引》首先介紹了泛化界，包括泛化誤差上界和泛化誤差下界。泛化界主要是基于不同的假設(shè)空間復(fù)雜度度量，這里就用到了前面譬如VC維等的知識，與具體的學(xué)習(xí)算法無關(guān)，但有一個局限，這些泛化誤差界只能用于有限VC維學(xué)習(xí)算法的泛化性，而對無限VC維的學(xué)習(xí)算法無能為力。要解決這個問題，書里接著介紹了穩(wěn)定性，用來刻畫訓(xùn)練集的擾動對算法效果產(chǎn)生的影響。
接下來書里介紹了一致性理論，同樣是聚焦訓(xùn)練集，但這一次開了一個很大的腦洞。工業(yè)界有個說法，如果模型效果不行，首先要做的是多收集數(shù)據(jù)。多收集數(shù)據(jù)在實(shí)踐上效果確實(shí)好，所以口口相傳廣為人知，但大家在用的時候肯定都很關(guān)心，到底什么樣的模型才能和數(shù)據(jù)規(guī)模保持這種線性增長關(guān)系，里面會不會也有個“看臉”的問題。一致性理論就是假設(shè)訓(xùn)練數(shù)據(jù)不斷增加，最后趨向于無窮的過程中，學(xué)習(xí)算法通過訓(xùn)練是否趨向于貝葉斯最優(yōu)分類器。簡單來說，一致性研究的就是哪些模型適合通過無腦堆數(shù)據(jù)來提升預(yù)測效果。
接下來的第7章的收斂率，研究的是模型訓(xùn)練階段的優(yōu)化問題，這是個實(shí)踐中非常重要的問題。我在《機(jī)器學(xué)習(xí)算法的數(shù)學(xué)解析和Python實(shí)現(xiàn)》中介紹，模型訓(xùn)練很像馬戲團(tuán)訓(xùn)練動物，是通過反饋獎勵來進(jìn)行，具體的目標(biāo)就是使得損失函數(shù)最小化。那怎么達(dá)到最小化呢？這就是個優(yōu)化問題，最常見的就是選擇梯度下降法。
但是，紙上得來終覺淺，一到實(shí)踐你就會發(fā)現(xiàn)，是不是選擇了梯度下降法就萬事大吉呢？不是，還有一個收斂問題。首先梯度并不是一定就肯乖乖下降，還有可能上升，這就是非常叫人討厭的梯度爆炸，更常見的問題是另一種，就是梯度雖然下降，但下降得非常慢，兩百年過去了才降一點(diǎn)點(diǎn)，使得訓(xùn)練時間非常長。這些就是收斂問題，包括兩個方面內(nèi)容，一是什么條件才能夠收斂，也就是收斂條件，另一個則是本書第7章要介紹的收斂率，也就是收斂的速度如何。
最后一章第8章，介紹的是遺憾界。遺憾英文regret，是一項(xiàng)性能評價(jià)指標(biāo)，大家也許聽到的不多，覺得有點(diǎn)陌生，這也不奇怪，因?yàn)檫@一章已經(jīng)跨出了機(jī)器學(xué)習(xí)的傳統(tǒng)范疇，進(jìn)入到在線學(xué)習(xí)的領(lǐng)域。遺憾（regret）主要是用來評價(jià)在線學(xué)習(xí)。在線學(xué)習(xí)的訓(xùn)練方法和我們熟悉的不太一樣，所謂在線學(xué)習(xí)，就是用于訓(xùn)練的數(shù)據(jù)集一直在不斷動態(tài)更新，這和我們熟悉的用一塊靜態(tài)數(shù)據(jù)作為訓(xùn)練集來訓(xùn)練模型的方式不太一樣，訓(xùn)練目標(biāo)也從最小化損失函數(shù)，變成了最小化累計(jì)損失。因此，評價(jià)模型效果的指標(biāo)也有所區(qū)別，使用的是比較結(jié)果，具體來說，是在線損失與離線算法的最小損失的差值，這就是遺憾。研究遺憾的取值邊界，這就是本章重點(diǎn)關(guān)注的遺憾界問題。
點(diǎn)擊鏈接了解詳情并購買?
本次聯(lián)合【機(jī)械工業(yè)出版社華章公司】為大家?guī)?span style="color:#ff0000;font-family:monospace;">2本正版新書。
額外送書讀者：
本周直接送書的讀者昵稱為尊昊，感謝在行哥恰飯文章里三連支持行哥，請24小時內(nèi)私聊行哥，并從行哥過往分享書單里任選一本書哦，以后行哥也會在恰飯文章里對三連的讀者加大送書力度，有行哥的一口就少不了讀者的一口
贈書方式一：
留言集贊送出1本：在本文評論中談?wù)勀銓Α拔鞴蠒焙汀皩毾鋾钡拈喿x體會，排名第一位讀者獲得（在其他公號已獲贈此書者，重復(fù)參與活動無效）
贈書方式二：
抽獎送出1本：公眾號【一行數(shù)據(jù)】后臺回復(fù)【666】
同時參加?，雙倍快樂?
8月11日（周二）晚8點(diǎn)截止
推薦閱讀
（點(diǎn)擊標(biāo)題可跳轉(zhuǎn)閱讀）
老鐵，三連支持一下，好嗎？↓↓↓