深入淺出核函數(shù)

我們先通過構(gòu)建最優(yōu)線性回歸模型來引出核函數(shù)的表達(dá)式。

總結(jié)：

（1）1.5式就是傳說中的核函數(shù)方程，核函數(shù)方程的展開式有很多種情況，這一節(jié)的核函數(shù)方程展開式是基函數(shù)向量的內(nèi)積。

（2）1.4式是線性回歸的核函數(shù)對偶形式，對偶形式都會包含下面這項(xiàng)：

我們用1.5式和1.6式來解析核函數(shù)的含義。

1.5式和1.6式結(jié)合，得：

上式表示，先對輸入變量映射為特征空間，然后在該特征空間下內(nèi)積。

現(xiàn)在，我們考慮三種常用的基函數(shù)，分別為多項(xiàng)式基函數(shù)，高斯基函數(shù)，S型基函數(shù)。

令輸入變量x'為常數(shù)，x'的值用紅色叉號表示，可以畫出x與k(x,x')的關(guān)系曲線：

圖的第一行為基函數(shù)曲線，第二行為x與核函數(shù)k(x,x')的曲線。

由上圖可知，核函數(shù)k(x,x')取得最大值的必要條件是x=x'，核函數(shù)值的大小可以表示兩個(gè)輸入變量x和x'的相似度。舉例說明這一含義：

因此，核函數(shù)的含義可以用相似度來解釋，若兩個(gè)輸入變量的特征空間都較大，則兩個(gè)輸入變量在該核函數(shù)下具有較高的相似度。

為了閱讀方便，1.4式預(yù)測目標(biāo)表達(dá)式：

結(jié)論

線性回歸可以理解成訓(xùn)練目標(biāo)值的權(quán)值相加，權(quán)值與核函數(shù)成正比，若輸入特征與某一訓(xùn)練樣本的特征相似度越高，相應(yīng)的核函數(shù)越大，則對應(yīng)的權(quán)值就越大，該訓(xùn)練樣本的目標(biāo)變量對預(yù)測目標(biāo)變量的影響亦越大。

解決如下圖的二分類問題，不同形狀表示不同的類。

（1）顯示映射法

分類效果圖如下：

（2）核函數(shù)法

我們知道核函數(shù)的含義是相似度，我們考慮用高斯核函數(shù)進(jìn)行分類，高斯核函數(shù)用樣本的相對距離來表示相似度，若相對距離越小，則相似度越大，反之相似度越小。

首先用核函數(shù)將低維映射成高維空間，然后用線性支持向量機(jī)的方法進(jìn)行分類（后續(xù)文章會詳細(xì)講支持向量機(jī)算法）。

第二節(jié)用顯示映射函數(shù)的方法說明了核函數(shù)的含義，這一節(jié)用該方法求決策函數(shù)，但是這種方法難點(diǎn)在于定義顯示映射函數(shù)，而核函數(shù)法是隱式的映射特征空間且核函數(shù)法計(jì)算k(x,x')比較容易，因此推薦核函數(shù)法作特征的多維映射。

這一節(jié)用一句話來概括：凡是有特征內(nèi)積出現(xiàn)的式子都可以用核函數(shù)來代替。

如下圖：

左邊為核函數(shù)，右邊為內(nèi)積。

本文詳細(xì)的解釋了核函數(shù)的含義——相似度，然后從核函數(shù)的角度去理解線性回歸和非線性分類，核函數(shù)是隱式的特征空間映射，不需要定義特征映射函數(shù)。特征內(nèi)積出現(xiàn)的式子都可以用核函數(shù)來代替，因此，核函數(shù)在支持向量機(jī)的非線性分類具有不可替代的作用。