概率與隨機(jī)過(guò)程基礎(chǔ)

點(diǎn)擊下方卡片，關(guān)注“新機(jī)器視覺(jué)”公眾號(hào)

視覺(jué)/圖像重磅干貨，第一時(shí)間送達(dá)

轉(zhuǎn)自 | 數(shù)學(xué)中國(guó)

概率，是分析我們的主觀偏差、衡量事情的不確定性的精確方式。直覺(jué)上，每個(gè)人都明白“（某件事）發(fā)生的可能性有多大？”的問(wèn)題是什么意思。隨機(jī)過(guò)程則是考慮隨“時(shí)間”（或者“位置”之類(lèi)）變化的事件的概率問(wèn)題的。有大量經(jīng)典的或者優(yōu)秀的教材討論概率與隨機(jī)過(guò)程。依我之見(jiàn)，概率和隨機(jī)過(guò)程，對(duì)于一個(gè)應(yīng)用數(shù)學(xué)家或者工程師而言，是需要最先學(xué)會(huì)的；這些知識(shí)，也是我對(duì)這一類(lèi)學(xué)生進(jìn)行口頭測(cè)驗(yàn)最偏愛(ài)的內(nèi)容。

當(dāng)然，以我的經(jīng)驗(yàn)，對(duì)很多學(xué)生來(lái)說(shuō)，這也是最讓人迷惑的課程。

拋開(kāi)理論的重要程度和嚴(yán)謹(jǐn)性，讓我們從實(shí)用的觀點(diǎn)出發(fā)，引入一個(gè)使理論簡(jiǎn)化的假設(shè)：有限性假設(shè)。

有限性假設(shè)（Finiteness Assumption ,簡(jiǎn)記為FA）：我們假定，不存在無(wú)限大的數(shù)。      

雖然不是無(wú)限大，但可以存在非常大的數(shù)，比如10^100(這個(gè)數(shù)比整個(gè)我們所在的宇宙的原子的數(shù)目總和還要大）。如果一個(gè)人只是用數(shù)字計(jì)算機(jī)做計(jì)算，那么在這個(gè)領(lǐng)域，是碰不到“無(wú)限大”的，所以這個(gè)假設(shè)是自動(dòng)滿足的。引入這個(gè)假設(shè)以后，我們就可以避開(kāi)眾多相關(guān)文獻(xiàn)中的測(cè)度論術(shù)語(yǔ)，不至于讓初學(xué)者迷惑。

在有限性假設(shè)下，我們現(xiàn)在定義什么是隨機(jī)變量。

隨機(jī)變量（random variable，簡(jiǎn)記為r.v.)：

隨機(jī)變量是這樣的一個(gè)變量，當(dāng)我們觀察它的取值情況或者對(duì)它的值進(jìn)行抽樣檢查的時(shí)候，發(fā)現(xiàn)它可以是某個(gè)有限范圍的任意數(shù)值。我們可以用直方圖（histogram）來(lái)描述隨機(jī)變量。比如圖1

 
圖1.  博文(2009-2013)點(diǎn)擊率的直方圖：x坐標(biāo)是點(diǎn)擊數(shù), y坐標(biāo)是在某個(gè)點(diǎn)擊數(shù)范圍內(nèi)的文章數(shù)。 

注意在直方圖中每個(gè)豎條表示的是位于此點(diǎn)擊率的博文數(shù)目占整個(gè)四年所有博文數(shù)量的百分比，這個(gè)百分比正好是被稱為“博文點(diǎn)擊率”的隨機(jī)變量取某個(gè)點(diǎn)擊率值的概率。因?yàn)槭褂昧擞邢扌约僭O(shè)（FA)，這個(gè)隨機(jī)變量的取值范圍是可以確定下來(lái)的。當(dāng)然，這個(gè)范圍可以是個(gè)非常大的數(shù)，可以容納非常大量的數(shù)據(jù)。（事實(shí)上，我用了三個(gè)小時(shí)來(lái)完成我四年來(lái)的博客點(diǎn)擊率的統(tǒng)計(jì)。數(shù)據(jù)量太大，我沒(méi)有足夠精力來(lái)處理五年多的數(shù)據(jù)-那是我從開(kāi)博到現(xiàn)在的時(shí)段。）用直方圖做計(jì)算很不方便，所以我們提出了兩個(gè)粗略的參數(shù)來(lái)簡(jiǎn)化對(duì)隨機(jī)變量的描述：

一個(gè)隨機(jī)變量的均值（mean）

從直覺(jué)上講，你可以想象將一個(gè)紙卡片剪成直方圖的形狀。如果紙卡片質(zhì)地是均勻的，你在一個(gè)刀口上放置紙卡片，讓刀口與x軸垂直，這個(gè)時(shí)候紙卡片放置后正好平衡而不掉落，那么刀口對(duì)應(yīng)的x值就是隨機(jī)變量x的均值。從數(shù)學(xué)上講，這個(gè)x的均值就是每篇博文點(diǎn)擊率的平均值。科學(xué)網(wǎng)事實(shí)上計(jì)算了所有博主的每篇博文的平均點(diǎn)擊率，即每個(gè)博主的每篇博文點(diǎn)擊率的均值，并顯示了前100位博主的每篇博文平均點(diǎn)擊率。圖中的平均點(diǎn)擊率是4130次/博文，排在名單上的第26位。

一個(gè)隨機(jī)變量的方差（variance）

方差是直方圖的豎條的分散程度的衡量。一個(gè)小的方差大致意味著隨機(jī)變量主要分布在在期望附近一個(gè)小的區(qū)域；而大的方差則意味著隨機(jī)變量以期望為中心分布得很開(kāi)。方差是一個(gè)隨機(jī)變量的變動(dòng)性的衡量。以股票市場(chǎng)的術(shù)語(yǔ)論，一只股票的b值就是一支股票每日變化值的方差，是對(duì)其容易變化的程度的衡量。數(shù)學(xué)上，方差稱為一個(gè)直方圖的二階中心矩（second central moment）。

當(dāng)然我們可以采用更高階的中心矩，以更粗略的方式來(lái)描述直方圖的特征，比如采用直方圖的偏度（skewness），就是三階中心距。但是在實(shí)際應(yīng)用中，這樣的高階矩是很少用的。

對(duì)于單個(gè)的隨機(jī)變量，我們就說(shuō)這么多。但是，我們時(shí)常碰到不止一個(gè)隨機(jī)變量的情況。比如我們考慮一下有兩個(gè)隨機(jī)變量x和y的情況。現(xiàn)在我們畫(huà)一個(gè)關(guān)于兩個(gè)隨機(jī)變量的三維直方圖。從圖像上看，直方圖看起來(lái)像個(gè)有多個(gè)峰的地形圖。（想象一下廣西桂林的風(fēng)景或者紐約曼哈頓島的高樓）但是這里加入了新概念。這個(gè)概念包括“聯(lián)合概率”（joint probability），以及x與y的“相關(guān)系數(shù)/協(xié)方差”（correlation/covariance） （視大致情形不同而使用“相關(guān)系數(shù)”或者“協(xié)方差”的概念）。這些參數(shù)刻畫(huà)了隨機(jī)變量間的關(guān)系。我們都知道“龍生龍，鳳生鳳，老鼠兒子打地洞。”如果我們用隨機(jī)變量x代表家長(zhǎng)的智力，用隨機(jī)變量y代表子女的智力，數(shù)學(xué)上，我們就說(shuō)，y與x正相關(guān)。如果俯瞰x與y構(gòu)成的3維直方圖，我們就可以看見(jiàn)“山峰”們沿東北-西南向座落，如圖2。

圖2. x與y的相關(guān)性的俯視圖

換言之，取不同的x值，則取不同y值的概率會(huì)受影響。更一般的講法，是說(shuō)，x和y不獨(dú)立（NOT independent） ，彼此相關(guān)（correlated）。數(shù)學(xué)上，我們用一個(gè)三維的函數(shù)，即聯(lián)合概率p（x，y）（這就是直方圖的函數(shù)表達(dá)）來(lái)表達(dá)x和y的相關(guān)性。我們還可以定義條件概率來(lái)表達(dá)x和y的相關(guān)性。在給定y的某個(gè)取值的情況下，x取某個(gè)值的條件概率是：

        p(x|y)=p(x,y)/p(y)p(x|y)=p(x,y)/p(y)

或者，在給定x的某個(gè)取值的情況下，y取某個(gè)值的條件概率是：

        p(y|x)=p(x,y)/p(x)p(y|x)=p(x,y)/p(x)

這里，p（y）和p（x）叫做邊際概率,相當(dāng)于將三維的直方圖在py平面或者px平面上擠扁而得到的二維直方圖。而從圖像上看，條件概率p（x|y）相當(dāng)于在3維直方圖上沿某個(gè)y值切開(kāi)一個(gè)剖面，這個(gè)剖面對(duì)應(yīng)的2維直方圖。數(shù)學(xué)上，我們要用p（x,y)除以p（y）來(lái)計(jì)算p（x|y），所以我們將p（x|y）的直方圖歸一化，也就是將其面積歸一化為1（或者100%），以滿足直方圖的定義。

現(xiàn)在可以考慮一種可能性，就是圖2的俯視圖形不是現(xiàn)在的樣子，而是邊分別與x和y軸平行的矩形。這時(shí)，不論y取何值，總是有p（x|y）=p（x）。這樣的話，p（x，y）=p（x）p（y)。因此我們說(shuō)x和y是相互獨(dú)立的。直覺(jué)上，我們知道了y的取值，對(duì)x取某值的概率沒(méi)有任何影響；同樣，知道了x，也影響不了y取某值的概率。從計(jì)算的角度講，將一個(gè)有兩個(gè)自變量的函數(shù)轉(zhuǎn)化兩個(gè)只有單自變量的函數(shù)的乘積，將簡(jiǎn)化計(jì)算；而對(duì)于有n個(gè)隨機(jī)變量的聯(lián)合概率，在這些變量彼此獨(dú)立的情況下，將大大減少計(jì)算量。

對(duì)于有兩個(gè)隨機(jī)變量的情況的性質(zhì)的粗略描述，我們可以采用一個(gè)均值矢量[Ex,Ey]來(lái)描述；也可以用一個(gè)協(xié)方差矩陣來(lái)描述其方差性質(zhì)：

其中矩陣對(duì)角上的元素分別是x和y的方差，而反對(duì)角上的兩個(gè)元素是對(duì)稱的協(xié)方差。

小結(jié)一下我們講的概念：

   1.由直方圖描述的隨機(jī)變量；

   2.初略描述直方圖性質(zhì)的均值和方差；

   3.兩個(gè)隨機(jī)變量的聯(lián)合概率（3維直方圖）；

   4.獨(dú)立性和條件概率；

   5.協(xié)方差矩陣。

再討論一下n個(gè)隨機(jī)變量 [ x1 , x2 , . . . , xn ]，當(dāng)然仍然使用我剛才談?wù)摰姆绞健Ｄ敲矗涓怕士梢杂胣+1維直方圖表示，其均值可以用n維矢量表示，而其協(xié)方差矩陣將是n乘n方陣。其聯(lián)合概率可以記為 p(x1 , x2 , . . . , xn)，如果這些隨機(jī)變量彼此獨(dú)立，那么p(x1 , x2 , . . . , xn )=p(x1) p(x2). . . p(xn)。這里沒(méi)有新概念出現(xiàn)。                                       

—版權(quán)聲明—

僅用于學(xué)術(shù)分享，版權(quán)屬于原作者。

若有侵權(quán)，請(qǐng)聯(lián)系微信號(hào):yiyang-sy 刪除或修改！