概率與隨機過程基礎(chǔ)

來源：數(shù)學中國

本文約2700字，建議閱讀5分鐘 
概率，是分析我們的主觀偏差、衡量事情的不確定性的精確方式。

概率，是分析我們的主觀偏差、衡量事情的不確定性的精確方式。直覺上，每個人都明白“（某件事）發(fā)生的可能性有多大？”的問題是什么意思。隨機過程則是考慮隨“時間”（或者“位置”之類）變化的事件的概率問題的。有大量經(jīng)典的或者優(yōu)秀的教材討論概率與隨機過程。依我之見，概率和隨機過程，對于一個應(yīng)用數(shù)學家或者工程師而言，是需要最先學會的；這些知識，也是我對這一類學生進行口頭測驗最偏愛的內(nèi)容。

當然，以我的經(jīng)驗，對很多學生來說，這也是最讓人迷惑的課程。

拋開理論的重要程度和嚴謹性，讓我們從實用的觀點出發(fā)，引入一個使理論簡化的假設(shè)：有限性假設(shè)。

有限性假設(shè)（Finiteness Assumption ,簡記為FA）：我們假定，不存在無限大的數(shù)。      

雖然不是無限大，但可以存在非常大的數(shù)，比如10^100(這個數(shù)比整個我們所在的宇宙的原子的數(shù)目總和還要大）。如果一個人只是用數(shù)字計算機做計算，那么在這個領(lǐng)域，是碰不到“無限大”的，所以這個假設(shè)是自動滿足的。引入這個假設(shè)以后，我們就可以避開眾多相關(guān)文獻中的測度論術(shù)語，不至于讓初學者迷惑。

在有限性假設(shè)下，我們現(xiàn)在定義什么是隨機變量。

隨機變量（random variable，簡記為r.v.)：

隨機變量是這樣的一個變量，當我們觀察它的取值情況或者對它的值進行抽樣檢查的時候，發(fā)現(xiàn)它可以是某個有限范圍的任意數(shù)值。我們可以用直方圖（histogram）來描述隨機變量。比如圖1

 
圖1.  博文(2009-2013)點擊率的直方圖：x坐標是點擊數(shù), y坐標是在某個點擊數(shù)范圍內(nèi)的文章數(shù)。 

注意在直方圖中每個豎條表示的是位于此點擊率的博文數(shù)目占整個四年所有博文數(shù)量的百分比，這個百分比正好是被稱為“博文點擊率”的隨機變量取某個點擊率值的概率。因為使用了有限性假設(shè)（FA)，這個隨機變量的取值范圍是可以確定下來的。當然，這個范圍可以是個非常大的數(shù)，可以容納非常大量的數(shù)據(jù)。（事實上，我用了三個小時來完成我四年來的博客點擊率的統(tǒng)計。數(shù)據(jù)量太大，我沒有足夠精力來處理五年多的數(shù)據(jù)-那是我從開博到現(xiàn)在的時段。）用直方圖做計算很不方便，所以我們提出了兩個粗略的參數(shù)來簡化對隨機變量的描述：

一個隨機變量的均值（mean）

從直覺上講，你可以想象將一個紙卡片剪成直方圖的形狀。如果紙卡片質(zhì)地是均勻的，你在一個刀口上放置紙卡片，讓刀口與x軸垂直，這個時候紙卡片放置后正好平衡而不掉落，那么刀口對應(yīng)的x值就是隨機變量x的均值。從數(shù)學上講，這個x的均值就是每篇博文點擊率的平均值?？茖W網(wǎng)事實上計算了所有博主的每篇博文的平均點擊率，即每個博主的每篇博文點擊率的均值，并顯示了前100位博主的每篇博文平均點擊率。圖中的平均點擊率是4130次/博文，排在名單上的第26位。

一個隨機變量的方差（variance）

方差是直方圖的豎條的分散程度的衡量。一個小的方差大致意味著隨機變量主要分布在在期望附近一個小的區(qū)域；而大的方差則意味著隨機變量以期望為中心分布得很開。方差是一個隨機變量的變動性的衡量。以股票市場的術(shù)語論，一只股票的b值就是一支股票每日變化值的方差，是對其容易變化的程度的衡量。數(shù)學上，方差稱為一個直方圖的二階中心矩（second central moment）。

當然我們可以采用更高階的中心矩，以更粗略的方式來描述直方圖的特征，比如采用直方圖的偏度（skewness），就是三階中心距。但是在實際應(yīng)用中，這樣的高階矩是很少用的。

對于單個的隨機變量，我們就說這么多。但是，我們時常碰到不止一個隨機變量的情況。比如我們考慮一下有兩個隨機變量x和y的情況?，F(xiàn)在我們畫一個關(guān)于兩個隨機變量的三維直方圖。從圖像上看，直方圖看起來像個有多個峰的地形圖。（想象一下廣西桂林的風景或者紐約曼哈頓島的高樓）但是這里加入了新概念。這個概念包括“聯(lián)合概率”（joint probability），以及x與y的“相關(guān)系數(shù)/協(xié)方差”（correlation/covariance） （視大致情形不同而使用“相關(guān)系數(shù)”或者“協(xié)方差”的概念）。這些參數(shù)刻畫了隨機變量間的關(guān)系。我們都知道“龍生龍，鳳生鳳，老鼠兒子打地洞?！比绻覀冇秒S機變量x代表家長的智力，用隨機變量y代表子女的智力，數(shù)學上，我們就說，y與x正相關(guān)。如果俯瞰x與y構(gòu)成的3維直方圖，我們就可以看見“山峰”們沿東北-西南向座落，如圖2。

圖2. x與y的相關(guān)性的俯視圖

換言之，取不同的x值，則取不同y值的概率會受影響。更一般的講法，是說，x和y不獨立（NOT independent） ，彼此相關(guān)（correlated）。數(shù)學上，我們用一個三維的函數(shù)，即聯(lián)合概率p（x，y）（這就是直方圖的函數(shù)表達）來表達x和y的相關(guān)性。我們還可以定義條件概率來表達x和y的相關(guān)性。在給定y的某個取值的情況下，x取某個值的條件概率是：

        p(x|y)=p(x,y)/p(y)p(x|y)=p(x,y)/p(y)

或者，在給定x的某個取值的情況下，y取某個值的條件概率是：

        p(y|x)=p(x,y)/p(x)p(y|x)=p(x,y)/p(x)

這里，p（y）和p（x）叫做邊際概率,相當于將三維的直方圖在py平面或者px平面上擠扁而得到的二維直方圖。而從圖像上看，條件概率p（x|y）相當于在3維直方圖上沿某個y值切開一個剖面，這個剖面對應(yīng)的2維直方圖。數(shù)學上，我們要用p（x,y)除以p（y）來計算p（x|y），所以我們將p（x|y）的直方圖歸一化，也就是將其面積歸一化為1（或者100%），以滿足直方圖的定義。

現(xiàn)在可以考慮一種可能性，就是圖2的俯視圖形不是現(xiàn)在的樣子，而是邊分別與x和y軸平行的矩形。這時，不論y取何值，總是有p（x|y）=p（x）。這樣的話，p（x，y）=p（x）p（y)。因此我們說x和y是相互獨立的。直覺上，我們知道了y的取值，對x取某值的概率沒有任何影響；同樣，知道了x，也影響不了y取某值的概率。從計算的角度講，將一個有兩個自變量的函數(shù)轉(zhuǎn)化兩個只有單自變量的函數(shù)的乘積，將簡化計算；而對于有n個隨機變量的聯(lián)合概率，在這些變量彼此獨立的情況下，將大大減少計算量。

對于有兩個隨機變量的情況的性質(zhì)的粗略描述，我們可以采用一個均值矢量[Ex,Ey]來描述；也可以用一個協(xié)方差矩陣來描述其方差性質(zhì)：

其中矩陣對角上的元素分別是x和y的方差，而反對角上的兩個元素是對稱的協(xié)方差。

小結(jié)一下我們講的概念：

   1.由直方圖描述的隨機變量；

   2.初略描述直方圖性質(zhì)的均值和方差；

   3.兩個隨機變量的聯(lián)合概率（3維直方圖）；

   4.獨立性和條件概率；

   5.協(xié)方差矩陣。

再討論一下n個隨機變量 [ x1 , x2 , . . . , xn ]，當然仍然使用我剛才談?wù)摰姆绞?。那么，其概率可以用n+1維直方圖表示，其均值可以用n維矢量表示，而其協(xié)方差矩陣將是n乘n方陣。其聯(lián)合概率可以記為 p(x1 , x2 , . . . , xn)，如果這些隨機變量彼此獨立，那么p(x1 , x2 , . . . , xn )=p(x1) p(x2). . . p(xn)。這里沒有新概念出現(xiàn)。

編輯：文婧