概率與隨機(jī)過程基礎(chǔ)

數(shù)學(xué)算法俱樂部

日期 ： 2021年09月16日       

正文共 ：2781字

來源 ： 徐曉

概率，是分析我們的主觀偏差、衡量事情的不確定性的精確方式。直覺上，每個(gè)人都明白“（某件事）發(fā)生的可能性有多大？”的問題是什么意思。隨機(jī)過程則是考慮隨“時(shí)間”（或者“位置”之類）變化的事件的概率問題的。有大量經(jīng)典的或者優(yōu)秀的教材討論概率與隨機(jī)過程。依我之見，概率和隨機(jī)過程，對于一個(gè)應(yīng)用數(shù)學(xué)家或者工程師而言，是需要最先學(xué)會的；這些知識，也是我對這一類學(xué)生進(jìn)行口頭測驗(yàn)最偏愛的內(nèi)容。

當(dāng)然，以我的經(jīng)驗(yàn)，對很多學(xué)生來說，這也是最讓人迷惑的課程。

拋開理論的重要程度和嚴(yán)謹(jǐn)性，讓我們從實(shí)用的觀點(diǎn)出發(fā)，引入一個(gè)使理論簡化的假設(shè)：有限性假設(shè)。

有限性假設(shè)（Finiteness Assumption ,簡記為FA）：我們假定，不存在無限大的數(shù)。      

雖然不是無限大，但可以存在非常大的數(shù)，比如10^100(這個(gè)數(shù)比整個(gè)我們所在的宇宙的原子的數(shù)目總和還要大）。如果一個(gè)人只是用數(shù)字計(jì)算機(jī)做計(jì)算，那么在這個(gè)領(lǐng)域，是碰不到“無限大”的，所以這個(gè)假設(shè)是自動(dòng)滿足的。引入這個(gè)假設(shè)以后，我們就可以避開眾多相關(guān)文獻(xiàn)中的測度論術(shù)語，不至于讓初學(xué)者迷惑。

在有限性假設(shè)下，我們現(xiàn)在定義什么是隨機(jī)變量。

隨機(jī)變量（random variable，簡記為r.v.)：

隨機(jī)變量是這樣的一個(gè)變量，當(dāng)我們觀察它的取值情況或者對它的值進(jìn)行抽樣檢查的時(shí)候，發(fā)現(xiàn)它可以是某個(gè)有限范圍的任意數(shù)值。我們可以用直方圖（histogram）來描述隨機(jī)變量。比如圖1

 
圖1.  博文(2009-2013)點(diǎn)擊率的直方圖：x坐標(biāo)是點(diǎn)擊數(shù), y坐標(biāo)是在某個(gè)點(diǎn)擊數(shù)范圍內(nèi)的文章數(shù)。 

注意在直方圖中每個(gè)豎條表示的是位于此點(diǎn)擊率的博文數(shù)目占整個(gè)四年所有博文數(shù)量的百分比，這個(gè)百分比正好是被稱為“博文點(diǎn)擊率”的隨機(jī)變量取某個(gè)點(diǎn)擊率值的概率。因?yàn)槭褂昧擞邢扌约僭O(shè)（FA)，這個(gè)隨機(jī)變量的取值范圍是可以確定下來的。當(dāng)然，這個(gè)范圍可以是個(gè)非常大的數(shù)，可以容納非常大量的數(shù)據(jù)。（事實(shí)上，我用了三個(gè)小時(shí)來完成我四年來的博客點(diǎn)擊率的統(tǒng)計(jì)。數(shù)據(jù)量太大，我沒有足夠精力來處理五年多的數(shù)據(jù)-那是我從開博到現(xiàn)在的時(shí)段。）用直方圖做計(jì)算很不方便，所以我們提出了兩個(gè)粗略的參數(shù)來簡化對隨機(jī)變量的描述：

一個(gè)隨機(jī)變量的均值（mean）

從直覺上講，你可以想象將一個(gè)紙卡片剪成直方圖的形狀。如果紙卡片質(zhì)地是均勻的，你在一個(gè)刀口上放置紙卡片，讓刀口與x軸垂直，這個(gè)時(shí)候紙卡片放置后正好平衡而不掉落，那么刀口對應(yīng)的x值就是隨機(jī)變量x的均值。從數(shù)學(xué)上講，這個(gè)x的均值就是每篇博文點(diǎn)擊率的平均值?？茖W(xué)網(wǎng)事實(shí)上計(jì)算了所有博主的每篇博文的平均點(diǎn)擊率，即每個(gè)博主的每篇博文點(diǎn)擊率的均值，并顯示了前100位博主的每篇博文平均點(diǎn)擊率。圖中的平均點(diǎn)擊率是4130次/博文，排在名單上的第26位。

一個(gè)隨機(jī)變量的方差（variance）

方差是直方圖的豎條的分散程度的衡量。一個(gè)小的方差大致意味著隨機(jī)變量主要分布在在期望附近一個(gè)小的區(qū)域；而大的方差則意味著隨機(jī)變量以期望為中心分布得很開。方差是一個(gè)隨機(jī)變量的變動(dòng)性的衡量。以股票市場的術(shù)語論，一只股票的b值就是一支股票每日變化值的方差，是對其容易變化的程度的衡量。數(shù)學(xué)上，方差稱為一個(gè)直方圖的二階中心矩（second central moment）。

當(dāng)然我們可以采用更高階的中心矩，以更粗略的方式來描述直方圖的特征，比如采用直方圖的偏度（skewness），就是三階中心距。但是在實(shí)際應(yīng)用中，這樣的高階矩是很少用的。

對于單個(gè)的隨機(jī)變量，我們就說這么多。但是，我們時(shí)常碰到不止一個(gè)隨機(jī)變量的情況。比如我們考慮一下有兩個(gè)隨機(jī)變量x和y的情況。現(xiàn)在我們畫一個(gè)關(guān)于兩個(gè)隨機(jī)變量的三維直方圖。從圖像上看，直方圖看起來像個(gè)有多個(gè)峰的地形圖。（想象一下廣西桂林的風(fēng)景或者紐約曼哈頓島的高樓）但是這里加入了新概念。這個(gè)概念包括“聯(lián)合概率”（joint probability），以及x與y的“相關(guān)系數(shù)/協(xié)方差”（correlation/covariance） （視大致情形不同而使用“相關(guān)系數(shù)”或者“協(xié)方差”的概念）。這些參數(shù)刻畫了隨機(jī)變量間的關(guān)系。我們都知道“龍生龍，鳳生鳳，老鼠兒子打地洞?！比绻覀冇秒S機(jī)變量x代表家長的智力，用隨機(jī)變量y代表子女的智力，數(shù)學(xué)上，我們就說，y與x正相關(guān)。如果俯瞰x與y構(gòu)成的3維直方圖，我們就可以看見“山峰”們沿東北-西南向座落，如圖2。

圖2. x與y的相關(guān)性的俯視圖

換言之，取不同的x值，則取不同y值的概率會受影響。更一般的講法，是說，x和y不獨(dú)立（NOT independent） ，彼此相關(guān)（correlated）。數(shù)學(xué)上，我們用一個(gè)三維的函數(shù)，即聯(lián)合概率p（x，y）（這就是直方圖的函數(shù)表達(dá)）來表達(dá)x和y的相關(guān)性。我們還可以定義條件概率來表達(dá)x和y的相關(guān)性。在給定y的某個(gè)取值的情況下，x取某個(gè)值的條件概率是：

        p(x|y)=p(x,y)/p(y)p(x|y)=p(x,y)/p(y)

或者，在給定x的某個(gè)取值的情況下，y取某個(gè)值的條件概率是：

        p(y|x)=p(x,y)/p(x)p(y|x)=p(x,y)/p(x)

這里，p（y）和p（x）叫做邊際概率,相當(dāng)于將三維的直方圖在py平面或者px平面上擠扁而得到的二維直方圖。而從圖像上看，條件概率p（x|y）相當(dāng)于在3維直方圖上沿某個(gè)y值切開一個(gè)剖面，這個(gè)剖面對應(yīng)的2維直方圖。數(shù)學(xué)上，我們要用p（x,y)除以p（y）來計(jì)算p（x|y），所以我們將p（x|y）的直方圖歸一化，也就是將其面積歸一化為1（或者100%），以滿足直方圖的定義。

現(xiàn)在可以考慮一種可能性，就是圖2的俯視圖形不是現(xiàn)在的樣子，而是邊分別與x和y軸平行的矩形。這時(shí)，不論y取何值，總是有p（x|y）=p（x）。這樣的話，p（x，y）=p（x）p（y)。因此我們說x和y是相互獨(dú)立的。直覺上，我們知道了y的取值，對x取某值的概率沒有任何影響；同樣，知道了x，也影響不了y取某值的概率。從計(jì)算的角度講，將一個(gè)有兩個(gè)自變量的函數(shù)轉(zhuǎn)化兩個(gè)只有單自變量的函數(shù)的乘積，將簡化計(jì)算；而對于有n個(gè)隨機(jī)變量的聯(lián)合概率，在這些變量彼此獨(dú)立的情況下，將大大減少計(jì)算量。

對于有兩個(gè)隨機(jī)變量的情況的性質(zhì)的粗略描述，我們可以采用一個(gè)均值矢量[Ex,Ey]來描述；也可以用一個(gè)協(xié)方差矩陣來描述其方差性質(zhì)：

其中矩陣對角上的元素分別是x和y的方差，而反對角上的兩個(gè)元素是對稱的協(xié)方差。

小結(jié)一下我們講的概念：

   1.由直方圖描述的隨機(jī)變量；

   2.初略描述直方圖性質(zhì)的均值和方差；

   3.兩個(gè)隨機(jī)變量的聯(lián)合概率（3維直方圖）；

   4.獨(dú)立性和條件概率；

   5.協(xié)方差矩陣。

再討論一下n個(gè)隨機(jī)變量 [ x1 , x2 , . . . , xn ]，當(dāng)然仍然使用我剛才談?wù)摰姆绞健Ｄ敲?，其概率可以用n+1維直方圖表示，其均值可以用n維矢量表示，而其協(xié)方差矩陣將是n乘n方陣。其聯(lián)合概率可以記為 p(x1 , x2 , . . . , xn)，如果這些隨機(jī)變量彼此獨(dú)立，那么p(x1 , x2 , . . . , xn )=p(x1) p(x2). . . p(xn)。這里沒有新概念出現(xiàn)。

??

— THE END —

?人類如何感受到四維空間？

?【干貨】計(jì)算幾何常用算法

?搜索引擎技術(shù)之網(wǎng)絡(luò)爬蟲

?數(shù)學(xué)  |   小學(xué)生如何詮釋數(shù)學(xué)的線條美？

?數(shù)學(xué) |  從追女孩到找導(dǎo)彈，這就是數(shù)學(xué)的魅力！！

?字節(jié)員工炸鍋，薪資普降17%！