11種概率分布，你了解幾個？

重磅干貨，第一時間送達(dá)

本文轉(zhuǎn)自：視學(xué)算法

了解常見的概率分布十分必要，它是概率統(tǒng)計的基石。這是昨天推送的 從概率統(tǒng)計到深度學(xué)習(xí)，四大技術(shù)路線圖譜，都在這里！文章中的第一大技術(shù)路線圖譜如下所示，圖中左側(cè)正是本文要總結(jié)的所有常見概率分布。

方差：

假設(shè)試驗只有兩種結(jié)果：成功的概率為 θ，失敗的概率為 1-θ. 則二項分布描述了：獨立重復(fù)地進(jìn)行 n 次試驗中，成功 x 次的概率。

概率密度函數(shù)：

正態(tài)分布是很多應(yīng)用中的合理選擇。如果某個隨機(jī)變量取值范圍是實數(shù)，且對它的概率分布一無所知，通常會假設(shè)它服從正態(tài)分布。有兩個原因支持這一選擇：

• 建模的任務(wù)的真實分布通常都確實接近正態(tài)分布。中心極限定理表明，多個獨立隨機(jī)變量的和近似正態(tài)分布。

• 在具有相同方差的所有可能的概率分布中，正態(tài)分布的熵最大（即不確定性最大）。

典型的一維正態(tài)分布的概率密度函數(shù)為 :

概率密度函數(shù)：

期望： 

方差：

假設(shè)已知事件在單位時間（或者單位面積）內(nèi)發(fā)生的平均次數(shù)為 λ，則泊松分布描述了：事件在單位時間（或者單位面積）內(nèi)發(fā)生的具體次數(shù)為 k 的概率。

概率密度函數(shù)：

期望： 

方差： 

若事件服從泊松分布，則該事件前后兩次發(fā)生的時間間隔服從指數(shù)分布。由于時間間隔是個浮點數(shù)，因此指數(shù)分布是連續(xù)分布。

概率密度函數(shù)：（ t 為時間間隔）

期望： 

方差：

若事件服從泊松分布，則事件第 i 次發(fā)生和第 i+k 次發(fā)生的時間間隔為伽瑪分布。由于時間間隔是個浮點數(shù)，因此伽馬分布是連續(xù)分布。

概率密度函數(shù)：

，

其中， t 為時間間隔，k 稱為形狀參數(shù)， λ 稱為 尺度參數(shù)

期望和方差分別為：

貝塔分布是定義在 (0,1) 之間的連續(xù)概率分布。

如果隨機(jī)變量 X 服從貝塔分布，則其概率密度函數(shù)為：

記做 

期望為：

方差為：

狄拉克分布：假設(shè)所有的概率都集中在一點 μ上，則對應(yīng)的概率密度函數(shù)為：

其中 δ(.)為狄拉克函數(shù)，其性質(zhì)為：

狄拉克分布的一個典型用途就是定義連續(xù)型隨機(jī)變量的經(jīng)驗分布函數(shù)。假設(shè)數(shù)據(jù)集中有樣本 

則定義經(jīng)驗分布函數(shù)：

它就是對每個樣本賦予了一個概率質(zhì)量 ：

對于離散型隨機(jī)變量的經(jīng)驗分布，則經(jīng)驗分布函數(shù)就是多項式分布，它簡單地等于訓(xùn)練集中的經(jīng)驗頻率。

經(jīng)驗分布的兩個作用：

• 通過查看訓(xùn)練集樣本的經(jīng)驗分布，從而指定該訓(xùn)練集的樣本采樣的分布（保證采樣之后的分布不失真）。

• 經(jīng)驗分布就是使得訓(xùn)練數(shù)據(jù)的可能性最大化的概率密度函數(shù)。

多項式分布的質(zhì)量密度函數(shù)：

狄利克雷分布的概率密度函數(shù)：

可以看到，多項式分布與狄里克雷分布的概率密度函數(shù)非常相似，區(qū)別僅僅在于前面的歸一化項：

• 多項式分布是針對離散型隨機(jī)變量，通過求和獲取概率。

• 狄里克雷分布時針對連續(xù)型隨機(jī)變量，通過求積分來獲取概率。