奇米影视久久,久久99精品久久久久久不卡l中文无码精品 ,日韩午夜伦,久久夜色精品网站,天天日天天射天天透,日韩在线卡一卡二,天天爽天天舔,日日操大香蕉

數(shù)學算法俱樂部

日期：2020年09月03日

正文共：4007字13圖

預(yù)計閱讀時間：11分鐘

來源：CSDN

大多數(shù)時候，貝葉斯統(tǒng)計在結(jié)果在最好的情況下是魔法，在最糟糕時是一種完全主觀的廢話。在用到貝葉斯方法的理論體系中，馬爾可夫鏈蒙特卡洛方法尤其神秘。

這篇文章將介紹?馬爾可夫鏈蒙特卡洛方法?，極其背后的基本數(shù)學推理。

>>>>

首先，什么是?馬爾可夫鏈蒙特卡洛（MCMC）?方法呢？

最簡短的回答就是：

“MCMC就是一種通過在概率空間中隨機采樣來近似感興趣參數(shù)的后驗分布的方法”

在這篇文章中，我不用任何數(shù)學知識就可以解釋上面這個簡短的答案。

貝葉斯理論體系基本術(shù)語

首先是一些術(shù)語。

感興趣的參數(shù) 只是用來抽象我們感興趣的現(xiàn)象的一些數(shù)字。通常我們會使用統(tǒng)計的方法來估計這些參數(shù)。例如，如果我們想了解成年人的身高，那么我們需要的參數(shù)可能就是以英寸為單位的平均身高。

分布就是參數(shù)的各個可能值和我們能觀察到每個參數(shù)的可能性的數(shù)學表示。

最好的例子就是鐘形曲線：

在貝葉斯統(tǒng)計方式中，分布還有另一個解釋。貝葉斯不僅僅代表參數(shù)的值和每個參數(shù)的真實值有多大，而是認為分布描述了我們對參數(shù)的確信度。因此，上面的鐘形曲線可以表明我們非常確定參數(shù)的值接近于零，同時我們認為真實值高于或低于該值的可能性是相等的。

事實上，人的身高是遵循一個正態(tài)分布的，所以我們假設(shè)平均人體高度的真實值遵循如下的鐘形曲線：

顯然，這個圖表顯示這個人群以巨人的身高生活了很多年，因為據(jù)調(diào)查所知，最有可能的平均成年身高是6'2''英寸。

讓我們想象某人去收集了一些數(shù)據(jù)，然后他們觀察到了一批5英寸和6英寸之間的人。我們可以用另一個正態(tài)分布曲線來表示這些數(shù)據(jù)，這個曲線顯示了哪個人體平均身高值最能解釋數(shù)據(jù)：

在貝葉斯統(tǒng)計中，表示我們對參數(shù)確信度的分布被稱為先驗分布，因為它在看到任何數(shù)據(jù)之前捕捉到了我們的知識。

似然分布以參數(shù)值范圍的形式總結(jié)了數(shù)據(jù)可以告訴我們什么，而參數(shù)值中的每個參數(shù)解釋了我們正在觀察的數(shù)據(jù)的可能性。估計最大似然分布的參數(shù)值就是回答了這個問題：什么樣的參數(shù)值能使分布最有可能觀察到我們觀察到的數(shù)據(jù)？在沒有先驗信息的情況下，我們可能會就此打住了。

然而，貝葉斯分析的關(guān)鍵是將先驗信息和似然分布結(jié)合起來去確定后驗分布。這告訴我們，在有先驗數(shù)據(jù)的情況下，哪些參數(shù)值能夠最大化觀察到我們指定數(shù)據(jù)的概率。在上面的例子中，后驗分布應(yīng)該是這樣的：

在上面的圖中，紅線表示后驗分布。你可以把它看作一種先驗和可能性分布的平均值。由于先驗分布較短且較為分散，所以它代表了一組關(guān)于平均人體身高真實值“不太確定”的概率。同時，可能性分布在相對較窄的范圍內(nèi)就可以總結(jié)數(shù)據(jù)，因此它代表了對真實參數(shù)值“更確定”的概率。

當先驗和可能性結(jié)合在一起時，數(shù)據(jù)（可能性分布表示）弱化了個體在巨人中長大的可能性。盡管那個人仍然認為人的平均身高比數(shù)據(jù)告訴他的稍高一些，但是他最相信的還是數(shù)據(jù)。

在兩條鐘形曲線的情況下，求解后驗分布是非常容易的。有一個簡單的方程來結(jié)合這兩者。但是如果我們的先驗分布和可能性分布不那么好呢？

有時，使用不是常規(guī)形狀的分布來模型化我們的數(shù)據(jù)或我們先驗信息是最準確的。如果我們的可能性分布用兩個峰值來表示更好，而且由于某種原因，我們想要解釋一些非常古怪的先驗分布時該怎么辦呢？我已經(jīng)通過手工繪制了一個丑陋的先驗分布：

在Matplotlib中呈現(xiàn)的可視化，使用MS Paint進行了增強

如之前所講，有一些后驗分布可以給出每個參數(shù)值的可能性。但是很難確定分布曲線的具體樣子，而且通過分析也無法解決。

因此進入 MCMC方法。

MCMC方法

MCMC方法允許我們估計后驗分布的形狀，以防我們無法直接計算。事實上， MCMC就是馬爾可夫鏈蒙特卡洛方法。為了理解它們是如何工作的，我將首先介紹蒙特卡洛估計，然后是討論馬爾可夫鏈。

蒙特卡洛估計

蒙特卡洛估計是一種通過重復(fù)生成隨機數(shù)來估計固定參數(shù)的方法。在通過生成隨機數(shù)并對其進行一些計算時，有時直接計算這個參數(shù)不現(xiàn)實時，蒙特卡洛估計可以提供一個參數(shù)的近似值。

假設(shè)我們想估計下面圓圈的面積：

由于圓是在邊長為10英寸的正方形內(nèi)，因此可以容易地計算出它的面積為78.5平方英寸。另一種方式，我們可以在正方形內(nèi)隨機抽取20個點。然后，我們計算在圓內(nèi)的點的比例，并乘以正方形的面積。而這個數(shù)字是一個非常好的圓圈面積的近似值。

由于20個點中有15個都位于圓內(nèi)，所以看起來圓的面積大約是75平方英寸。這個結(jié)果對于只有20個隨機點的蒙特卡羅模擬方法來說也不算太壞。

現(xiàn)在，想象一下我們想要計算蝙蝠俠曲線方程(Batman Equation)繪制的形狀的面積：

這是一個我們從來沒有學過的方程的形狀！因此，找到蝙蝠信號的區(qū)域非常困難。不過，通過在包含蝙蝠形狀的矩形內(nèi)隨機地打點，蒙特卡羅模擬方法就可以非常容易地找到該形狀面積的近似值！

蒙特卡羅模擬不僅僅是用于估計復(fù)雜形狀的面積。通過生成大量的隨機數(shù)，它們可以用來模擬非常復(fù)雜的過程。在實踐中，習慣用該方法來預(yù)測天氣，或者估計贏得選舉的可能性。

馬爾可夫鏈

理解MCMC方法的第二個要素就是馬爾可夫鏈。這個就是事件相互關(guān)聯(lián)概率的序列。每個事件來自一組結(jié)果，而其中的每個事件的結(jié)果根據(jù)一組固定的概率來確定下一個事件的結(jié)果。

馬爾可夫鏈的一個重要性質(zhì)就是它們是無記憶的：在當前狀態(tài)下，你可能需要一切可用的事件來預(yù)測下一個事件，并且不能有從舊事件來的新信息。像Chutes和Ladders這樣的游戲展現(xiàn)了這種無記憶性或者叫馬爾科夫?qū)傩浴?/span>

? 但是在現(xiàn)實世界中，實際上很少有事件以這種方式工作。不過，馬爾可夫鏈是一種理解世界的有力方式。

在十九世紀，鐘形曲線被看作是自然界中一種常見的模式。（例如，我們已經(jīng)注意到，人的身高分布是一個鐘形曲線）。Galton Boards通過在裝有釘子的木板上放置大理石來模擬重復(fù)隨機事件的平均值，重現(xiàn)了大理石分布的正態(tài)曲線：

俄羅斯數(shù)學家和神學家帕維爾·涅克拉索夫（Peter Pavel Nekrasov）認為，鐘形曲線以及更一般的大數(shù)定律只不過是兒童游戲和瑣碎謎題的產(chǎn)物，因為它的假設(shè)是每個事件都是完全獨立的。而涅克拉索夫認為現(xiàn)實世界中的事物是相互依存的，比如人的行為，所以現(xiàn)實中的事物并不符合好的數(shù)學模式或分布。

安德烈·馬爾可夫試圖證明非獨立事件也有可能符合這種模式。他最著名的實驗例子之一就是要從俄羅斯詩歌作品中計算數(shù)以千計的兩個字符對。使用這些字符對，他計算出了每個角色的條件概率。也就是說，給定某個前面的字母或空格，下一個字母就有可能是一個A，一個T或一個空格。

使用這些概率，馬爾可夫能夠模擬任意長的字符序列。這就是一個?馬爾可夫鏈?。

盡管前幾個字母很大程度上取決于起始字符的選擇，但是馬爾可夫表明，從長遠來看，字符的分布是一種模式。因此，即使是相互依賴的事件，如果它們受到固定概率的影響，也是一致的。

舉一個更有說服力的例子，假設(shè)你住在一個有五個房間的房子里，其中有一間臥室，衛(wèi)生間，客廳，飯廳和廚房。

讓我們收集一些數(shù)據(jù)，假設(shè)你在任何時間點所在的房間都是我們認為的下一個可能進入的房間。例如，如果你在廚房，你有30％的機會留在廚房，30％的機會進入餐廳，20％的機會進入客廳，10％的機會去浴室，有10％的機會進入臥室。利用每個房間的進入的概率，我們可以構(gòu)建一個預(yù)測你下一個可能去的房間的馬爾可夫鏈。

如果我們想要預(yù)測房子里某個人在廚房里待一小會兒后會去哪里，那么馬爾可夫鏈可以用于這一類預(yù)測。但是由于我們的預(yù)測只是基于一個人在家里的一個觀察，所以這類預(yù)測結(jié)果并不可靠。

例如，如果有人從臥室走到浴室，那么他們更有可能直接回到臥室，而不是從廚房里出來。所以馬爾可夫?qū)傩酝ǔ２贿m用于現(xiàn)實世界。

然而，將馬爾可夫鏈進行數(shù)千次迭代，確實能夠長期的預(yù)測你接下來可能會進入哪個房間。更重要的是，這個預(yù)測并沒有受到人們從哪個房間開始的影響！直觀地說，這是有道理的：為了模擬和描述他們可能長期或通常所在地在哪里，某個時間點某人在家里的位置并不重要。

因此，在一段時期內(nèi)對隨機變量建模并不合理的馬爾可夫鏈方法，卻可以用來計算該變量的長期趨勢。

MCMC方法

有了蒙特卡洛模擬和馬爾可夫鏈的一些知識，我希望MCMC方法的零數(shù)學解釋是非常直觀的。

回想一下，我們試圖估計我們感興趣參數(shù)的后驗分布，即人均身高：

我不是一個可視化的專家，我也沒有把我的例子放在常識的范圍之內(nèi)：我這個后驗分布的例子嚴重地高估了人的平均身高。

我們知道后驗分布在先驗分布和似然分布范圍內(nèi)，但是，我們很難直接計算它。使用MCMC方法，我們就可以有效地從后驗分布中抽取樣本，然后計算比如抽樣樣本的平均值。

首先，MCMC方法考慮選擇一個隨機參數(shù)值。然后模擬會繼續(xù)生成隨機值（這是蒙特卡羅的一部分），但要根據(jù)一些規(guī)則來確定什么是一個好的參數(shù)值。這個訣竅就是，對于一對參數(shù)值，基于先驗信息，通過計算每個值在解釋數(shù)據(jù)時的可能性有多大，來計算哪個參數(shù)值更好。如果隨機生成的參數(shù)值比最后一個參數(shù)值更好，則以一定的概率值將其添加到參數(shù)值鏈中（這是馬爾科夫鏈部分）。

分布中某個值的高度代表了觀察該值的概率。因此，我們可以想象我們的參數(shù)值（x軸）在y軸上呈現(xiàn)出高低概率的區(qū)域。對于單個參數(shù)，MCMC方法是沿x軸開始隨機采樣：