數(shù)據(jù)挖掘常見(jiàn)的 p-value 解讀
0
在統(tǒng)計(jì)的世界里經(jīng)常聽(tīng)到 p-value，那什么是 p-value 呢？查查 Wikipedia 得到：
In?statistical?hypothesis?testing,?the?p-value?is?the?probability?that,?when?the?null?hypothesis?is?true,?the?statistical?summary?(such?as?the?absolute?value?of?the?sample?mean?difference?between?two?groups)?would?be?greater?than?or?equal?to?the?actual?observed?results.
Wikipedia
Well Done, Wikipedia, 這下連大人都徹底不懂 p-value 了。
但希望下面極簡(jiǎn)的講解能讓小孩懂什么是 p-value。
1
講背景：丟硬幣
隨機(jī)丟硬幣，
看是正面還是反面，
如果硬幣的質(zhì)量是均勻分布，
通常稱為公平的硬幣 (fair coin),
那么出現(xiàn)正面和反面的概率是 1/2。
2
丟概念：p-value
現(xiàn)在我來(lái)丟一個(gè)硬幣若干次,
你根據(jù)結(jié)果來(lái)判斷硬幣是否公平。
也就是在下面兩種情況選一個(gè)
情況 0?：硬幣公平
情況 1：硬幣不公平
通常情況 0 是沒(méi)有意外情況發(fā)生，
而情況 1 是有意外情況發(fā)生。
p-value 就是假設(shè)
在情況 0 為真時(shí)觀測(cè)結(jié)果發(fā)生的概率，
即硬幣公平時(shí)觀測(cè)結(jié)果發(fā)生的概率。
讀完上面的句子如果不懂，
看完下節(jié)來(lái)回來(lái)讀一遍。
現(xiàn)在，我開(kāi)始丟硬幣了 。。。
3
做試驗(yàn)：p-value
牢記：p-value 就是硬幣公平時(shí)觀測(cè)結(jié)果發(fā)生的概率。?
第一次硬幣是反面，p-value 是多少？
| 次數(shù) | 觀測(cè)結(jié)果 | p-value |
| 1 | 反面 | 50% |
你覺(jué)得硬幣不公平嗎？
絕壁不會(huì)啊！
當(dāng)硬幣公平時(shí)，
丟 1 次出現(xiàn)反面有 50% 概率呢。
第二次硬幣又是反面，?p-value 是多少？
| 次數(shù) | 觀測(cè)結(jié)果 | p-value |
| 1 | 反面 | 50% |
| 2 | 反面 | 25% |
你覺(jué)得硬幣不公平嗎？
額，不會(huì)啊
當(dāng)硬幣公平時(shí)，
丟 2 次出現(xiàn)反面有 25% 概率呢。
(50%)^2 = 25%
第三次硬幣又是反面， p-value 是多少？
| 次數(shù) | 觀測(cè)結(jié)果 | p-value |
| 1 | 反面 | 50% |
| 2 | 反面 | 25% |
| 3 | 反面 | 12.5% |
你覺(jué)得硬幣不公平嗎？
額，我想想。。。
當(dāng)硬幣公平時(shí)，
丟?3?次出現(xiàn)反面有 12.5% 概率。
(50%)^3?= 12.5%
第四次硬幣又是反面! p-value 是多少？
| 次數(shù) | 觀測(cè)結(jié)果 | p-value |
| 1 | 反面 | 50% |
| 2 | 反面 | 25% |
| 3 | 反面 | 12.5% |
| 4 | 反面 | 6.25% |
你覺(jué)得硬幣不公平嗎？
額額額（撓撓頭）
你心理開(kāi)始變化了吧
當(dāng)硬幣公平時(shí)，
丟?4?次出現(xiàn)反面只有 6.25% 概率。
(50%)^4?= 6.25%
第五次硬幣又是反面!!! p-value 是多少？
| 次數(shù) | 觀測(cè)結(jié)果 | p-value |
| 1 | 反面 | 50% |
| 2 | 反面 | 25% |
| 3 | 反面 | 12.5% |
| 4 | 反面 | 6.25% |
| 5 | 反面 | 3.125% |
你覺(jué)得硬幣不公平嗎？
是的！不公平！
你突然開(kāi)始非常確定了,
當(dāng)硬幣公平時(shí)，
丟?5?次出現(xiàn)反面只有 3.125% 概率。
(50%)^5?= 3.125%
恭喜你，答對(duì)了，我就是用了一個(gè)兩邊都是反面的硬幣來(lái)做試驗(yàn)的。
4
復(fù)盤(pán)一下
回顧：p-value 就是硬幣公平時(shí)觀測(cè)結(jié)果發(fā)生的概率。?
當(dāng)丟了五次都是反面，
如果硬幣公平，
計(jì)算出來(lái)的 p-value 是 3.125%，
非常不可能在硬幣公平時(shí)隨機(jī)發(fā)生！
因此我們改變?cè)鹊募僭O(shè)，
認(rèn)為硬幣公平是不成立，
進(jìn)而認(rèn)為硬幣不公平，
這很科學(xué)！
讓我們產(chǎn)生了改變?cè)僭O(shè)想法是什么？
是一個(gè)很小 p-value 值。
跟著我捋一捋，
在上面丟硬幣的過(guò)程中，
你是不是在某個(gè)時(shí)點(diǎn)想大叫一聲 WOW，
大概就是連續(xù) 5 次看到反面的時(shí)候，
你會(huì)覺(jué)得硬幣公平非常可笑，
因而推翻了它。
要推翻硬幣公平的假設(shè)
你還需要一個(gè)基準(zhǔn)，
統(tǒng)計(jì)上叫做顯著性水平，
我把它叫做“搞笑閾值”
當(dāng) p-value 還小于這個(gè)搞笑閾值，
那原假設(shè)明顯就搞笑了嘛，
你還像個(gè)傻冒一樣不推翻它？
總結(jié)
來(lái)類比一下
| 小孩聽(tīng)得懂的東西 | 嚴(yán)謹(jǐn)統(tǒng)計(jì)的東西 |
| 情況 0 | 無(wú)效假設(shè) |
| 情況 1 | 備擇假設(shè) |
| 搞笑閾值 | 顯著性水平 |
| 判斷硬幣是否公平 | 假設(shè)檢驗(yàn) |
在現(xiàn)實(shí)中，你永遠(yuǎn)不可能?100% 的確定假設(shè)的真假，因?yàn)榧僭O(shè)檢驗(yàn)的總體參數(shù)（population parameter），你不可能在總體上做試驗(yàn)，只可能在樣本上做試驗(yàn)，計(jì)算樣本統(tǒng)計(jì)（sample statistics）來(lái)判斷假設(shè)的真假。
就像丟硬幣試驗(yàn)一樣，我只要不給你看我的硬幣，你就不可能 100% 確認(rèn)這是個(gè)不公平的硬幣。但是通過(guò)做試驗(yàn)（收集一系列樣本觀測(cè)結(jié)果），計(jì)算 p-value，當(dāng)小于事先設(shè)定好足夠小的“搞笑閾值”的時(shí)候，你就有充足信心說(shuō)硬幣是不公平的，誠(chéng)然，你有可能（possible）會(huì)錯(cuò)，但不太可能（not probable）會(huì)錯(cuò)。