【統(tǒng)計(jì)學(xué)習(xí)方法】 第4章 樸素貝葉斯法（一）

樸素貝葉斯，它是一種簡單但極為強(qiáng)大的預(yù)測建模算法。之所以稱為樸素貝葉斯，是因?yàn)樗僭O(shè)每個(gè)輸入變量是獨(dú)立的。這個(gè)假設(shè)很硬，現(xiàn)實(shí)生活中根本不滿足，但是這項(xiàng)技術(shù)對于絕大部分的復(fù)雜問題仍然非常有效。

樸素貝葉斯法是基于貝葉斯定理與特征條件獨(dú)立假設(shè)的分類方法。對于給定的訓(xùn)練數(shù)據(jù)集，首先基于特征條件獨(dú)立假設(shè)學(xué)習(xí)輸入/輸出的聯(lián)合概率分布；然后基于此模型，對給定的輸入x，利用貝葉斯定理求出后驗(yàn)概率最大輸出y。

貝葉斯為了解決一個(gè)叫“逆向概率”問題寫了一篇文章，嘗試解答在沒有太多可靠證據(jù)的情況下，怎樣做出更符合數(shù)學(xué)邏輯的推測。

正向概率的問題很容易理解，比如我們已經(jīng)知道袋子里面有 N 個(gè)球，不是黑球就是白球，其中 M 個(gè)是黑球，那么把手伸進(jìn)去摸一個(gè)球，就能知道摸出黑球的概率是多少。但這種情況往往是上帝視角，即了解了事情的全貌再做判斷。

在現(xiàn)實(shí)生活中，我們很難知道事情的全貌。貝葉斯則從實(shí)際場景出發(fā)，提了一個(gè)問題：如果我們事先不知道袋子里面黑球和白球的比例，而是通過我們摸出來的球的顏色，能判斷出袋子里面黑白球的比例么？

樸素貝葉斯法通過訓(xùn)練數(shù)據(jù)集學(xué)習(xí)聯(lián)合概率分布  。具體地，學(xué)習(xí)以下先驗(yàn)概率分布及條件概率分布。

先驗(yàn)概率：根據(jù)以往的經(jīng)驗(yàn)或數(shù)據(jù)分析得到的概率P(X)

后驗(yàn)概率：根據(jù)先驗(yàn)概率得到的是后驗(yàn)概率P(Y|X)，實(shí)際上貝葉斯原理就是求解后驗(yàn)概率。

條件概率：事件 A 在另外一個(gè)事件 B 已經(jīng)發(fā)生條件下的發(fā)生概率，表示為 P(A|B)。

樸素貝葉斯法對條件概率分布作了條件獨(dú)立性的假設(shè)。由于這是一個(gè)較強(qiáng)的假設(shè)，樸素貝葉斯法也由此得名。具體地，條件獨(dú)立性假設(shè)是：

條件獨(dú)立假設(shè)等于是說用于分類的特征在類確定的條件下都是條件獨(dú)立的。由于這一假設(shè)，模型包含的條件概率的數(shù)量大為減少，樸素貝葉斯法的學(xué)習(xí)與預(yù)測大為簡化。因而樸素貝葉斯法高效，且易于實(shí)現(xiàn)。其缺點(diǎn)是分類的性能不一定很高。

樸素貝葉斯法利用貝葉斯定理與學(xué)到的聯(lián)合概率模型進(jìn)行分類預(yù)測。

將輸入x分到后驗(yàn)概率最大的類y。

后驗(yàn)概率最大等價(jià)于0-1損失函數(shù)時(shí)的期望風(fēng)險(xiǎn)最小化。

在sklearn中，提供了若干種樸素貝葉斯的實(shí)現(xiàn)算法，不同的樸素貝葉斯算法，主要是對P(xi|y)的分布假設(shè)不同，進(jìn)而采用不同的參數(shù)估計(jì)方式。我們能夠發(fā)現(xiàn)，樸素貝葉斯算法，主要就是計(jì)算P(xi|y)，一旦P(xi|y)確定，最終屬于每個(gè)類別的概率，自然也就迎刃而解了。

• 高斯樸素貝葉斯
  

• 伯努利樸素貝葉斯
  

• 多項(xiàng)式樸素貝葉斯

參考來源：

https://blog.csdn.net/qiu_zhi_liao/article/details/90671932?ops_request_misc=%25257B%252522request%25255Fid%252522%25253A%252522161338084416780274142617%252522%25252C%252522scm%252522%25253A%25252220140713.130102334.pc%25255Fall.%252522%25257D&request_id=161338084416780274142617&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_v2~rank_v29-1-90671932.pc_search_result_cache&utm_term=%25E6%259C%25B4%25E7%25B4%25A0%25E8%25B4%259D%25E5%258F%25B6%25E6%2596%25AF%25E5%258E%259F%25E7%2590%2586

https://blog.csdn.net/ws19920726/article/details/105726570?ops_request_misc=%25257B%252522request%25255Fid%252522%25253A%252522161339229516780262547348%252522%25252C%252522scm%252522%25253A%25252220140713.130102334.pc%25255Fall.%252522%25257D&request_id=161339229516780262547348&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_v2~rank_v29-2-105726570.pc_search_result_cache&utm_term=%25E6%259C%25B4%25E7%25B4%25A0%25E8%25B4%259D%25E5%258F%25B6%25E6%2596%25AF+%25E9%25AB%2598%25E6%2596%25AF

https://blog.csdn.net/qq_27009517/article/details/80044431?ops_request_misc=%25257B%252522request%25255Fid%252522%25253A%252522161339229516780262547348%252522%25252C%252522scm%252522%25253A%25252220140713.130102334.pc%25255Fall.%252522%25257D&request_id=161339229516780262547348&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_v2~rank_v29-1-80044431.pc_search_result_cache&utm_term=%25E6%259C%25B4%25E7%25B4%25A0%25E8%25B4%259D%25E5%258F%25B6%25E6%2596%25AF+%25E9%25AB%2598%25E6%2596%25AF