一、關(guān)聯(lián)規(guī)則概述

1993年，Agrawal等人在首先提出關(guān)聯(lián)規(guī)則概念，迄今已經(jīng)差不多30年了，在各種算法層出不窮的今天，這算得上是老古董了，比很多人的年紀(jì)還大，往往是數(shù)據(jù)挖掘的入門(mén)算法，但深入研究的不多，尤其在風(fēng)控領(lǐng)域，有著極其重要的應(yīng)用潛力，是一個(gè)被低估的算法，很少見(jiàn)到公開(kāi)的文章提及，我嘗試一一剖析，希望給你帶來(lái)一定的啟示。

我倒是進(jìn)行了比較深刻、全面的思考，并進(jìn)行了大量的實(shí)驗(yàn)，這個(gè)話(huà)題感覺(jué)可以聊三天三夜。世界風(fēng)云變幻，但本質(zhì)沒(méi)變化，各種關(guān)聯(lián)一直存在，有意或無(wú)意的！

比如你女朋友，低頭玩手指+沉默，那大概率生氣了，那這就是你總結(jié)出來(lái)的規(guī)則。啤酒與尿布的例子相信很多人都聽(tīng)說(shuō)過(guò)吧，故事是這樣的：在一家超市中，人們發(fā)現(xiàn)了一個(gè)特別有趣的現(xiàn)象，尿布與啤酒這兩種風(fēng)馬牛不相及的商品居然擺在一起，但這一奇怪的舉措居然使尿布和啤酒的銷(xiāo)量大幅增加了。為什么有這么奇怪現(xiàn)象呢？是因?yàn)槊绹?guó)婦女在丈夫回家前買(mǎi)尿布，然后丈夫順手買(mǎi)了自己喜歡的啤酒，所以發(fā)生了這么有趣的事情。

很多人只記住了啤酒尿不濕，很少深入思考，我們稍微轉(zhuǎn)換下，日常的事情，也存在非常多的關(guān)聯(lián)規(guī)則？

二、應(yīng)用場(chǎng)景舉例

1、股票漲跌預(yù)測(cè)

放量+高換手率 -> 大概率上漲，歷史數(shù)據(jù)挖掘，假如發(fā)現(xiàn)放量+高換手率的股票大概率上漲，則挖掘當(dāng)天滿(mǎn)足條件的個(gè)股，然后第二天買(mǎi)入，躺賺。

2、視頻、音樂(lè)、圖書(shū)等推薦

根據(jù)歷史數(shù)據(jù)，如果大規(guī)模的存在某些用戶(hù)看劇列表為：小時(shí)代 -> 上海堡壘，那么一個(gè)新的用戶(hù)看了小時(shí)代，馬上就給推薦上海堡壘，那大概率也會(huì)被觀(guān)看，呼蘭的賬號(hào)，就是這么臟的。

3、打車(chē)路線(xiàn)預(yù)測(cè)（考慮時(shí)空）

根據(jù)大量的數(shù)據(jù)挖掘出以下規(guī)則

早上：起點(diǎn)家->目的地公司，

晚上：起點(diǎn)家->目的高鐵站

周末：起點(diǎn)家->目的地購(gòu)物中心

那當(dāng)你每天早上打開(kāi)軟件的時(shí)候，打車(chē)軟件就會(huì)推薦你的公司作為目的地，大大的減少用戶(hù)的打車(chē)時(shí)間。如下圖，我輸入小區(qū)名稱(chēng)，馬上給我推薦了三個(gè)地方，杭州東站第一位，因?yàn)槠綍r(shí)的打車(chē)這個(gè)組合的支持度最高。

4、風(fēng)控策略自動(dòng)化挖掘

根據(jù)歷史標(biāo)題，總結(jié)出規(guī)律發(fā)現(xiàn)商品標(biāo)題包含?老司機(jī)+百度網(wǎng)盤(pán)?-> 色情風(fēng)險(xiǎn)高，那后面遇到這標(biāo)題包含這兩個(gè)詞語(yǔ)的，就直接拒絕了。

根據(jù)歷史行為數(shù)據(jù)，發(fā)現(xiàn)了沉默用戶(hù)+非常用地登錄+修改密碼->大概率都被盜號(hào)了，那一個(gè)新的賬戶(hù)滿(mǎn)足這個(gè)三個(gè)條件，那馬上就進(jìn)行賬戶(hù)凍結(jié)或者實(shí)人認(rèn)證，就能避免盜號(hào)風(fēng)險(xiǎn)的發(fā)生。

根據(jù)歷史數(shù)據(jù)，發(fā)現(xiàn)用戶(hù)A +B 每天都相隔10s登錄 ，則可以認(rèn)為A、B存在關(guān)聯(lián)關(guān)系，可能是機(jī)器控制的同一批薅羊毛賬戶(hù)。

風(fēng)控策略的自動(dòng)化挖掘，這個(gè)也是我們后續(xù)要重點(diǎn)關(guān)注和講解的地方。

三、3個(gè)最重要的概念

關(guān)聯(lián)規(guī)則有三個(gè)核心概念需要理解：支持度、置信度、提升度，下面用最經(jīng)典的啤酒-尿不濕案例給大家舉例說(shuō)明這三個(gè)概念，假如以下是幾名客戶(hù)購(gòu)買(mǎi)訂單的商品列表：

1、支持度

支持度 (Support)：指某個(gè)商品組合出現(xiàn)的次數(shù)與總訂單數(shù)之間的比例。

在這個(gè)例子中，我們可以看到“牛奶”出現(xiàn)了 4 次，那么這 5 筆訂單中“牛奶”的支持度就是 4/5=0.8。

同樣“牛奶 + 面包”出現(xiàn)了 3 次，那么這 5 筆訂單中“牛奶 + 面包”的支持度就是 3/5=0.6

這樣理解起來(lái)是不是非常簡(jiǎn)單了呢，大家可以動(dòng)動(dòng)手計(jì)算下?'尿不濕+啤酒'的支持度是多少？

2、置信度

置信度 (Confidence)：指的就是當(dāng)你購(gòu)買(mǎi)了商品 A，會(huì)有多大的概率購(gòu)買(mǎi)商品 B，在包含A的子集中，B的支持度，也就是包含B的訂單的比例。

置信度（牛奶→啤酒）= 3/4=0.75，代表購(gòu)買(mǎi)了牛奶的訂單中，還有多少訂單購(gòu)買(mǎi)了啤酒，如下面的表格所示。

置信度（啤酒→牛奶）= 3/4=0.75，代表如果你購(gòu)買(mǎi)了啤酒，有多大的概率會(huì)購(gòu)買(mǎi)牛奶？

置信度（啤酒→尿不濕）= 4/4=1.0，代表如果你購(gòu)買(mǎi)了啤酒，有多大的概率會(huì)買(mǎi)尿不濕，下面的表格看出來(lái)是100%。

由上面的例子可以看出，置信度其實(shí)就是個(gè)條件概念，就是說(shuō)在 A 發(fā)生的情況下，B 發(fā)生的概率是多大。如果僅僅知道這兩個(gè)概念，很多情況下還是不夠用，需要用到提升度的概念。比如A出現(xiàn)的情況下B出現(xiàn)的概率為80%，那到底AB是不是有關(guān)系呢，不一定，人家B本來(lái)在大盤(pán)中的比例95%。你的A出現(xiàn)，反而減少了B出現(xiàn)的概率。

3、提升度

提升度 (Lift)：我們?cè)谧錾唐吠扑]或者風(fēng)控策略的時(shí)候，重點(diǎn)考慮的是提升度，因?yàn)樘嵘却淼氖茿 的出現(xiàn)，對(duì)B的出現(xiàn)概率提升的程度。

提升度 (A→B) = 置信度 (A→B)/ 支持度 (B)

所以提升度有三種可能：

• 提升度 (A→B)>1：代表有提升；

• 提升度 (A→B)=1：代表有沒(méi)有提升，也沒(méi)有下降；

• 提升度 (A→B)<1：代表有下降。

提升度 (啤酒→尿不濕) =置信度 (啤酒→尿不濕) /支持度 (尿不濕) = 1.0/0.8 = 1.25，可見(jiàn)啤酒對(duì)尿不濕是有提升的，提升度為1.25，大于1。

可以簡(jiǎn)單理解為：在全集的情況下，尿不濕的概率為80%，而在包含啤酒這個(gè)子集中，尿不濕的概率為100%，因此，子集的限定，提高了尿不濕的概率，啤酒的出現(xiàn)，提高了尿不濕的概率。

4、頻繁項(xiàng)集

頻繁項(xiàng)集(frequent itemset) ：就是支持度大于等于最小支持度 (Min Support) 閾值的項(xiàng)集，所以小于最小值支持度的項(xiàng)目就是非頻繁項(xiàng)集，而大于等于最小支持度的的項(xiàng)集就是頻繁項(xiàng)集，項(xiàng)集可以是單個(gè)商品，也可以是組合。

頻繁集挖掘面臨的最大難題就是項(xiàng)集的組合爆炸，如下圖：

隨著商品數(shù)量增多，這個(gè)網(wǎng)絡(luò)的規(guī)模將變得特別龐大，我們不可能根據(jù)傳統(tǒng)方法進(jìn)行統(tǒng)計(jì)和計(jì)算，為了解決這個(gè)問(wèn)題，Apriori算法提出了兩個(gè)核心思想：

某個(gè)項(xiàng)集是頻繁的，那么它的所有子集也是頻繁的
{Milk, Bread, Coke} 是頻繁的 → {Milk, Coke} 是頻繁的

如果一個(gè)項(xiàng)集是 非頻繁項(xiàng)集，那么它的所有超集也是非頻繁項(xiàng)集
{Battery} 是非頻繁的 → {Milk, Battery} 也非平凡

如下圖，如果我們已知B不頻繁，那么可以說(shuō)圖中所有綠色的項(xiàng)集都不頻繁，搜索時(shí)就要這些項(xiàng)避開(kāi)，減少計(jì)算開(kāi)銷(xiāo)。

同理，如果下圖所示，{A,B}這個(gè)項(xiàng)集是非頻繁的，那虛線(xiàn)框后面的都不用計(jì)算了，運(yùn)用Apriori算法的思想，我們就能去掉很多非頻繁的項(xiàng)集，大大簡(jiǎn)化計(jì)算量，當(dāng)然，面對(duì)大規(guī)模數(shù)據(jù)的時(shí)候，這種排除還是解決不了問(wèn)題，于是還有FP-Growth（Frequent pattern Growth，頻繁模式增長(zhǎng)樹(shù)）這種更高效的方法，后面有機(jī)會(huì)慢慢講。

需要注意的是：

1）如果支持度和置信度閾值過(guò)高，雖然可以在一定程度上減少數(shù)據(jù)挖掘的時(shí)間，但是一些隱含在數(shù)據(jù)中的非頻繁特征項(xiàng)容易被忽略掉，難以發(fā)現(xiàn)足夠有用的規(guī)則；

2）如果支持度和置信度閾值過(guò)低，可能會(huì)導(dǎo)致大量冗余和無(wú)效的規(guī)則產(chǎn)生，導(dǎo)致較大計(jì)算量負(fù)荷。

四、Python算法介紹

這里用的是Python舉例，用的包是apriori，當(dāng)然R語(yǔ)言等其他語(yǔ)言，也有對(duì)應(yīng)的算法包，原理都是一樣的，大家自行進(jìn)行試驗(yàn)。

#包安裝?我們使用efficient-apriori，python中也可以利用apyori庫(kù)和mlxtend庫(kù)pip install efficient-apriori
#加載包from efficient_apriori import apriori
‘’‘apriori(transactions: typing.Iterable[typing.Union[set, tuple, list]],         min_support: float=0.5,         min_confidence: float=0.5,         max_length: int=8,         verbosity: int=0,         output_transaction_ids: bool=False)上面就是這個(gè)函數(shù)的參數(shù)min_support：最小支持度min_confidence：最小置信度max_length：項(xiàng)集長(zhǎng)度‘’‘
# 構(gòu)造數(shù)據(jù)集data = [('牛奶','面包','尿不濕','啤酒','榴蓮'),        ('可樂(lè)','面包','尿不濕','啤酒','牛仔褲'),        ('牛奶','尿不濕','啤酒','雞蛋','咖啡'),        ('面包','牛奶','尿不濕','啤酒','睡衣'),        ('面包','牛奶','尿不濕','可樂(lè)','雞翅')]#挖掘頻繁項(xiàng)集和頻繁規(guī)則itemsets, rules = apriori(data, min_support=0.6,  min_confidence=1)#頻繁項(xiàng)集print(itemsets){1: {('啤酒',): 4, ('尿不濕',): 5, ('牛奶',): 4, ('面包',): 4}, 2:?{('啤酒',?'尿不濕'):?4,?('啤酒',?'牛奶'):?3,?('啤酒',?'面包'):?3,?('尿不濕',?'牛奶'):?4,?('尿不濕',?'面包'):?4,?('牛奶',?'面包'):?3},?3:?{('啤酒',?'尿不濕',?'牛奶'):?3,?('啤酒',?'尿不濕',?'面包'):?3,?('尿不濕',?'牛奶',?'面包'):?3}}itemsets[1] #滿(mǎn)足條件的一元組合{('啤酒',): 4, ('尿不濕',): 5, ('牛奶',): 4, ('面包',): 4}itemsets[2]#滿(mǎn)足條件的二元組合{('啤酒', '尿不濕'): 4,('啤酒', '牛奶'): 3,('啤酒', '面包'): 3,('尿不濕', '牛奶'): 4,('尿不濕', '面包'): 4,('牛奶', '面包'): 3}itemsets[3]#滿(mǎn)足條件的三元組合{('啤酒', '尿不濕', '牛奶'): 3, ('啤酒', '尿不濕', '面包'): 3, ('尿不濕', '牛奶', '面包'): 3}#頻繁規(guī)則print(rules)[{啤酒} -> {尿不濕}, {牛奶} -> {尿不濕}, {面包} -> {尿不濕}, {啤酒, 牛奶} -> {尿不濕}, {啤酒, 面包} -> {尿不濕}, {牛奶, 面包} -> {尿不濕}]
#我們把max_length=2這個(gè)參數(shù)加進(jìn)去看看itemsets, rules = apriori(data, min_support=0.6,min_confidence=0.5,max_length=2)#頻繁項(xiàng)集print(itemsets){1: {('牛奶',): 4, ('面包',): 4, ('尿不濕',): 5, ('啤酒',): 4, ('R',): 4}, 2: {('R', '啤酒'): 4, ('R', '尿不濕'): 4, ('R', '牛奶'): 3, ('R', '面包'): 3, ('啤酒', '尿不濕'): 4, ('啤酒', '牛奶'): 3, ('啤酒', '面包'): 3, ('尿不濕', '牛奶'): 4, ('尿不濕', '面包'): 4, ('牛奶', '面包'): 3}}#通過(guò)這個(gè)數(shù)據(jù)我們可以看到，項(xiàng)集的長(zhǎng)度只包含有兩個(gè)項(xiàng)了

五、挖掘?qū)嵗?/strong>

每個(gè)導(dǎo)演都有自己的偏好、比如周星馳有星女郎，張藝謀有謀女郎，且鞏俐經(jīng)常在張藝謀的電影里面出現(xiàn)，因此，每個(gè)導(dǎo)演對(duì)演員的選擇都有一定的偏愛(ài)，我們以寧浩導(dǎo)演為例，分析下選擇演員的一些偏好，沒(méi)有找到公開(kāi)的數(shù)據(jù)集，自己手動(dòng)扒了一部分，大概如下，有些實(shí)在有點(diǎn)多，于是簡(jiǎn)化下進(jìn)行分析。

可以看到，我們一共扒了9部電影，計(jì)算的時(shí)候，支持度的時(shí)候，總數(shù)就是9.

#把電影數(shù)據(jù)轉(zhuǎn)換成列表 data = [['葛優(yōu)','黃渤','范偉','鄧超','沈騰','張占義','王寶強(qiáng)','徐崢','閆妮','馬麗'], ['黃渤','張譯','韓昊霖','杜江','葛優(yōu)','劉昊然','宋佳','王千源','任素汐','吳京'], ['郭濤','劉樺','連晉','黃渤','徐崢','優(yōu)恵','羅蘭','王迅'], ['黃渤','舒淇','王寶強(qiáng)','張藝興','于和偉','王迅','李勤勤','李又麟','寧浩','管虎','梁靜','徐崢','陳德森','張磊'], ['黃渤','沈騰','湯姆·派福瑞','馬修·莫里森','徐崢','于和偉','雷佳音','劉樺','鄧飛','蔡明凱','王戈','凱特·納爾遜','王硯偉','呲路'], ['徐崢','黃渤','余男','多布杰','王雙寶','巴多','楊新鳴','郭虹','陶虹','黃精一','趙虎','王輝'],  ['黃渤','戎祥','九孔','徐崢','王雙寶','巴多','董立范','高捷','馬少驊','王迅','劉剛','WorapojThuantanon','趙奔','李麒麟','姜志剛','王鷺','寧浩'],  ['黃渤','徐崢','袁泉','周冬雨','陶慧','岳小軍','沈騰','張儷','馬蘇','劉美含','王硯輝','焦俊艷','郭濤'],  ['雷佳音','陶虹','程媛媛','山崎敬一','郭濤','范偉','孫淳','劉樺','黃渤','岳小軍','傅亨','王文','楊新鳴']] #算法應(yīng)用 itemsets, rules = apriori(data, min_support=0.5,  min_confidence=1) print(itemsets){1: {('徐崢',): 7, ('黃渤',): 9}, 2: {('徐崢', '黃渤'): 7}} print(rules) [{徐崢} -> {黃渤}]

通過(guò)上述分析可以看出：

在寧浩的電影中，用的最多的是黃渤和徐崢，黃渤9次，支持度100%，徐崢7次，支持度78%，('徐崢', '黃渤') 同時(shí)出現(xiàn)7次，置信度為100%，看來(lái)有徐崢，必有黃渤，真是寧浩必請(qǐng)的黃金搭檔，且是一對(duì)好基友。

當(dāng)然，這個(gè)數(shù)據(jù)量比較小，我們基本上肉眼也能看出來(lái)，這里只是提供一個(gè)分析案例和基礎(chǔ)方法，鞏固下基礎(chǔ)知識(shí)，算是開(kāi)胃菜，大規(guī)模的數(shù)據(jù)，人眼無(wú)法直接感知的時(shí)候，算法的挖掘與發(fā)現(xiàn)，就顯得特別有意義了，后續(xù)會(huì)陸續(xù)推出相應(yīng)的文章。