風(fēng)控中必做的數(shù)據(jù)分析
大數(shù)據(jù)領(lǐng)域就沒有不做數(shù)據(jù)分析的，大數(shù)據(jù)風(fēng)控也不例外。
我的觀點(diǎn)是風(fēng)控和其他互聯(lián)網(wǎng)業(yè)務(wù)都是互通的，本文介紹下風(fēng)控中必做的數(shù)據(jù)分析，用以說明數(shù)據(jù)分析是一通百通的。
工欲善其事，必先利其器。先說下數(shù)據(jù)分析的工具。
分析工具，最通用的包括Excel、SQL和Python。
即使大家是技術(shù)崗位，也沒有必要技能歧視，用Python并不會(huì)比用Excel和SQL高級(jí)。算法工程師都自嘲SQL boy。SQL是數(shù)據(jù)分析師以及算法工程師用的最多的技能。能不能從海量的業(yè)務(wù)數(shù)據(jù)中取出正確的數(shù)據(jù)，是解決問題的前提。而Excel透視表強(qiáng)大到萬物皆可透視。不夸張地說，我就沒見過透視表解決不了的問題。
數(shù)據(jù)分析平臺(tái)，開源的有metabase，收費(fèi)的有tableau，都可以連接數(shù)據(jù)庫實(shí)時(shí)交互，并提供豐富的智能儀表盤。
個(gè)人推薦開源的BI工具M(jìn)etabase，它具有可視化操作界面的數(shù)據(jù)分析和查詢功能，讓不懂SQL的用戶可能夠快速掌握業(yè)務(wù)數(shù)據(jù)，也支持團(tuán)隊(duì)共享業(yè)務(wù)數(shù)據(jù)，是一個(gè)很不錯(cuò)的BI解決方案。
01
業(yè)務(wù)理解
如果一家金融機(jī)構(gòu)聘請(qǐng)你給他們的風(fēng)控業(yè)務(wù)做咨詢，你知道怎么辦嗎？
別告訴我，你想硬搬風(fēng)控建模比賽的那套東西。不要掉價(jià)。
解決方案一定是針對(duì)當(dāng)前業(yè)務(wù)和用戶客群獨(dú)家定制的。你可以嫁接kaggle比賽的經(jīng)驗(yàn)，但要站在巨人的肩膀上。好比你訓(xùn)練一個(gè)人臉識(shí)別工具，你不能找到了經(jīng)典的網(wǎng)絡(luò)結(jié)果就萬事大吉了，你需要去fine-tune。
那么怎么理解業(yè)務(wù)？
這個(gè)問題等同于怎么理解你的客戶。客戶是你業(yè)務(wù)唯一重要的資源。Know your customer！
用戶畫像是了解你的客戶的有效方式，常見的用戶畫像包括但不限于年齡、性別、手機(jī)歸屬地、學(xué)歷、職業(yè)、婚姻狀態(tài)、機(jī)型、銀行卡、消費(fèi)、app偏好等?；ソ鹩脩暨€有新老戶比例、額度、息費(fèi)、多頭程度、借款次數(shù)、借款金額、展期次數(shù)、逾期次數(shù)、逾期升期等。
客戶的城市分布就可以通過統(tǒng)計(jì)作圖如下，從而對(duì)業(yè)務(wù)覆蓋范圍有清楚的認(rèn)識(shí)。
客群基礎(chǔ)信息的畫像適合于任何一個(gè)互聯(lián)網(wǎng)to C的業(yè)務(wù)場(chǎng)景，可以據(jù)此了解自己的客群分布。如果要拓展新用戶，它就幫你確定了投放渠道和產(chǎn)品定價(jià)等。
但要想真正對(duì)業(yè)務(wù)提供sense，與業(yè)務(wù)直接相關(guān)的數(shù)據(jù)是最重要的。上面的新老戶比例、額度息費(fèi)、多頭、借款次數(shù)與金額、展期次數(shù)、逾期次數(shù)、逾期升期等就是這樣的數(shù)據(jù)。
我們可以圍繞這些數(shù)據(jù)構(gòu)建出對(duì)業(yè)務(wù)的理解，例如統(tǒng)計(jì)出如下數(shù)據(jù)結(jié)果。
需要說明的是，對(duì)于業(yè)務(wù)的理解，需要分析的絕不止以上內(nèi)容。
通過KYC，你可以大致知道發(fā)力的方向在哪里，是拓展新戶還是挖掘存戶，是提升風(fēng)控能力還是優(yōu)化產(chǎn)品設(shè)計(jì)，等等。
02
漏斗分析
進(jìn)件漏斗分析可以幫助我們定位到產(chǎn)品設(shè)計(jì)的薄弱位置，從而針對(duì)優(yōu)化。
不失一般性，進(jìn)件漏斗可以是，點(diǎn)擊->下載->點(diǎn)擊申請(qǐng)->個(gè)人信息->運(yùn)營商認(rèn)證->人臉識(shí)別->規(guī)則通過->模型通過->綁定銀行卡->開始借款—>放款。
在這，申請(qǐng)流程假設(shè)為填寫個(gè)人信息，再手機(jī)號(hào)認(rèn)證，再人臉識(shí)別，再進(jìn)行強(qiáng)規(guī)則審批，再到模型審批，通過之后再綁卡，后進(jìn)行借款。這套流程設(shè)計(jì)控制了客戶轉(zhuǎn)化鏈路，審批前除必要的信息外，綁卡操作進(jìn)行了后置，盡量減少轉(zhuǎn)化損失。
這個(gè)漏斗分析很容易就可以計(jì)算出來，例如我們要做一個(gè)渠道轉(zhuǎn)化表，可以這么算。
select
channel,
dt,
register_cnt,
download_cnt / register_cnt download_rate, -- 注冊(cè)到下載
click_apply_cnt / download_cnt click_apply_rate, -- 下載到點(diǎn)擊申請(qǐng)
personal_finish / click_apply_cnt personal_finish_rate, -- 個(gè)人信息完成率
carrier_finish / personal_finish carrier_finish_rate, -- 運(yùn)營商認(rèn)證完成率
identity_finish / carrier_finish identity_finish_rate, -- 人臉識(shí)別完成率
rule_pass / identity_finish rule_pass_rate, -- 規(guī)則審批通過率
model_pass / rule_pass model_pass_rate, -- 模型審批通過率
model_pass / identity_finish pass_rate -- 審批通過率
from (
select
channel, -- 關(guān)注的渠道
to_date(create_time) as dt, -- 按天
count(id) as register_cnt, -- 注冊(cè)
count(case when device is not null then id else null end) as download_cnt, -- 下載
count(case when click_apply is not null then id else null end) as click_apply_cnt,-- 點(diǎn)擊申請(qǐng)
count(case when personal=1 then 1 else null end) as personal_finish, -- 個(gè)人信息完成
count(case when carrier=1 then 1 else null end) as carrier_finish, -- 運(yùn)營商認(rèn)證完成
count(case when identity=1 then 1 else null end) as identity_finish, -- 人臉識(shí)別完成
count(case when rule_result=1 then 1 else null end) as rule_pass, -- 規(guī)則通過
count(case when model_result=1 then 1 else null end) as model_pass -- 模型通過
from user as u
where to_date(create_time) >= '2021-01-01'
group by 1,2
) t
order by 1,2
;
代碼中我們區(qū)分了關(guān)注的渠道，在貸前場(chǎng)景中我們一般很關(guān)注不同渠道的轉(zhuǎn)化情況，以便對(duì)渠道進(jìn)行優(yōu)化。轉(zhuǎn)化鏈路還可以往后追加。
你的產(chǎn)品形式也許需要關(guān)注的點(diǎn)會(huì)和上面有所差異，但思路應(yīng)該沒有區(qū)別。
漏斗轉(zhuǎn)化能幫助你了解到用戶容易在什么環(huán)節(jié)發(fā)生流失。轉(zhuǎn)化流和行業(yè)一般情況做對(duì)比，就可以快速了解你的產(chǎn)品設(shè)計(jì)有沒有大的問題。
不同時(shí)期業(yè)務(wù)的重心可能不同，需要關(guān)注的轉(zhuǎn)化也可能不同。
03
前端分析
前端指的是用戶在申請(qǐng)時(shí)就可以統(tǒng)計(jì)得到的數(shù)據(jù)，例如申請(qǐng)量、通過率、PSI、CSI和拒絕瀑布流等，漏斗分析一般也是前端分析。
申請(qǐng)流量和質(zhì)量的變化，可以關(guān)注到天的粒度，甚至可以是小時(shí)的粒度。一張折線圖就可以表現(xiàn)出來，不同渠道可以放在同一張圖里方便對(duì)比。用戶質(zhì)量可以通過模型分的分布或者查詢的重要變量的分布衡量出來，如多頭、收入等。
PSI是群體穩(wěn)定性指標(biāo)（Population Stability Index），刻畫了不同期樣本在各分?jǐn)?shù)段分布的穩(wěn)定性。每個(gè)月申請(qǐng)流量的評(píng)分分布差異大不大，直接影響了決策結(jié)果的分布。
CSI是特征穩(wěn)定性指標(biāo)（Characteristic Stability Index），用來衡量特征層面的變化。PSI對(duì)應(yīng)模型分，CSI對(duì)應(yīng)特征變量。特征有時(shí)候不像模型分能分布地那么開，像性別就只有男、女，如果還有未知，也就三種。
因?yàn)槟Ｐ头质怯商卣鹘?jīng)過一套算法流計(jì)算出來的，模型分是一系列特征的表現(xiàn)。PSI異常的話，必然是某個(gè)或者某些特征發(fā)生異常，通過CSI分析就可以定位到哪些特征出現(xiàn)了問題。后續(xù)就是針對(duì)性排除原因。
在申請(qǐng)環(huán)節(jié)，拒絕是一個(gè)瀑布流的過程。反欺詐拒絕的人，不用往后進(jìn)入到政策審批環(huán)節(jié)，政策拒絕也不用在考慮模型拒不拒絕，因而這個(gè)流程可以統(tǒng)計(jì)出來，以監(jiān)控拒絕瀑布流的穩(wěn)定性。
04
后端分析
后端指的是用戶在申請(qǐng)時(shí)，你無法得知，需要后延一個(gè)表現(xiàn)期才能計(jì)算得到的數(shù)據(jù)，例如逾期率、模型效果等。表現(xiàn)期可長可短，也可以是首逾，取決于具體的業(yè)務(wù)目標(biāo)和數(shù)據(jù)情況。
逾期率，各家定義可能不太一樣，例如當(dāng)季逾期貸款剩余本金/當(dāng)季度放款總剩余本金，可以用來從橫向比較一下壞賬的波動(dòng)。對(duì)于模型層面，逾期率往往指的是壞用戶占比，是人數(shù)而非金額的比例。
這個(gè)指標(biāo)計(jì)算是需要經(jīng)過一個(gè)時(shí)間窗口的，今天的用戶會(huì)是什么風(fēng)險(xiǎn)，需要以后才能知道。這也就是為什么前端分析很重要了，申請(qǐng)通過用戶的質(zhì)量通過模型分和重要特征分布已經(jīng)進(jìn)行了一輪刻畫了。當(dāng)然，這些前端信息并不能完全衡量出后端的風(fēng)險(xiǎn)。
Vintage分析是反映不同賬齡周期用戶的風(fēng)險(xiǎn)情況，直白地說，是各個(gè)時(shí)間階段（如月份）申請(qǐng)人在往后各個(gè)賬齡下有沒有出現(xiàn)過M1+逾期（或其他）的統(tǒng)計(jì)結(jié)果。vintage分析把不同期的樣本放在了一起，可以用來觀察不同期客群風(fēng)險(xiǎn)的變化，然后確定是流量本身的變化，還是宏觀形形勢(shì)的變化，還是風(fēng)控策略的變化等等。另外，vintage最常見的用途是確定表現(xiàn)期，因?yàn)槟阌^察到了各個(gè)賬齡下的風(fēng)險(xiǎn)表現(xiàn)，取一個(gè)合適的賬齡長度就有據(jù)可循了。
遷徙率和滾動(dòng)率，我都覺得它倆本質(zhì)上并沒有說很么區(qū)別，是反應(yīng)用戶狀態(tài)變化的比例。遷徙率呢，貸款從某一狀態(tài)進(jìn)入到下一個(gè)狀態(tài)，如正常還款到M1期還款狀態(tài)，M1變化成M2期還款狀態(tài)。滾動(dòng)率呢，首逾的用戶有多少會(huì)變成逾期7+，然后有多少會(huì)變成M1+，到M2+，到M3+等。逾期狀態(tài)的滾動(dòng)分析有助于我們確定建模目標(biāo)。假如逾期7+的人有很多人還會(huì)還，但逾期30+的人基本就不還款了，那我們就可以以30+為壞定義。大抵如此。
排序性和準(zhǔn)確性，用來量化模型效果，主要通過Lift、Odds、KS、AUC、Gini等指標(biāo)進(jìn)行反映，其中KS值應(yīng)用尤為場(chǎng)景。KS值的優(yōu)勢(shì)在于它反應(yīng)的就是取最優(yōu)決策點(diǎn)時(shí)好壞用戶被拒絕掉的差異，和策略制定是直接相關(guān)的，可通過SQL和Excel計(jì)算。
如大家所見，在風(fēng)控領(lǐng)域所在的數(shù)據(jù)分析，應(yīng)該和其他互聯(lián)網(wǎng)領(lǐng)域的數(shù)分并無本質(zhì)區(qū)別。
因?yàn)轱L(fēng)控和其他業(yè)務(wù)一樣，本質(zhì)都是用戶生命周期管理?；谙嗤牡讓舆壿?，數(shù)據(jù)分析必然也并無二致。
樂莫樂兮新相知，關(guān)注加好友吧
相關(guān)閱讀：