模型監(jiān)控
? ? ? ?信用評(píng)分模型監(jiān)控報(bào)告可以從觀察期間的穩(wěn)定度（前端監(jiān)控報(bào)告）與表現(xiàn)期間的鑒別度(后端監(jiān)控報(bào)告)兩個(gè)方面對(duì)各項(xiàng)指標(biāo)進(jìn)行監(jiān)控。
目錄
一、前端監(jiān)控報(bào)告
1.1 評(píng)分分布表(SDR)
1.2 群體穩(wěn)定度指標(biāo)(PSI)
1.3 變量穩(wěn)定度分析
1.4 人工否決分析
1.5 數(shù)據(jù)輸入錯(cuò)誤率分析
1.6 產(chǎn)品大事記
二、后端監(jiān)控報(bào)告
2.1 好壞客戶評(píng)分分布表
2.2 母體鑒別度分析
2.3 變量鑒別度分析
2.4 好壞概率與評(píng)分分析
2.5 人工否決表現(xiàn)分析
一、前端監(jiān)控
前端監(jiān)控報(bào)告可以在模型上線后一個(gè)月開始執(zhí)行，目的是觀察申請(qǐng)客戶或者近期客戶的類型與模型開發(fā)樣本是否一致，避免客群發(fā)生劇烈波動(dòng)而導(dǎo)致模型失效的情況發(fā)生。
評(píng)分分布表
評(píng)分分布表是統(tǒng)計(jì)各個(gè)評(píng)分組別的評(píng)分客戶數(shù)及其占全體戶數(shù)的比率。上圖中，開發(fā)樣本中500-549組別中客戶占比為1.48%，而現(xiàn)行客戶中此組別占比為2.53%，左右兩列對(duì)比觀察發(fā)現(xiàn)“高評(píng)分組別占比減少，且客戶占比向低評(píng)分組別移動(dòng)”，其具體原因需要根據(jù)變量穩(wěn)定度分析來進(jìn)行更詳細(xì)的分析。評(píng)分分布表也可以采用條形圖的方式，更加直觀清晰。
群體穩(wěn)定度指標(biāo)(PSI)
群體穩(wěn)定度指標(biāo)是用來衡量整體評(píng)分卡在開發(fā)樣本時(shí)點(diǎn)與現(xiàn)行評(píng)分時(shí)點(diǎn)的客戶占比的差異程度，PSI越小表示越穩(wěn)定。一般PSI小于0.1說明群體之間無明顯變化，較為穩(wěn)定；PSI大于0.25說明群體之間有顯著變化，需要進(jìn)行評(píng)分模型的調(diào)整；介于0.1-0.25之間說明有波動(dòng)，需要密切觀察穩(wěn)定性。
PSI的公式為：
此外還可以每月對(duì)PSI進(jìn)行監(jiān)控，現(xiàn)行樣本就是當(dāng)月樣本，開發(fā)樣本就是當(dāng)月之前的所有樣本，將個(gè)月份的PSI繪制成一條折線，便于觀察PSI趨勢(shì)的變化。
需要注意的是，PSI只顯示母體分布是否發(fā)生明顯波動(dòng)，并不能表現(xiàn)是往高分組還是低分組移動(dòng)，需要搭配上面的評(píng)分分布表才能夠判斷變化方向。
變量穩(wěn)定度分析
母體分布出現(xiàn)波動(dòng)并不代表模型內(nèi)所有變量均發(fā)生不穩(wěn)定波動(dòng)，可以通過變量穩(wěn)定度分析來確定是什么變量造成母體分布偏移，方法和PSI類似但是公式略有不同。變量分布差距的公式如下：
以學(xué)歷變量為例：
和PSI一樣，此變量絕對(duì)值越大說明變量分布越不穩(wěn)定。如果此變量分布差距為正值，說明現(xiàn)行樣本與開發(fā)樣本相比，分布往高分屬性移動(dòng)；如果此變量分布差距為負(fù)值，說明現(xiàn)行客戶與開發(fā)客戶相比，分布向低分屬性移動(dòng)?？梢詤⒖枷旅孢@個(gè)額度使用率的例子驗(yàn)證這個(gè)屬性：
人工否決分析
人工否決分析的目的是監(jiān)控評(píng)分模型與信審人員對(duì)于案件風(fēng)險(xiǎn)認(rèn)知的差距，類似于Swap-Set分析，對(duì)臨界點(diǎn)附近的案件進(jìn)行重判，分為高分否決率與低分否決率。
申請(qǐng)?jiān)u分模型上線前，通常會(huì)規(guī)范高分否決率與低分否決率的上限。當(dāng)超過上限時(shí)需要與審核人員溝通，避免失去以評(píng)分模型作為信用風(fēng)險(xiǎn)決策的目的。
數(shù)據(jù)輸入錯(cuò)誤率分析
分為評(píng)分錯(cuò)誤率(導(dǎo)致錯(cuò)誤評(píng)分)和關(guān)鍵錯(cuò)誤率(導(dǎo)致錯(cuò)誤決策)。
產(chǎn)品大事記
所有因評(píng)分卡相關(guān)政策(如營銷活動(dòng)、目標(biāo)市場、授信政策、核準(zhǔn)點(diǎn)改變)或外部重大事件(法令規(guī)章或影響總體經(jīng)濟(jì))需要及時(shí)記載并定期維護(hù)，便于后續(xù)追蹤和回溯事件影響。
二、后端監(jiān)控報(bào)告
后端監(jiān)控報(bào)告在模型上線后一段時(shí)間(可以為壞客戶的延滯月數(shù)或表現(xiàn)期長度)開始執(zhí)行，即需要有樣本表現(xiàn)。目的是為了觀察評(píng)分模型對(duì)申請(qǐng)客戶或近期客戶群體是都仍具備鑒別力。
即前端監(jiān)控報(bào)告監(jiān)控穩(wěn)定度，后端監(jiān)控報(bào)告監(jiān)控區(qū)分度。其維度都是開發(fā)樣本和現(xiàn)行樣本。
好壞客戶評(píng)分分布表
同前端監(jiān)控中的評(píng)分分布表，好壞客戶也有相應(yīng)的評(píng)分分布，其目的是為了展示出好壞客戶評(píng)分的差異情況。不同于前端監(jiān)控(不同時(shí)點(diǎn)、全體客群)的是，后端監(jiān)控中的樣本是同一觀察時(shí)期的樣本，即相同時(shí)點(diǎn)不同表現(xiàn)。
畫成評(píng)分分布圖更加直觀：
母體鑒別度(KS/Gini)
不再展開介紹。
變量鑒別度分析(IV)
不再展開介紹。
好壞概率與評(píng)分分析
好壞概率的計(jì)算方式是各評(píng)分組別的好客戶數(shù)除以壞客戶數(shù)，這個(gè)指標(biāo)應(yīng)該隨著評(píng)分的升高而增加，具有鑒別力的模型應(yīng)呈現(xiàn)出高評(píng)分組有較多的好客戶(好壞比高)，低評(píng)分組有較多的壞客戶(好壞比低)。由于評(píng)分模型一般需要經(jīng)過風(fēng)險(xiǎn)校準(zhǔn)，所以相鄰的評(píng)分組別的好壞概率應(yīng)大致呈倍數(shù)增加變化。如果直接畫出好壞概率和評(píng)分組別變化關(guān)系的圖，會(huì)出現(xiàn)如下情況：
由于各組別的好壞概率呈倍數(shù)增長，導(dǎo)致最高評(píng)分組好壞概率過大，進(jìn)而影響到低分組的判別情況。故采用將好壞概率取自然對(duì)數(shù)的方式來作為另一種觀察指標(biāo)，如下圖：
各評(píng)分組別的ln(好壞概率)相連接后會(huì)接近一條直線，此直線越陡峭說明評(píng)分模型的好壞概率差別越大，區(qū)分度越高。
圖中還出現(xiàn)兩條平行直線，這說明這兩個(gè)時(shí)期模型的區(qū)分度相近，不同的是同一評(píng)分組別下，2x09/06所對(duì)應(yīng)的好壞比率較低，此時(shí)可以通過上調(diào)授信政策的臨界點(diǎn)來達(dá)到與之前相同的效果。
人工否決表現(xiàn)分析
和前端監(jiān)控中的人工否決表現(xiàn)分析，若人為判斷過于頻繁，會(huì)造成評(píng)分模型效益下降或整體資產(chǎn)質(zhì)量不如預(yù)期，因此需要定期檢視審核人員和模型對(duì)于風(fēng)險(xiǎn)的判斷是否一致。
應(yīng)用評(píng)分模型作為決策方式時(shí)，通常會(huì)為下列兩項(xiàng)指標(biāo)設(shè)定上限，以避免人為干預(yù)過深：
1.低于核準(zhǔn)點(diǎn)案件的核準(zhǔn)率：表9-13中的9.20%[442/（442+4364）×100%]。
2.低于核準(zhǔn)點(diǎn)案件占全體核準(zhǔn)件的核準(zhǔn)率：表9-13中的5.06%[442/8734×100%]。
上圖中550-599評(píng)分的壞客戶率為8.24%，低于600-649分組，這是因?yàn)榈陀诤藴?zhǔn)點(diǎn)的案件會(huì)經(jīng)過審核員的核對(duì)與評(píng)估，因此風(fēng)險(xiǎn)可能更低。
總結(jié)：持續(xù)有效的信用評(píng)分模型需建立在穩(wěn)定度與鑒別度驗(yàn)證的基礎(chǔ)上，定期對(duì)評(píng)分卡模型的表現(xiàn)進(jìn)行監(jiān)控，以保證模型的各項(xiàng)性能不會(huì)出現(xiàn)惡化，對(duì)風(fēng)控模型不穩(wěn)定時(shí)追溯定位原因具有重要意義。