5000字！小白也能從0-1理解評(píng)分模型｜呱說(shuō)產(chǎn)品

評(píng)分模型是通過(guò)對(duì)潛在客戶和存量客戶的數(shù)據(jù)進(jìn)行分析，用以預(yù)測(cè)他們未來(lái)表現(xiàn)的一種方法。

任何事情抓住了主要矛盾就能達(dá)到事半功倍的效果，在信貸領(lǐng)域，評(píng)分系統(tǒng)無(wú)疑是信貸領(lǐng)域的主要矛盾。

評(píng)分模型不管在技術(shù)含量，數(shù)據(jù)精確性，數(shù)據(jù)覆蓋度，以及人才稀缺性上都成為了信貸領(lǐng)域的核心。

評(píng)分模型掌握信貸審批的生殺大權(quán)，不管是從哪里來(lái)的流量，鐵面無(wú)私。在了解評(píng)分模型之前，我們先看一個(gè)客戶的評(píng)分模型。

這是大數(shù)據(jù)公司某盾出具的客戶貸前審查報(bào)告中，報(bào)告中客戶申請(qǐng)得分100分，（某盾分為0-100分制，分?jǐn)?shù)越高，客戶風(fēng)險(xiǎn)越高）

通過(guò)評(píng)分模型能夠?yàn)闆Q策者提供非常豐富的統(tǒng)計(jì)信息，輔助風(fēng)險(xiǎn)人員對(duì)客戶進(jìn)行審批。

金融科技公司大昌公司產(chǎn)品經(jīng)理大熊，最近準(zhǔn)備系統(tǒng)性梳理出評(píng)分模型的搭建過(guò)程，以決定是否是自己搭建評(píng)分模型還是外部采購(gòu)?fù)ㄓ迷u(píng)分模型。

讓我們跟隨著大熊了解評(píng)分模型的從0-1。

評(píng)分模型的分類評(píng)分模型按照?qǐng)鼍翱梢苑譃樾庞迷u(píng)分，反欺詐評(píng)分，催收模型等。

評(píng)分模型的使用場(chǎng)景最適合線上小額信貸業(yè)務(wù)，這類業(yè)務(wù)額度小，數(shù)量大，要求放款時(shí)效性強(qiáng)，需要很快的審批效率滿足用戶的體驗(yàn)要求。

當(dāng)下“秒批秒放”已經(jīng)成為了一款信貸產(chǎn)品的優(yōu)勢(shì)之一，背后的支撐就是評(píng)分模型。

比如大額信貸因?yàn)閷?duì)擔(dān)保和抵押的要求，評(píng)分模型的作用就相對(duì)不是特別大。

比如房貸和車貸，需要對(duì)汽車和房產(chǎn)進(jìn)行抵押，評(píng)分模型只能作為輔助作用。當(dāng)然汽車哪怕被抵押了，還可能被倒賣，所以評(píng)分模型也會(huì)有關(guān)鍵作用。

評(píng)分模型的優(yōu)點(diǎn)

相比較人工審批動(dòng)則幾十人的審批團(tuán)隊(duì)，評(píng)分模型能夠大大提審審批的速度。

只要評(píng)分模型建立之后，那么相對(duì)人工審批的成本低，并且效率高，同時(shí)評(píng)分模型還能避免人工審批的主觀性，并且保持?jǐn)?shù)據(jù)的一致性。

因?yàn)樵u(píng)分模型的存在，對(duì)審批之后的客戶還可以跟蹤其貸后表現(xiàn)，從而優(yōu)化模型?！?/p>

因?yàn)樵u(píng)分模型的存在，我們可以對(duì)一定分?jǐn)?shù)的客戶進(jìn)行提額或者降額，從而支持精細(xì)化額度的運(yùn)營(yíng)訴求，最后的結(jié)果是對(duì)利潤(rùn)更加可控。

評(píng)分模型的缺點(diǎn)：評(píng)分模型需要花費(fèi)較長(zhǎng)時(shí)間開(kāi)發(fā)，花費(fèi)較長(zhǎng)時(shí)間的資源，這不是所有企業(yè)都可以承受的。

同時(shí)評(píng)分模型只能統(tǒng)計(jì)預(yù)測(cè)，不能對(duì)個(gè)體進(jìn)行完全確定的預(yù)測(cè)，即不能完全確認(rèn)一個(gè)客戶的好壞，它只能給出客戶好壞可能性的比率。

·由于經(jīng)濟(jì)的變化，評(píng)分模型并不是完全保持一成不變的準(zhǔn)確率，比如疫情來(lái)了，那么需要降低評(píng)分系統(tǒng)的預(yù)期。

評(píng)分模型的建設(shè)

評(píng)分模型的搭建過(guò)程分為8個(gè)步驟，當(dāng)然線上跑模型需要單獨(dú)的系統(tǒng)支持，注呱說(shuō)產(chǎn)品在其它文章中，我們專門講評(píng)分系統(tǒng)的搭建過(guò)程。

一、客群分析

不同的客群盡量需要不同的評(píng)分模型，比如給個(gè)人小額現(xiàn)金貸款，和汽車分期貸款，小微企業(yè)貸款就需要不同的評(píng)分模型。

如果大昌公司已經(jīng)有了針對(duì)大額現(xiàn)金貸款的評(píng)分模型，那么如果要新上一個(gè)小額現(xiàn)金產(chǎn)品，初期也可以把小額現(xiàn)金產(chǎn)品的客群納入大額現(xiàn)金貸的評(píng)分模型中，但是最好提前做數(shù)據(jù)驗(yàn)證匹配度。

如果不經(jīng)過(guò)客群分析，胡亂套用比如汽車分期貸款的模型套用到小額現(xiàn)金貸款中，那顯然是不合時(shí)宜的，就如女人的高跟鞋再好看，給男人穿還是不合腳的。

二、業(yè)務(wù)梳理

在業(yè)務(wù)梳理階段，需要確認(rèn)新產(chǎn)品的業(yè)務(wù)流程，比如是用app進(jìn)件，還是通過(guò)經(jīng)銷商進(jìn)件，不同的進(jìn)件流程，意味著風(fēng)險(xiǎn)和信息采集不同，評(píng)分系統(tǒng)的建立也不同。

通常線下進(jìn)件能夠收集的數(shù)據(jù)有限，第三方渠道進(jìn)件收集數(shù)據(jù)也不全，最好是通過(guò)自有APP進(jìn)件，這樣能夠收集的數(shù)據(jù)才是最全的。

三、建模方案

一般來(lái)看信用建模和反欺詐建模的場(chǎng)景最多，建模方案確認(rèn)用什么算法模型，梳理能夠收集到的信息，如下圖。

客戶信息分為描述類信息，行為類信息和關(guān)聯(lián)類信息，每一個(gè)信息種類下都有幾十個(gè)到上百個(gè)數(shù)據(jù)特征指標(biāo)，想螞蟻金服每個(gè)客戶有幾千個(gè)數(shù)據(jù)指標(biāo)也合情合理。

所謂生態(tài)公司的優(yōu)勢(shì)就在于數(shù)據(jù)的收集維度足夠多。

四、選擇樣本

選擇樣本要遵從以下幾個(gè)原則

（1）樣本必須能代表評(píng)分模型覆蓋的人群。例如大昌新業(yè)務(wù)是江浙滬的汽車金融業(yè)務(wù)，那么樣本客戶也需要是江浙滬的地區(qū)的客群，這是基本邏輯即要做什么客群業(yè)務(wù)，必須要用該客群的樣本。

（2）選擇樣本的不應(yīng)該過(guò)少，通常至少要1000千，當(dāng)然數(shù)量上當(dāng)然是越多越好，如果樣本數(shù)量過(guò)少，評(píng)分在進(jìn)行算法統(tǒng)計(jì)的時(shí)候，就失去了價(jià)值，因?yàn)樗惴ㄐ枰銐虻臄?shù)據(jù)量。

所以大熊這次準(zhǔn)備了五千個(gè)客戶樣本用于測(cè)試。

（3）其次樣本中的客戶要明確定義好客戶和壞客戶，壞客戶不同的公司定義不一樣，大昌公司定義N3即連續(xù)逾期3個(gè)月，就要代償或者核銷，某銀行信用卡也可以定義逾期N2即代表壞客戶。

上圖是大昌汽車金融業(yè)務(wù)部門N1逾期數(shù)據(jù)，如果拿這份數(shù)據(jù)去做評(píng)分模型的樣本，大家覺(jué)得是否合適呢？

1.2.3.  三秒思考時(shí)間~

答案其實(shí)并不合適，N1只是輕微的逾期，在汽車金融實(shí)際業(yè)務(wù)中N1逾期率可能大于10%，如果把所有的N1都當(dāng)作壞樣本，那么評(píng)分模型注定不夠準(zhǔn)確。

（4）所抽取樣本的時(shí)段必須有建模所需要的數(shù)據(jù)。小額現(xiàn)金貸產(chǎn)品通常選擇1年之內(nèi)的申請(qǐng)人數(shù)據(jù)，車貸產(chǎn)品一般選擇1-3年的申請(qǐng)人數(shù)據(jù)。

因?yàn)檫@些賬戶有充足的時(shí)間產(chǎn)生好的或壞的貸后表現(xiàn)，時(shí)間太久的話這個(gè)時(shí)段的建模數(shù)據(jù)可能沒(méi)有，時(shí)間太短樣本數(shù)據(jù)沒(méi)有貸后表現(xiàn)。

五、建立模型

選取特征變量只是第一步，就是上面說(shuō)的把能收集到的客戶信息都梳理出來(lái)。

由于互聯(lián)網(wǎng)已經(jīng)完全融入了我們的生活，我們的數(shù)據(jù)基本上在互聯(lián)網(wǎng)上有了留痕，這樣的好處是方便數(shù)據(jù)收集者建立更好的模型。

壞處是大部分?jǐn)?shù)據(jù)沒(méi)有經(jīng)過(guò)我們的允許，被過(guò)度使用了，當(dāng)然數(shù)據(jù)安全不在今天的討論范圍內(nèi)。比如分析信用卡逾期次數(shù)，如果逾期次數(shù)多的客戶在貸后表現(xiàn)具不良，沒(méi)有逾期記錄的客戶貸后表現(xiàn)很好，那么信用卡逾期次數(shù)就是一個(gè)好和壞客戶的特征。

與此相反某一特定的特征變量可能在好、壞賬戶之間沒(méi)有任何區(qū)別，比如行為數(shù)據(jù)記錄客戶是吸煙和不吸煙，并不能和客戶的貸后表現(xiàn)直接關(guān)聯(lián)，在這種情況下，這個(gè)特征就不會(huì)被用在評(píng)分卡中。

在評(píng)分建模的過(guò)程中可以收集幾百上千個(gè)特征，以尋找相應(yīng)的特征是否在好、壞賬戶之間存在差異。

特征越多，開(kāi)發(fā)成本越高，維護(hù)成本也越大，實(shí)際業(yè)務(wù)過(guò)程中應(yīng)該靈活掌握，即使是一萬(wàn)個(gè)特征變量或者個(gè)位數(shù)的特征變量，本文的方法論依舊成立。

這么多特征其實(shí)真正有作用的特征其實(shí)不多的，比如客戶的手機(jī)開(kāi)機(jī)狀態(tài)、在網(wǎng)時(shí)長(zhǎng)、公安網(wǎng)、法院網(wǎng)、個(gè)稅、信用卡逾期記錄等。
當(dāng)特征變量很多的時(shí)候，就需要對(duì)每個(gè)特征變量進(jìn)行分配權(quán)重，而分配權(quán)重 過(guò)程一個(gè)評(píng)分模型的設(shè)計(jì)框架就有了。

在以上權(quán)重中，我們把前三項(xiàng)設(shè)置成超過(guò)80，粗暴但是有效，當(dāng)然這是簡(jiǎn)化的情況。

關(guān)于權(quán)重得分，我們找到網(wǎng)上一個(gè)例子，以廣州為例,假如其GDP的評(píng)分為9.5分,GDP增速評(píng)分為8分,人口增長(zhǎng)評(píng)分為9分這個(gè)時(shí)候我們需要知道其綜合評(píng)分,我們給GDP 權(quán)重占比50%? GDP增速 權(quán)重占比30% 人口增長(zhǎng) 權(quán)重占比20%

我們可以計(jì)算出其綜合評(píng)分為9.5*50%+8*30%+9*20%=8.95分

設(shè)置分?jǐn)?shù)閾值，通過(guò)分?jǐn)?shù)閾值，我們確定一個(gè)總分?jǐn)?shù)，理論上高于該分?jǐn)?shù)的所有客戶都會(huì)通過(guò)，低于該分?jǐn)?shù)的所有客戶都會(huì)被拒絕。

在決定是否接受/拒絕某個(gè)客戶時(shí)，最有用的是模型預(yù)設(shè)好的各個(gè)分?jǐn)?shù)段的審批結(jié)果和壞賬率。

比較理想的情況下我們提交的樣本，在評(píng)分模型的分布圖上符合正態(tài)分布。

但是如何設(shè)定通過(guò)和直接拒絕的分?jǐn)?shù)閾值呢？可以通過(guò)核銷率和通過(guò)率來(lái)判斷。

在樣本中，假如我們 壞客戶是核銷客戶，當(dāng)每個(gè)客戶都跑了一遍模型有了得分之后，那么我們是不是就可以算出每個(gè)得分區(qū)間，客戶的核銷率和通過(guò)率？

為了提高通過(guò)率，勢(shì)必放進(jìn)來(lái)更多壞客戶，核銷率就會(huì)提高，這是一種權(quán)衡過(guò)程，就看我們當(dāng)前的運(yùn)營(yíng)策略是先保通過(guò)率還是核銷率。

比如我們新接入了一家資金方，那么為了維護(hù)良好的開(kāi)端，就需要保持通過(guò)率提供，等有了一定資產(chǎn)合作規(guī)模，在降低通過(guò)率，從而降低核銷率。

六、模型評(píng)估

一個(gè)評(píng)分模型的預(yù)測(cè)能力通常用兩種測(cè)度方法來(lái)評(píng)估：一種是K-S檢驗(yàn)，另一種是區(qū)分度。

K-S值（數(shù)學(xué)家柯?tīng)柲缏宸颍↘olmogorov）和斯米洛夫（Smirnov）命名）計(jì)算和客戶和壞客戶的累積分布之間的差異。

我看看舉例KS值是怎么推導(dǎo)出來(lái)的，比如我們有5000個(gè)樣本數(shù)據(jù)，這里面包含了好客戶和壞客戶，通過(guò)邏輯回歸等建模的方式（此處省去建模過(guò)程）我們得到了每個(gè)客戶都對(duì)應(yīng)有一個(gè)信用分。

那么這份數(shù)據(jù)的客戶除了有好和壞的標(biāo)簽，每個(gè)客戶也有對(duì)應(yīng)的信用評(píng)分。

整個(gè)樣本中我們又可以把客戶分成四類樣本，他們分布是

True Positive （真正, TP）被模型預(yù)測(cè)為正的正樣本；

True Negative（真負(fù) , TN）被模型預(yù)測(cè)為負(fù)的負(fù)樣本 ；

False Positive （假正, FP）被模型預(yù)測(cè)為正的負(fù)樣本；

False Negative（假負(fù) , FN）被模型預(yù)測(cè)為負(fù)的正樣本；

其中每種類型的真實(shí)比例的計(jì)算公式如下：

True Positive Rate（真正率 , TPR）或靈敏度（sensitivity）?

TPR = TP /（TP + FN）?

正樣本預(yù)測(cè)結(jié)果數(shù) / 正樣本實(shí)際數(shù)

True Negative Rate（真負(fù)率 , TNR）或特指度（specificity） 

TNR = TN /（TN + FP）?

負(fù)樣本預(yù)測(cè)結(jié)果數(shù) / 負(fù)樣本實(shí)際數(shù)

False Positive Rate （假正率, FPR）?

FPR = FP /（FP + TN）?

被預(yù)測(cè)為正的負(fù)樣本結(jié)果數(shù) /負(fù)樣本實(shí)際數(shù)

False Negative Rate（假負(fù)率 , FNR）?

FNR = FN /（TP + FN）?

被預(yù)測(cè)為負(fù)的正樣本結(jié)果數(shù) / 正樣本實(shí)際數(shù)

定義 F（s|B）代表真負(fù)率，定義F（s|G）代表假負(fù)率，于是我們就可以得出一個(gè)樣本比率為縱坐標(biāo)，信用得分為橫坐標(biāo)的兩條曲線，如下圖。

在真實(shí)貸款中，我們希望盡量把壞客戶拒絕，但是好客戶避免誤傷，我們的希望在數(shù)據(jù)上的提現(xiàn)就是F（s|B）-F（s|G) 的最大值。

而這個(gè)最大值就是KS值。

假如圖中相差最大處F（s|B）=0.8，F(xiàn)（s|G)=0.4，那么KS值=0.8-0.4=0.4。

好客戶和壞客戶之間的累積分布的間隔越大，說(shuō)明建模后的信用評(píng)分區(qū)分度越大。

通常我們認(rèn)為超過(guò)30個(gè)百分點(diǎn)KS值是可接受的，如果能超過(guò)50%那就屬于優(yōu)秀的水平了，KS值越大，越能體現(xiàn)建模的水平。

七、模型部署

如果一開(kāi)始是如果你們的審批是線下后臺(tái)的審批，如果直接引入評(píng)分系統(tǒng)，那么可能有大問(wèn)題。

曾經(jīng)我們就有這樣的慘痛經(jīng)驗(yàn)，上線了一個(gè)自認(rèn)為很ok的模型，嚴(yán)重降低了進(jìn)件團(tuán)隊(duì)的通過(guò)率，被渠道老總強(qiáng)烈投訴！?

所以實(shí)施部署的關(guān)鍵是要高管、風(fēng)險(xiǎn)以及渠道團(tuán)隊(duì)的充分理解，在模型部署之前應(yīng)該充分培訓(xùn)和宣導(dǎo)評(píng)分模型的戰(zhàn)略意義，并且初期評(píng)分模型盡量要有可解釋性，這樣才會(huì)給人信服。

評(píng)分系統(tǒng)還應(yīng)該評(píng)分結(jié)果轉(zhuǎn)人工，在汽車金融業(yè)務(wù)中，有些經(jīng)銷商剛剛開(kāi)始合作，他們故意用一些低質(zhì)量的客戶來(lái)進(jìn)件，如果這時(shí)候的營(yíng)銷策略是維護(hù)經(jīng)銷商關(guān)系，以壞賬換取信任，那么就要適當(dāng)?shù)拈_(kāi)綠燈，等到線下團(tuán)隊(duì)和經(jīng)銷商的關(guān)系穩(wěn)固，才慢慢收緊審批標(biāo)準(zhǔn)。

轉(zhuǎn)人工的原因還有就是就是評(píng)分模型的數(shù)據(jù)源可能出現(xiàn)異常，那么就需要人工進(jìn)行就調(diào)整。

作為產(chǎn)品設(shè)計(jì)者，預(yù)留后門是為了給自己留出生命線。

八、模型監(jiān)控

模型監(jiān)控的主要指標(biāo)是客群穩(wěn)定性分析和特征變量穩(wěn)定性分析。

客群穩(wěn)定性報(bào)告將近期實(shí)際申請(qǐng)人的信用得分按分?jǐn)?shù)段（以月或季度為單位）與預(yù)測(cè)分布進(jìn)行比較。

客群穩(wěn)定性是發(fā)現(xiàn)潛在問(wèn)題的一個(gè)很好的早期指標(biāo)，該指標(biāo)能夠很好的反饋當(dāng)前客群是否存在明細(xì)變化。

比如上圖中紅色的實(shí)際申請(qǐng)的客群，在0-4分的區(qū)間，實(shí)際發(fā)生的客群比預(yù)測(cè)的要高，說(shuō)明實(shí)際的客群質(zhì)量下降了。

如果客群分布變化，你就知道進(jìn)入的客群也是不同的，比如這時(shí)候就可以找渠道方進(jìn)行溝通，表明最近的渠道質(zhì)量變化，客群質(zhì)量變化，在模型能力不變的情況下，最終影響的是盈利效果。

特征變量穩(wěn)定性分析是以時(shí)間維度與樣本的特征分布進(jìn)行比較。

上圖中2022Q2季度收入5000以下的實(shí)際客戶占比明細(xì)增大，這說(shuō)明

客群以及經(jīng)濟(jì)環(huán)境，甚至是數(shù)據(jù)源本身出了問(wèn)題，這時(shí)候就需要去尋找原因，否則模型最后的預(yù)測(cè)結(jié)果將不準(zhǔn)確。

外部評(píng)分模型大昌公司可以定制開(kāi)發(fā)自內(nèi)部的評(píng)分模型，但是如果如大順這樣的小消費(fèi)金融公司，由于數(shù)據(jù)和開(kāi)發(fā)資源都不夠，又想把風(fēng)險(xiǎn)模型做好，只能引入外部的評(píng)分模型。

目前國(guó)內(nèi)外部評(píng)分模型的公司也很多，比如同盾、百融、數(shù)美這樣的機(jī)構(gòu)，他們根據(jù)行業(yè)客戶不同，推出了各種的行業(yè)評(píng)分

他們一般是根據(jù)和銀行以及小貸公司合作，積累了大量的數(shù)據(jù)資源，加上自身的技術(shù)積累，向外輸出評(píng)分模型也是符合市場(chǎng)需求。

根據(jù)行業(yè)可以區(qū)分汽車金融評(píng)分，線上小額貸款模型，信用卡、理財(cái)客戶模型等。

根據(jù)行業(yè)可以區(qū)分反欺詐模型、客戶信用評(píng)分模型，催收模型，收入預(yù)測(cè)模型，客戶流失模型。

由于這些廠商接入的金融機(jī)構(gòu)很多，通常他們是在頭部打造一個(gè)樣本，然后在向下推廣，像大順這樣的腰部以下企業(yè)，完全可以信任他們的模型。如果是大昌這樣某部機(jī)構(gòu)，作為第一個(gè)吃螃蟹的人，最好還是要對(duì)數(shù)據(jù)進(jìn)行驗(yàn)證，并且評(píng)判數(shù)據(jù)的好壞。

使用外部數(shù)據(jù)評(píng)分系統(tǒng)的好處是這些評(píng)分會(huì)不定期的更新，因?yàn)樗麄兘尤氲臋C(jī)構(gòu)會(huì)越來(lái)越多，所以評(píng)分模型也在進(jìn)化。

很多機(jī)構(gòu)的做法是同時(shí)接入很多機(jī)構(gòu)的評(píng)分模型，讓不同的評(píng)分模型進(jìn)行交叉驗(yàn)證，增強(qiáng)對(duì)客戶的識(shí)別能力。

總結(jié)

一直以來(lái)由于小微企業(yè)自身規(guī)模小，經(jīng)營(yíng)風(fēng)險(xiǎn)大，缺乏擔(dān)保物等問(wèn)題，常常很難達(dá)到傳統(tǒng)信貸機(jī)構(gòu)的放貸標(biāo)準(zhǔn)。?

在授權(quán)合規(guī)的前提下，評(píng)分模型可以收集銀行數(shù)據(jù)、稅務(wù)數(shù)據(jù)、企業(yè)行為數(shù)據(jù)和場(chǎng)景數(shù)據(jù)。

誰(shuí)先建立了領(lǐng)先的企業(yè)評(píng)分模型，誰(shuí)就能快速的搶占市場(chǎng)。

在個(gè)人信貸領(lǐng)域，領(lǐng)先的個(gè)人信用模型也是快速放款，自動(dòng)審批，和降低風(fēng)險(xiǎn)水平的利器，是信貸領(lǐng)域真正的核心。