人人都會(huì)點(diǎn)數(shù)據(jù)分析 | 了解統(tǒng)計(jì)指標(biāo)與異常值的簡(jiǎn)單處理

上一篇文章簡(jiǎn)單學(xué)習(xí)了什么是數(shù)據(jù)，這次來(lái)看看什么是統(tǒng)計(jì)指標(biāo)，進(jìn)一步了解更多數(shù)據(jù)分析相關(guān)的基礎(chǔ)知識(shí)。

什么是統(tǒng)計(jì)指標(biāo)

體現(xiàn)總體數(shù)量特征的概念和數(shù)值

根據(jù)數(shù)據(jù)分析的目的不同，統(tǒng)計(jì)指標(biāo)也會(huì)變化

“

分析招聘數(shù)據(jù)的時(shí)候：技能、薪資、崗位年限

分析用戶轉(zhuǎn)化率：網(wǎng)站瀏覽量、著陸頁(yè)、跳失率

分析理財(cái)產(chǎn)品的時(shí)候：往期的業(yè)績(jī)、風(fēng)險(xiǎn)系數(shù)、年化收益

統(tǒng)計(jì)指標(biāo)根據(jù)他體現(xiàn)的內(nèi)容分為兩大類：總量指標(biāo)，相對(duì)指標(biāo)

總量指標(biāo)

描述特定條件下的總規(guī)模、總水平或工作總量的指標(biāo)

“

GDP、銷售總額、總?cè)丝跀?shù)

相對(duì)指標(biāo)

描述的是相對(duì)關(guān)系，而不是總體情況

是指兩個(gè)有聯(lián)系的現(xiàn)象數(shù)值相比得到的比率

“

比例：各數(shù)據(jù) / 總比 %

比率：數(shù)據(jù)想：數(shù)據(jù)項(xiàng)

倍數(shù)：突出上升、增長(zhǎng)幅度

環(huán)比增長(zhǎng)率（短期）：（本期數(shù) - 上期數(shù)）/ 上期數(shù) * 100 %

同比增長(zhǎng)率（長(zhǎng)期）：（本期數(shù) - 同期數(shù)）/ 同期數(shù) * 100 %

注意：環(huán)比更注重短期的漲幅表現(xiàn)，同比更注重長(zhǎng)期的漲幅表現(xiàn)

除了以上的兩大類外還有三個(gè)統(tǒng)計(jì)指標(biāo)值得我們學(xué)習(xí)，分別是集中趨勢(shì)指標(biāo)、離散趨勢(shì)指標(biāo)、分布形態(tài)

統(tǒng)計(jì)指標(biāo)：集中趨勢(shì)指標(biāo) ?- ?平均指標(biāo)

平均值

用一個(gè)數(shù)字顯示總體一般水平就為平均指標(biāo)也叫集中趨勢(shì)指標(biāo)，最常用的集中趨勢(shì)指標(biāo)就是平均值

“

平均值 = 所有數(shù)據(jù)相加 / 數(shù)據(jù)的個(gè)數(shù)

在通常的數(shù)據(jù)處理中經(jīng)常會(huì)出現(xiàn)異常的數(shù)據(jù)，比如數(shù)據(jù)特別大或特別小就會(huì)影響平均值，這樣得出的平均值具有一定的誤導(dǎo)性，平均值對(duì)于異常數(shù)并不敏感

“

我和馬大大的月薪平均過(guò)億...

正是因?yàn)檫@樣情況，所以還有一個(gè)指標(biāo) - 中位數(shù)，需要了解一下

中位數(shù)

中位數(shù)是指按順序排列后，居于中間位置的數(shù)

“

數(shù)據(jù)為奇數(shù)：位于（n+1）/ 2 位置的數(shù)為中位數(shù)

數(shù)據(jù)為偶數(shù)：位于最中間的兩位數(shù)相加 / 2 為中位數(shù)

這樣的數(shù)據(jù)更具有代表性

眾數(shù)

眾數(shù)是指出現(xiàn)次數(shù)最多的數(shù)值，反應(yīng)的是局部特征、密集度

統(tǒng)計(jì)指標(biāo)：離散趨勢(shì)指標(biāo)

上面講完了集中趨勢(shì)指標(biāo)，現(xiàn)在來(lái)了解下什么是離散趨勢(shì)指標(biāo)

離散趨勢(shì)指標(biāo)是體現(xiàn)內(nèi)部差異度的指標(biāo)，主要有三類：極差、平均查、標(biāo)準(zhǔn)差

極差

極差體現(xiàn)數(shù)據(jù)內(nèi)部最大的差異情況

“

極差 = 最大值 - 最小值

但是極差不能體現(xiàn)數(shù)據(jù)內(nèi)部真正的數(shù)據(jù)差異情況，體現(xiàn)數(shù)據(jù)內(nèi)部真正的差異情況我們使用平均差

平均差

平均差體現(xiàn)的是一組數(shù)據(jù)與平均值差異的平均差異

“

平均差 = |每個(gè)數(shù)據(jù)項(xiàng) - 均值|的總和 / 數(shù)據(jù)項(xiàng)個(gè)數(shù)

數(shù)據(jù)項(xiàng)與平均值的差距越大，數(shù)據(jù)越分散，反之越集中

不過(guò)這里需要注意，當(dāng)一組數(shù)據(jù)中存在數(shù)據(jù)異常值的時(shí)候，就容易導(dǎo)致誤差，所以針對(duì)這種情況，就有了對(duì)離散值更敏感的標(biāo)準(zhǔn)差

標(biāo)準(zhǔn)差

標(biāo)準(zhǔn)差是相比與平均差更能代表離散程度的指標(biāo)

“

標(biāo)準(zhǔn)差 = （（|每個(gè)數(shù)據(jù)項(xiàng) - 均值|）平方的總和 / 數(shù)據(jù)項(xiàng)個(gè)數(shù)）開方

使用標(biāo)準(zhǔn)差能更直觀的了解差異程度，是我們最常用的離散指標(biāo)

統(tǒng)計(jì)指標(biāo)：分布形態(tài)

分布形態(tài)指的是圖表化呈現(xiàn)出來(lái)的形態(tài)

常見的形態(tài)有：左偏分布、右偏分布、正態(tài)分布

左偏分布：平均值是偏左的，眾數(shù)（也就是峰值）是偏右的

右偏分布：平均值是偏右的，眾數(shù)（也就是峰值）是偏左的

正態(tài)分布：平均值是居中的，眾數(shù)（也就是峰值）是居中的

異常值

上面在介紹各類指標(biāo)的時(shí)候，一直都有提到一個(gè)會(huì)影響我們判斷的概念，就是異常值，那么怎么識(shí)別異常值呢？

異常值一般是指與平均值偏差極大或極小的值，也叫離群值

上面也同時(shí)提到了一般是指，這個(gè)判斷標(biāo)準(zhǔn)要取決于具體分析的業(yè)務(wù)對(duì)象

“

例如：周期性的產(chǎn)業(yè)，比如旅游行業(yè)是有淡旺季之分的，旺季的數(shù)據(jù)通常能達(dá)到淡季的兩倍以上，這樣的數(shù)據(jù)就不能視為異常值

識(shí)別異常值

一般的業(yè)務(wù)數(shù)據(jù)通過(guò)觀察異常值與整體數(shù)據(jù)的差距可以識(shí)別異常值

通常情況下我們采用的方法是通過(guò)計(jì)算與平均的倍數(shù)，異常值與平均值計(jì)算出來(lái)的倍數(shù)通常遠(yuǎn)大于（小于）其他數(shù)據(jù)與平均值計(jì)算出來(lái)的倍數(shù)，這樣就可以簡(jiǎn)單的識(shí)別出哪些數(shù)據(jù)項(xiàng)是異常值了。

至于如何處理異常值，一般要看具體的業(yè)務(wù)分析

異常值判定

1、對(duì)于錯(cuò)誤記錄的異常值，直接修改為正常數(shù)據(jù)即可，例如將工資數(shù)據(jù)錯(cuò)誤記錄為負(fù)數(shù)，我們直接修改即可

2、對(duì)于錯(cuò)誤添加的異常值，直接刪除即可，例如在預(yù)處理時(shí)，將年齡數(shù)據(jù)混入了工資數(shù)據(jù)中，我們就可以直接刪除了

3、對(duì)于正確、真實(shí)的異常值，這個(gè)需要根據(jù)具體業(yè)務(wù)分析，需要判斷這個(gè)異常值是否反映特殊的事件。

“

例如，在基金行情的走勢(shì)圖中存在因?yàn)榉旨t導(dǎo)致的基金走勢(shì)波動(dòng)大，如果我們是為了分析該基金的行情走勢(shì)，那么我們就不能處理這個(gè)異常值。如果我們分析數(shù)據(jù)是為了量化交易，那么就要修改調(diào)整這個(gè)異常值

還有就是對(duì)于周期性的數(shù)據(jù)，例如上面提到的旅游數(shù)據(jù)，對(duì)于這類數(shù)據(jù)我們是不做處理的

處理異常值

1、對(duì)于錯(cuò)誤數(shù)據(jù)，我們可以填充空值、填充樣本平均值

2、對(duì)于正確、真實(shí)的數(shù)據(jù)，我們可以根據(jù)實(shí)際情況調(diào)整、數(shù)值 * 需要調(diào)整的比率

“

例如之前提供的例子中，當(dāng)基金因?yàn)榉旨t導(dǎo)致當(dāng)天下跌了 8%，對(duì)于這樣的數(shù)據(jù)，我們可以將之后的價(jià)格調(diào)整為 收盤價(jià) *（1+0.08）

這次我們簡(jiǎn)單了解了什么是統(tǒng)計(jì)指標(biāo)，以及異常值的簡(jiǎn)單處理，現(xiàn)在我們對(duì)數(shù)據(jù)分析的基礎(chǔ)知識(shí)已經(jīng)有了比較好的認(rèn)識(shí)了，那么是時(shí)候體系化的了解數(shù)據(jù)分析的整體流程，為之后數(shù)據(jù)分析工具的學(xué)習(xí)打下基礎(chǔ)了。

好了，今天的文章就到這里，我們下次再會(huì)~