作者信息

知乎微調(diào)：https://www.zhihu.com/people/breaknever

PPT和視頻：后臺(tái)回復(fù) 異常檢測(cè) 獲取

內(nèi)容概括

1.什么是異常檢測(cè)？

2.異常檢測(cè)有什么具體應(yīng)用？

3.異常檢測(cè)的工具概覽？如何用10行Python代碼進(jìn)行異常檢測(cè)？

4.異常檢測(cè)算法概覽與主流模型介紹

5.面對(duì)各種各樣的模型，如何選擇和調(diào)參？

6.未來(lái)的異常檢測(cè)研究方向

7.異常檢測(cè)相關(guān)的資源匯總（書(shū)籍、講座、代碼、數(shù)據(jù)等）

異常檢測(cè)

什么是異常值、離群點(diǎn)（anomaly）？

異常一般指的是與標(biāo)準(zhǔn)值（或期待值）有偏離的樣本，也就是說(shuō)跟絕大部分?jǐn)?shù)據(jù)“長(zhǎng)的不一樣”。

異常檢測(cè)的一些特點(diǎn)：

1.異常不一定代表是“壞”的事情，但往往是“有價(jià)值”的事情，我們對(duì)異常的成因感興趣

2.異常檢測(cè)往往是在無(wú)監(jiān)督的模式下完成的—?dú)v史數(shù)據(jù)中沒(méi)有標(biāo)簽，我們不知道哪些數(shù)據(jù)是異常。因此無(wú)法用監(jiān)督學(xué)習(xí)去檢測(cè)。

異常檢測(cè)的應(yīng)用：

1.金融行業(yè)的反欺詐、信用卡詐騙檢測(cè)：把欺詐或者金融風(fēng)險(xiǎn)當(dāng)做異常

2.罕見(jiàn)病檢測(cè)：把罕見(jiàn)病當(dāng)做異常，比如檢測(cè)早發(fā)的阿茲海默癥

3.入侵檢測(cè)：把網(wǎng)絡(luò)流量中的入侵當(dāng)做異常

4.機(jī)器故障檢測(cè)：實(shí)時(shí)監(jiān)測(cè)發(fā)現(xiàn)或預(yù)測(cè)機(jī)械故障

5.圖結(jié)構(gòu)、群體檢測(cè)：比如檢測(cè)疫情的爆發(fā)點(diǎn)等

異常檢測(cè)的應(yīng)用

IntelControlFlag：

“基于10億條包含各種錯(cuò)誤的未標(biāo)記生產(chǎn)質(zhì)量代碼的機(jī)器學(xué)習(xí)培訓(xùn)，ControlFlag得以通過(guò)“異常檢測(cè)”技術(shù)，對(duì)傳統(tǒng)編程模式展開(kāi)篩查。無(wú)論使用的是哪種編程語(yǔ)言，它都能夠有效地識(shí)別代碼中可能導(dǎo)致任何錯(cuò)誤的潛在異常。”

AmazonAWSCloudWatch:

“今天，我們將通過(guò)一項(xiàng)新功能增強(qiáng)CloudWatch，它將幫助您更有效地使用CloudWatch警報(bào)。…我們的用戶(hù)可以構(gòu)建自定義的控制面板，設(shè)置警報(bào)并依靠CloudWatch來(lái)提醒自己影響其應(yīng)用程序性能或可靠性的問(wèn)題。”

Google：

“GoogleAnalytics（分析）會(huì)選擇一段時(shí)期的歷史數(shù)據(jù)來(lái)訓(xùn)練其預(yù)測(cè)模型。要檢測(cè)每天的異常情況，訓(xùn)練期為90天。要檢測(cè)每周的異常情況，訓(xùn)練期為32周。”