datastream.io實時異常檢測的開源框架
使用 Python，Elasticsearch 和 Kibana 進行實時異常檢測的開源框架。
該項目的目的是執(zhí)行以下功能：
消耗從各種文件和流格式的數(shù)據(jù)。
實時轉(zhuǎn)換數(shù)據(jù)流以獲取感興趣的統(tǒng)計信息，如聚合，計數(shù)，會話，分組或提取功能。
通過無監(jiān)督的機器學(xué)習(xí)對產(chǎn)生的流進行建模，以全局或者在設(shè)備/用戶層面捕獲正常的基線行為。
通過將每個新事件與基準模型進行比較來評分。
在輕量級可定制儀表板上可視化異常事件，并且輕量級的后端。
安裝
推薦的安裝方法是在 Python 3.x virtalenv 中使用 pip。
virtualenv --python=python3 dsio-env source dsio-env/bin/activate pip install -e git+https://github.com/MentatInnovations/datastream.io#egg=dsio
用法
您可以通過命令行使用 dsio 或?qū)⑵鋵?dǎo)入到您的 Python 代碼中。您可以使用內(nèi)置的 Bokeh 服務(wù)器可視化您的數(shù)據(jù)流，也可以將它們重新定位到 Elasticsearch，并使用 Kibana 對其進行可視化。在任何一種情況下，dsio 都會為您的數(shù)據(jù)流生成適當(dāng)?shù)膬x表板。另外，如果您通過 Jupyter 筆記本調(diào)用 dsio，則會將流式 Bokeh 儀表板嵌入到同一個筆記本中。
評論
圖片
表情