Apache EagleHadoop 數(shù)據(jù)安全方案

Apache Eagle 是 eBay 公司推出的分布式實時安全監(jiān)控引方案，該項目已正式加入 Apache 成為孵化項目。Apache Eagle 提供一套高效分布式的流式策略引擎，具有高實時、可伸縮、易擴(kuò)展、交互友好等特點(diǎn)，同時集成機(jī)器學(xué)習(xí)對用戶行為建立 Profile 以實現(xiàn)實時智能實時地保護(hù) Hadoop 生態(tài)系統(tǒng)中大數(shù)據(jù)的安全。

Eagle 是開源分布式實時 Hadoop 數(shù)據(jù)安全方案，支持?jǐn)?shù)據(jù)行為實時監(jiān)控，能立即監(jiān)測出對敏感數(shù)據(jù)的訪問或惡意的操作，并立即采取應(yīng)對的措施。

Eagle 的數(shù)據(jù)行為監(jiān)控方案可用于如下幾類典型場景：

• 監(jiān)控 Hadoop 中的數(shù)據(jù)訪問流量

• 檢測非法入侵和違反安全規(guī)則的行為

• 檢測并防止敏感數(shù)據(jù)丟失和訪問

• 實現(xiàn)基于策略的實時檢測和預(yù)警

• 實現(xiàn)基于用戶行為模式的異常數(shù)據(jù)行為檢測

Eagle 具有如下特點(diǎn)：

• 高實時： 我們充分理解安全監(jiān)控中高度實時和快速反應(yīng)的重要性，因此設(shè)計Eagle之初，我們竭盡可能地確保能在亞秒級別時間內(nèi)產(chǎn)生告警，一旦綜合多種因素確訂為危險操作，立即采取措施阻止非法行為。

• 可伸縮：在eBay Eagle 被部署在多個大型Hadoop集群上，這些集群擁有數(shù)百PB的數(shù)據(jù)，每天有8億以上的數(shù)據(jù)訪問時間，因此Eagle必須具有處理海量實時數(shù)據(jù)的高度可伸縮能力。

• 簡單易用：可用性也是Eagle產(chǎn)品的核心設(shè)計原則之一。通過Eagle的Sandbox，使用者僅需數(shù)分鐘便可以設(shè)置好環(huán)境并開始嘗試。為了使得用戶體驗盡可能簡單，我們內(nèi)置了許多很好的例子，只需簡單地點(diǎn)擊幾步鼠標(biāo)，便可以輕松地完成策略地創(chuàng)建和添加。

• 用戶Profile：Eagle 內(nèi)置提供基于機(jī)器學(xué)習(xí)算法對Hadoop中用戶行為習(xí)慣建立用戶Profile的功能。我們提供多種默認(rèn)的機(jī)器學(xué)習(xí)算法供你選擇用于針對不同HDFS特征集進(jìn)行建模，通過歷史行為模型，Eagle可以實時地檢測異常用戶行為并產(chǎn)生預(yù)警。

• 開源：Eagle一直根據(jù)開源的標(biāo)準(zhǔn)開發(fā)，并構(gòu)建于諸多大數(shù)據(jù)領(lǐng)域的開源產(chǎn)品之上，因此我們決定以Apache許可證開源Eagle，以回饋社區(qū)，同時也期待獲得社區(qū)的反饋、協(xié)作與支持。