波塞冬，是希臘神話中的海神，在這里是寓意著海量數(shù)據(jù)的主宰者。

Poseidon 系統(tǒng)是一個(gè)日志搜索平臺(tái)，可以在數(shù)百萬(wàn)億條、數(shù)百PB大小的日志數(shù)據(jù)中快速分析和檢索特定字符串。 360公司是一個(gè)安全公司，在追蹤 APT（高級(jí)持續(xù)威脅）事件時(shí)，經(jīng)常需要在海量的歷史日志數(shù)據(jù)中檢索某些信息， 例如某個(gè)惡意樣本在某個(gè)時(shí)間段內(nèi)的活動(dòng)情況。在 Poseidon 系統(tǒng)出現(xiàn)之前，都是寫(xiě) Map/Reduce 計(jì)算任務(wù)在 Hadoop 集群中做計(jì)算， 一次任務(wù)所需的計(jì)算時(shí)間從數(shù)小時(shí)到數(shù)天不等，大大制約了 APT 事件的追蹤效率。 Poseidon 系統(tǒng)就是為了解決這個(gè)需求，能在幾秒鐘內(nèi)從數(shù)百萬(wàn)億條規(guī)模的數(shù)據(jù)集中找出我們需要的數(shù)據(jù)，大大提高工作效率； 同時(shí)，這些數(shù)據(jù)不需要額外存儲(chǔ)，仍然存放在Hadoop集群中，節(jié)省了大量存儲(chǔ)和計(jì)算資源。該系統(tǒng)可以應(yīng)用于任何結(jié)構(gòu)化或非結(jié)構(gòu)化海量(從萬(wàn)億到千萬(wàn)億規(guī)模)數(shù)據(jù)的查詢檢索需求。

所用技術(shù)

• 倒排索引：構(gòu)建日志搜索引擎的核心技術(shù)

• Hadoop：用于存放原始數(shù)據(jù)和索引數(shù)據(jù)，并用來(lái)運(yùn)行Map/Reduce程序來(lái)構(gòu)建索引

• Java：構(gòu)建索引時(shí)是用Java開(kāi)發(fā)的Map/Reduce程序

• Golang：檢索程序是用Golang開(kāi)發(fā)的

• Redis/Memcached：用于存儲(chǔ) Meta 元數(shù)據(jù)信息