Tigon分布式流處理框架
Tigon 是一個(gè)開源的、實(shí)時(shí)的、低延遲、高吞吐量的流處理框架?;?Apache Hadoop 和 Apache HBase 構(gòu)建。Tigon 嚴(yán)重依賴開源項(xiàng)目 Tephra 和 Apache Twill 提供緊密的集成到已有的 Hadoop/HBase 集群中。
Tigon 應(yīng)用 這就是“流”,在邏輯上表示為有向無(wú)環(huán)圖(Directed Acyclic Graph),每個(gè)節(jié)點(diǎn)代表一個(gè)處理單元,這些處理單元就是 Flowlet,使用隊(duì)列來(lái)處理單元之間的數(shù)據(jù)流。
Flows 對(duì)于 Tigon 而言相當(dāng)于 Twill 對(duì)于 YARN 容器。提供了運(yùn)行時(shí)彈性的可伸縮性。
Flowlets 可以存儲(chǔ)在 HBase ,如果需要可使用 Tephra 的 ACID 屬性。
TigonSQL 是 Tigon 附帶的一個(gè)內(nèi)存中的流處理庫(kù)。可利用它來(lái)攫取大量的數(shù)據(jù)流到 Hadoop/HBase 集群中,并執(zhí)行類 CEP 的查詢語(yǔ)句,使用類似 SQL 的語(yǔ)言進(jìn)行查詢。
Tigon 支持不同運(yùn)行時(shí)和環(huán)境,你可以運(yùn)行在單一計(jì)算機(jī)或者是分布式 Hadoop 集群中,提供直觀的命令行接口幫助用戶管理 Tigon 流。
要使用 Tigon 必須有:
-
JDK 6 or JDK 7 (用來(lái)運(yùn)行 Tigon)
-
GCC
-
G++
-
Apache Maven 3.0+ (用來(lái)構(gòu)建示例程序)
