Chukwa數(shù)據(jù)收集系統(tǒng)

什么是 Chukwa，簡單的說它是一個數(shù)據(jù)收集系統(tǒng)，它可以將各種各樣類型的數(shù)據(jù)收集成適合 Hadoop 處理的文件保存在 HDFS 中供 Hadoop 進行各種 MapReduce 操作。Chukwa 本身也提供了很多內(nèi)置的功能，幫助我們進行數(shù)據(jù)的收集和整理。

為了更加簡單直觀的展示 Chukwa，我們先來看一個假設(shè)的場景。假設(shè)我們有一個規(guī)模很大 ( 牽扯到 Hadoop 的總是很大。。。。) 的網(wǎng)站，網(wǎng)站每天產(chǎn)生數(shù)量龐大的日志文件，要收集，分析這些日志文件可不是件容易的事情，讀者可能會想了，做這種事情 Hadoop 挺合適的，很多大型網(wǎng)站都在用，那么問題來了，分散在各個節(jié)點的數(shù)據(jù)怎么收集，收集到的數(shù)據(jù)如果有重復(fù)數(shù)據(jù)怎么處理，如何與 Hadoop 集成。如果自己編寫代碼完成這個過程，一來需要花費不小的精力，二來不可避免的會引入 Bug。這里就是我們 Chukwa 發(fā)揮作用的時候了，Chukwa 是一個開源的軟件，有很多聰明的開發(fā)者在貢獻著自己的智慧。它可以幫助我們在各個節(jié)點實時監(jiān)控日志文件的變化，增量的將文件內(nèi)容寫入 HDFS，同時還可以將數(shù)據(jù)去除重復(fù)，排序等，這時 Hadoop 從 HDFS 中拿到的文件已經(jīng)是 SequenceFile 了。無需任何轉(zhuǎn)換過程，中間繁雜的過程都由 Chukwa 幫我們完成了。是不是很省心呢。這里我們僅僅舉了一個應(yīng)用的例子，它還可以幫我們監(jiān)控來自 Socket 的數(shù)據(jù)，甚至定時執(zhí)行我們指定的命令獲取輸出數(shù)據(jù)，等等，具體的可以參看 Chukwa 官方文檔。如果這些還不夠，我們還可以自己定義自己的適配器來完成更加高級的功能。