Apache 軟件基金會(huì)“歸檔”撤回 13 個(gè)大數(shù)據(jù)相關(guān)項(xiàng)目，Hadoop 已成“過(guò)氣寵兒”

公開(kāi)消息表示，Apache 軟件基金會(huì)在短短 11 天內(nèi)宣布?xì)w檔（attic）19個(gè)開(kāi)源項(xiàng)目，與大數(shù)據(jù)有關(guān)的有 13 個(gè)，其中 10 個(gè)項(xiàng)目屬于 Hadoop 生態(tài)系統(tǒng)，包括 Sentry、Tajo 和 Falcon 等。

從整體上看，這次的行為無(wú)疑是一個(gè)“行業(yè)的分水嶺”，能為從業(yè)者以及行業(yè)觀察者提供一些趨勢(shì)類(lèi)的分析與觀察。與大數(shù)據(jù)有關(guān)的已報(bào)廢的 Apache 項(xiàng)目包括如下：

- Apex：這個(gè)統(tǒng)一的平臺(tái)面向大數(shù)據(jù)流和批處理，基于 Hadoop YARN。

- Chukwa：這個(gè)數(shù)據(jù)收集系統(tǒng)用于監(jiān)控大型分布式系統(tǒng)，基于 Hadoop 分布式文件系統(tǒng)（HDFS）。

- Crunch，它提供了一套框架，用于編寫(xiě)、測(cè)試和運(yùn)行 MapReduce（包括 Hadoop MapReduce）管道。

- Eagle：這種分析解決方案用于立即發(fā)現(xiàn)大數(shù)據(jù)平臺(tái)（包括 Hadoop）的安全和性能問(wèn)題。

- Falcon：這種面向 Hadoop 的數(shù)據(jù)處理和管理解決方案，為數(shù)據(jù)移動(dòng)、數(shù)據(jù)管道協(xié)調(diào)、生命周期管理和數(shù)據(jù)發(fā)現(xiàn)而設(shè)計(jì)。

- Hama：這種用于大數(shù)據(jù)分析的框架在 Hadoop 上運(yùn)行，基于 Bulk Synchronous Parallel 范式。

- Lens：提供統(tǒng)一分析界面，將 Hadoop 與傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)集成起來(lái)，如同一個(gè)整體。

- Marmotta：一種面向鏈接數(shù)據(jù)的開(kāi)放平臺(tái)。

- Metron：專(zhuān)注于實(shí)時(shí)大數(shù)據(jù)安全。

- PredictionIO：這種機(jī)器學(xué)習(xí)服務(wù)器用于管理和部署生產(chǎn)就緒的預(yù)測(cè)服務(wù)。

- Sentry：這種系統(tǒng)用于對(duì) Apache Hadoop 中的數(shù)據(jù)和元數(shù)據(jù)執(zhí)行細(xì)粒度授權(quán)。

- Tajo：Hadoop 上的大數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。

- Twill：使用 Hadoop YARN 的分布式功能以及類(lèi)似運(yùn)行中線程的編程模型。

Apache Hadoop —— “過(guò)氣的寵兒”

根據(jù)行業(yè)媒體的表述，“Apache Hadoop 作為昔日大數(shù)據(jù)領(lǐng)域的寵兒，早已過(guò)氣。”

十年前，出世兩年的 Hadoop 順利通過(guò)孵化器成為了 Apache 頂級(jí)項(xiàng)目，同年，第一個(gè) Hadoop 商業(yè)化公司 Cloudera 成立；數(shù)年前，簡(jiǎn)直就是 Hadoop 的主場(chǎng)，社區(qū)不斷建立的新組件來(lái)擴(kuò)展 Hadoop 的應(yīng)用場(chǎng)景和可用性，其中有很多組件都成功脫離 Hadoop 成為了 Apache 頂級(jí)項(xiàng)目，例如 HBase、Hive、ZooKeeper 等。

這也讓 Hadoop 成為近十年來(lái)大數(shù)據(jù)領(lǐng)域的典型代表。它新鮮，它開(kāi)源，它催生出整個(gè)產(chǎn)品與供應(yīng)商市場(chǎng)。

但 Hadoop 如今的“失寵”，可能和他選擇的道路有關(guān)，早在數(shù)年前便有行業(yè)媒體預(yù)言過(guò)他的發(fā)展路徑。

Hadoop 當(dāng)初選擇了全面普及的道路，從長(zhǎng)遠(yuǎn)來(lái)看，這條道路有助于其提高自身影響力，但負(fù)面因素則是導(dǎo)致其逐漸偏離當(dāng)初做出的最具價(jià)值的承諾。雖然 Hadoop 項(xiàng)目仍然又大又新，但如今的世界已經(jīng)快速轉(zhuǎn)至更重視速度、靈活性、微觀要素甚至是已知數(shù)量的階段。

在大數(shù)據(jù)世界中，大量投資于 Apache Sentry 的供應(yīng)商和客戶(hù)現(xiàn)在將需要彌補(bǔ)其損失并繼續(xù)前進(jìn)。用 ASF 的 Khudairi 的話來(lái)說(shuō)：“每個(gè)項(xiàng)目背后的社區(qū)都會(huì)保持其代碼的生命力（'代碼不會(huì)自行編寫(xiě)'），因此社區(qū)改變項(xiàng)目步伐的情況并不少見(jiàn)。”

換句話說(shuō)，尖端技術(shù)令人興奮，但早期采用者要提防：它也是易變的。社區(qū)運(yùn)營(yíng)人員需要注意并管理潛在的風(fēng)險(xiǎn)。

正如 Hadoop 的處境一樣，它讓人們了解到大數(shù)據(jù)中蘊(yùn)藏的無(wú)限可能，但同時(shí)也提醒人們，沒(méi)有任何單一技術(shù)有能力重塑整個(gè)企業(yè) IT 世界 —— 至少以后不會(huì)再有。

部分參考資料；

1、https://www.zdnet.com/article/apache-software-foundation-retires-slew-of-hadoop-related-projects/

2、https://www.datanami.com/2018/10/18/is-hadoop-officially-dead/

3、云頭條：《Hadoop和大數(shù)據(jù)正式走到頭了：13個(gè)相關(guān)的Apache開(kāi)源項(xiàng)目宣布報(bào)廢》