ES-Fastloader 是一種能夠快速地為海量離線數(shù)據(jù)生成索引的方案，采用了一種 Build & Push 的機制，利用 Hadoop 強大的并行計算能力，可在 1-2 小時內(nèi)極快速構(gòu)建幾十 TB 級的數(shù)據(jù)。解決了海量數(shù)據(jù)構(gòu)建 ES 時，索引文件構(gòu)建時效低的問題。

特征

• 支持批量構(gòu)建ES索引，可在1-2小時內(nèi)快速處理數(shù)十TB數(shù)據(jù)，解決構(gòu)建海量ES索引文件時效率低下的問題。
• 支持算力橫向擴展，擴展方便。通過增加機器資源，可以進一步提高索引構(gòu)建速度和處理數(shù)據(jù)量。

要求

• JDK：8或更高
• ElasticSearch：6.6.X 或更高版本

開發(fā)者指南

• API 文檔維基
• 開發(fā)文檔wiki
• 閱讀核心庫源碼
• 閱讀主類
• 閱讀發(fā)行說明