Apache FalconHadoop 數(shù)據(jù)管理平臺

Apache Falcon 提供了一個用于治理和編排 Hadoop 內(nèi)部和周邊數(shù)據(jù)流的數(shù)據(jù)處理框架。該框架為獲取和處理數(shù)據(jù)集、復制與保留數(shù)據(jù)集、重新定向位于非Hadoop擴展中的數(shù)據(jù)集、維護審核跟蹤與沿襲提供了關鍵性的管控框架。Knox拓展了Hadoop的安全邊界，實現(xiàn)了與LDAP、用于證書管理的活動目錄等框架進行了充分整合，為跨Hadoop和所有相關項目的授權提供了一個通用服務。

整體架構(gòu)：

Feed Schedule flow

Process Schedule flow