Apache Airflow 數(shù)據(jù)編排實戰(zhàn)
數(shù)據(jù)管道通過整合、清理、分析、可視化等方式來管理初始收集的數(shù)據(jù)流。Apache Airflow提供了一個統(tǒng)一的平臺，可以使用它設(shè)計、實施、監(jiān)控和維護數(shù)據(jù)的流動。Airflow具有易于使用的UI、即插即用的選項以及靈活的Python腳本，這些都使Airflow能夠非常輕松地完成任何數(shù)據(jù)管理任務(wù)。
在《Apache Airflow 數(shù)據(jù)編排實戰(zhàn)》中，介紹了如何構(gòu)建和維護有效的數(shù)據(jù)管道。與你一同探索最常見的使用模式，包括聚合多個數(shù)據(jù)源、連接到數(shù)據(jù)湖以及云端部署?？梢詫⒈緯鳛锳irflow的實用指南，本書涵蓋了為Airflow提供動力的有向無環(huán)圖(DAG)的各方面知識，以及如何根據(jù)工作需求對其進行自定義的技術(shù)。
主要內(nèi)容
●構(gòu)建、測試及部署Airflow管道作為DAG
●自動對數(shù)據(jù)進行移動和轉(zhuǎn)換
●使用回填技術(shù)分析歷史數(shù)據(jù)集
●開發(fā)自定義組件
●...
數(shù)據(jù)管道通過整合、清理、分析、可視化等方式來管理初始收集的數(shù)據(jù)流。Apache Airflow提供了一個統(tǒng)一的平臺，可以使用它設(shè)計、實施、監(jiān)控和維護數(shù)據(jù)的流動。Airflow具有易于使用的UI、即插即用的選項以及靈活的Python腳本，這些都使Airflow能夠非常輕松地完成任何數(shù)據(jù)管理任務(wù)。
在《Apache Airflow 數(shù)據(jù)編排實戰(zhàn)》中，介紹了如何構(gòu)建和維護有效的數(shù)據(jù)管道。與你一同探索最常見的使用模式，包括聚合多個數(shù)據(jù)源、連接到數(shù)據(jù)湖以及云端部署。可以將本書作為Airflow的實用指南，本書涵蓋了為Airflow提供動力的有向無環(huán)圖(DAG)的各方面知識，以及如何根據(jù)工作需求對其進行自定義的技術(shù)。
主要內(nèi)容
●構(gòu)建、測試及部署Airflow管道作為DAG
●自動對數(shù)據(jù)進行移動和轉(zhuǎn)換
●使用回填技術(shù)分析歷史數(shù)據(jù)集
●開發(fā)自定義組件
●在生產(chǎn)環(huán)境中搭建Airflow
讀者對象
本書面向具有一定Python編程基礎(chǔ)的程序員、DevOps工程師、數(shù)據(jù)工程師、機器學(xué)習(xí)工程師及系統(tǒng)管理員。
Bas Harenslak和Julian de Ruiter是數(shù)據(jù)工程師，他們在為大公司開發(fā)數(shù)據(jù)管道方面擁有豐富的經(jīng)驗。同時，Bas也是一位Airflow的提交者。