Dagster數(shù)據(jù)編排器

Dagster 是一個(gè)用于機(jī)器學(xué)習(xí)、分析和 ETL 的數(shù)據(jù)編排器。

Dagster 讓你以可重復(fù)使用的邏輯組件之間的數(shù)據(jù)流來定義管道，然后在本地測(cè)試并在任何地方運(yùn)行。通過對(duì)管道和它們產(chǎn)生的資產(chǎn)的統(tǒng)一視圖，Dagster 可以調(diào)度和編排 Pandas、Spark、SQL 或任何其他 Python 可以調(diào)用的東西。

Dagster 是為數(shù)據(jù)平臺(tái)工程師、數(shù)據(jù)工程師和全堆棧數(shù)據(jù)科學(xué)家設(shè)計(jì)的。用 Dagster 構(gòu)建數(shù)據(jù)平臺(tái)，使你的利益相關(guān)者更加獨(dú)立、系統(tǒng)更加強(qiáng)大。用 Dagster 開發(fā)數(shù)據(jù)管道可使測(cè)試更容易，部署更快。

特性：

• 筆記本電腦上開發(fā)和測(cè)試，隨處部署

• 對(duì)每個(gè)步驟產(chǎn)生和消耗的數(shù)據(jù)進(jìn)行建模和輸入

• 將數(shù)據(jù)鏈接到計(jì)算

• 搭建自助數(shù)據(jù)平臺(tái)

• 避免依賴噩夢(mèng)

• 從豐富的 UI 調(diào)試管道