大香蕉伊人久久,天天爽夜夜爽AA片免费,高清五码一区二区三区,草草影院在线观看,中文天堂在线观看,久热在线资源福利站,男插女青青影院,www日

導(dǎo)讀 火花思維作為在線教育領(lǐng)域的佼佼者，深知數(shù)據(jù)對(duì)于決策和運(yùn)營(yíng)的重要性。為進(jìn)一步釋放數(shù)據(jù)資源的價(jià)值，公司從 0 到 1 構(gòu)建了一站式數(shù)據(jù)開(kāi)發(fā)治理平臺(tái)，實(shí)現(xiàn)了數(shù)據(jù)集成、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)等全流程整合，為公司的長(zhǎng)遠(yuǎn)發(fā)展奠定了堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。

主要內(nèi)容包括以下幾個(gè)部分：

1. 背景

2. 產(chǎn)品簡(jiǎn)介

3. 關(guān)鍵技術(shù)與創(chuàng)新點(diǎn)

4. 實(shí)施與運(yùn)營(yíng)

5. 成效與收獲

6. 總結(jié)與展望

背景

火花思維是一家專(zhuān)注于青少年思維訓(xùn)練及綜合素質(zhì)提升的互聯(lián)網(wǎng)教育企業(yè)，產(chǎn)品包含邏輯思維、中文素養(yǎng)、火花編程等。累計(jì)學(xué)員已超 70 萬(wàn)，遍布全球 100 多個(gè)國(guó)家和地區(qū)。其主要采用直播、真人互動(dòng) AI 的方式進(jìn)行授課，通過(guò)將老師的啟發(fā)引導(dǎo)和動(dòng)畫(huà)、游戲、趣味教具等多種方式立體結(jié)合，將能力、思維、訓(xùn)練三者互相連接、層層遞進(jìn)，在互動(dòng)實(shí)踐中培養(yǎng)孩子的觀察思考、邏輯思維以及自主解決問(wèn)題等核心基礎(chǔ)能力。

隨著火花思維的業(yè)務(wù)發(fā)展，數(shù)據(jù)量和數(shù)據(jù)訴求呈現(xiàn)出爆炸式增長(zhǎng)的態(tài)勢(shì)。然而數(shù)據(jù)使用與管理模式已逐漸出現(xiàn)捉襟見(jiàn)肘，難以支撐企業(yè)高效運(yùn)營(yíng)與決策支持的核心需求。具體而言，當(dāng)時(shí)我們面臨著以下幾大突出問(wèn)題：

數(shù)據(jù)開(kāi)放自助程度明顯不足，嚴(yán)重制約了數(shù)據(jù)價(jià)值的充分釋放；
系統(tǒng)性故障頻發(fā)，對(duì)數(shù)據(jù)資產(chǎn)的可靠性構(gòu)成了嚴(yán)重挑戰(zhàn)；
ETL 效率低下已成為制約數(shù)據(jù)處理能力的關(guān)鍵因素。為了解決這些問(wèn)題，我們需要一個(gè)更加高效、智能的數(shù)據(jù)開(kāi)發(fā)治理平臺(tái)，以提升數(shù)據(jù)價(jià)值的挖掘能力、保障數(shù)據(jù)資產(chǎn)的可靠性、優(yōu)化數(shù)據(jù)處理效率，并降低技術(shù)成本。

在產(chǎn)品建設(shè)初期，我們?cè)紤]過(guò)第三方的現(xiàn)有產(chǎn)品。然而，經(jīng)過(guò)深入調(diào)研，我們發(fā)現(xiàn)了許多問(wèn)題，最終決定自主研發(fā)。首先，當(dāng)時(shí)我們發(fā)現(xiàn)市場(chǎng)上的現(xiàn)有產(chǎn)品雖然在基本 SQL 開(kāi)發(fā)、調(diào)度配置、任務(wù)運(yùn)維等方面表現(xiàn)出色，但在異源數(shù)據(jù)集成、DDL 適配、跨云部署等場(chǎng)景存在局限性。其次，我們對(duì)第三方產(chǎn)品的迭代速度和穩(wěn)定性存在擔(dān)憂(yōu)。我們需要確保產(chǎn)品能夠滿(mǎn)足公司數(shù)據(jù)生產(chǎn)和消費(fèi)方對(duì)大數(shù)據(jù)的期望，并在使用過(guò)程中不會(huì)出現(xiàn)重大問(wèn)題。如果我們純依賴(lài)三方產(chǎn)品的方法論以及售后支持和研發(fā)資源，那么會(huì)出現(xiàn)“不會(huì)用”、“加資源”、“等迭代”等常見(jiàn)矛盾現(xiàn)象。最后，我們認(rèn)為自主研發(fā)將為我們帶來(lái)更多的機(jī)遇和優(yōu)勢(shì)。通過(guò)自主研發(fā)，我們可以更好地把控產(chǎn)品的應(yīng)用場(chǎng)景、功能矩陣和核心技術(shù)，以便更好地滿(mǎn)足需求，并根據(jù)需求變化及時(shí)進(jìn)行調(diào)整和改進(jìn)。

產(chǎn)品簡(jiǎn)介

1. 功能介紹

Athena 數(shù)據(jù)工廠是火花自研的一站式數(shù)據(jù)開(kāi)發(fā)治理平臺(tái)，主要為運(yùn)營(yíng)、BA、產(chǎn)品、研發(fā)、財(cái)務(wù)、技術(shù)支持等多樣化角色提供任務(wù)開(kāi)發(fā)、任務(wù)運(yùn)維、提數(shù)分析、資源管理全方位的產(chǎn)品服務(wù)，幫助數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)消費(fèi)者專(zhuān)注于數(shù)據(jù)價(jià)值的挖掘和探索。該平臺(tái)核心功能主要包含以下幾個(gè)部分：

離線開(kāi)發(fā)模塊：此模塊致力于為數(shù)據(jù)生產(chǎn)者提供高效的數(shù)據(jù)處理工具。它支持定時(shí)及依賴(lài)觸發(fā)的離線任務(wù)，任務(wù)類(lèi)型豐富，涵蓋 HiveSQL、DorisSQL、Python、Mysql 與 Hive 間的數(shù)據(jù)交互，以及 Hive 至 ES/MQ、Hive 至 Doris 的數(shù)據(jù)同步。此外，我們提供了一鍵 API 生成功能，使得數(shù)據(jù)消費(fèi)者能夠便捷地通過(guò)接口獲取所需數(shù)據(jù)，極大地提升了數(shù)據(jù)獲取的效率。
實(shí)時(shí)開(kāi)發(fā)模塊：基于 Spark 和 Flink 兩大引擎，我們構(gòu)建了準(zhǔn)實(shí)時(shí)/實(shí)時(shí)任務(wù)開(kāi)發(fā)平臺(tái)。目前，該平臺(tái)已成功支撐運(yùn)營(yíng)分析、指標(biāo)監(jiān)控、日志采集、CDC 同步等多元化場(chǎng)景的需求，為用戶(hù)提供實(shí)時(shí)數(shù)據(jù)處理和分析的能力。
運(yùn)維中心模塊：在運(yùn)維方面，我們提供多維度的看板分析，從任務(wù)成功率、及時(shí)率、成本等多個(gè)角度全面展示數(shù)據(jù)處理的狀況。同時(shí)，我們還支持上下游查詢(xún)、重跑當(dāng)前及下游、數(shù)據(jù)回溯、批量下線、任務(wù)監(jiān)控等基礎(chǔ)功能，確保數(shù)據(jù)處理流程的順暢與高效。
自助提數(shù)模塊：該功能基于 Hive、Spark 和 Presto 三種引擎，為數(shù)據(jù)分析師提供了強(qiáng)大的 SQL 交互能力，使他們能夠輕松地提取和下載所需數(shù)據(jù)。此外，我們還特別針對(duì)增長(zhǎng)業(yè)務(wù)，提供了用戶(hù)三方標(biāo)簽的提取和下載功能，滿(mǎn)足用戶(hù)在增長(zhǎng)業(yè)務(wù)場(chǎng)景下的數(shù)據(jù)需求。
數(shù)據(jù)地圖模塊：數(shù)據(jù)地圖作為平臺(tái)的重要組成部分，為用戶(hù)提供了詳盡的數(shù)據(jù)資產(chǎn)信息。用戶(hù)可以通過(guò)該模塊查看數(shù)據(jù)目錄、明細(xì)信息、血緣關(guān)系、調(diào)度信息、更新記錄以及生產(chǎn)邏輯等關(guān)鍵信息，從而更好地理解和利用數(shù)據(jù)資源。
控制臺(tái)模塊：控制臺(tái)作為項(xiàng)目管理員和系統(tǒng)管理員的操作后臺(tái)，具備強(qiáng)大的管理功能。管理員可以通過(guò)該模塊管理項(xiàng)目成員、數(shù)據(jù)源、庫(kù)表權(quán)限、隊(duì)列分配以及敏感信息查詢(xún)記錄等，確保數(shù)據(jù)的安全性和合規(guī)性。

通過(guò)該平臺(tái)可以輕松地完成數(shù)據(jù)的采集、清洗、加工和分析，提高數(shù)據(jù)的質(zhì)量和利用率。同時(shí)，平臺(tái)的可視化操作界面和靈活的配置選項(xiàng)，讓用戶(hù)可以快速上手并進(jìn)行個(gè)性化設(shè)置。此外，平臺(tái)還提供了豐富的數(shù)據(jù)服務(wù)和應(yīng)用，包括用戶(hù)標(biāo)簽、數(shù)據(jù)入湖、數(shù)據(jù)安全等，這些數(shù)據(jù)服務(wù)和應(yīng)用可以幫助企業(yè)更好地利用和管理數(shù)據(jù)資源，提高數(shù)據(jù)的價(jià)值和效益。

2. 架構(gòu)設(shè)計(jì)

Athena 數(shù)據(jù)工廠主體架構(gòu)分為以下幾個(gè)模塊：

交互層：采用了主流的 Vue 框架和 Monaco 插件，為用戶(hù)提供了簡(jiǎn)潔直觀的數(shù)據(jù)探查和任務(wù)發(fā)布界面。用戶(hù)可以通過(guò)簡(jiǎn)單的操作，輕松地進(jìn)行標(biāo)準(zhǔn)化 ETL 流程的定義和執(zhí)行。此外，用戶(hù)交互層還提供了豐富的可視化功能，使用戶(hù)能夠直觀地監(jiān)控和管理任務(wù)的執(zhí)行情況。交互層還支持多語(yǔ)言界面，方便全球用戶(hù)使用。
服務(wù)層：這些服務(wù)包括 SQL 開(kāi)發(fā)套件、集成調(diào)試、依賴(lài)推薦、元數(shù)據(jù)管理等。此外，服務(wù)層也為各自項(xiàng)目提供了全方位的權(quán)限管理和資源管理功能。服務(wù)層還提供 API 接口，方便與其他系統(tǒng)進(jìn)行集成。該層整體采用微服務(wù)架構(gòu)，服務(wù)之間的界限和功能清晰，不同模塊不同服務(wù)，各自按照需求場(chǎng)景選擇適合的技術(shù)棧和擴(kuò)展應(yīng)用，同時(shí)，獨(dú)立部署和運(yùn)行，這有助于提高開(kāi)發(fā)部署效率以及系統(tǒng)容錯(cuò)性。
引擎層：通過(guò)對(duì)接各種生態(tài)組件，并封裝存儲(chǔ)計(jì)算能力，使得上層應(yīng)用無(wú)需關(guān)心過(guò)多的技術(shù)棧和升級(jí)優(yōu)化。例如，HiveSql 調(diào)試在引擎層既支持 Hive On Tez，也支持 SparkSql，并兼容各自的參數(shù)優(yōu)化。這使得用戶(hù)可以靈活地選擇適合自己業(yè)務(wù)需求的引擎進(jìn)行數(shù)據(jù)處理。引擎層還提供了豐富的插件和橫向擴(kuò)展機(jī)制，能夠根據(jù)用戶(hù)的需求進(jìn)行定制化開(kāi)發(fā)。引擎層還支持多租戶(hù)模式，方便多個(gè)項(xiàng)目共享數(shù)據(jù)工廠資源。
組件層：數(shù)據(jù)工廠的底層組件包括調(diào)度引擎所依賴(lài)的 Airflow、Python 引擎依賴(lài)的騰訊云 SCF 產(chǎn)品 API 等。這些底層組件為數(shù)據(jù)工廠提供了穩(wěn)定可靠的運(yùn)行基礎(chǔ)。底層組件還采用了高可用架構(gòu)，支持容錯(cuò)處理和數(shù)據(jù)備份，確保數(shù)據(jù)工廠的穩(wěn)定運(yùn)行。底層組件還支持分布式架構(gòu)，方便水平擴(kuò)展和性能提升。

3. 使用場(chǎng)景

火花思維大數(shù)據(jù)計(jì)算鏈路經(jīng)過(guò)多年的發(fā)展和演變，已經(jīng)形成了 T/H+x、分鐘級(jí)、實(shí)時(shí)和 AI 四種場(chǎng)景的計(jì)算鏈路，支撐了多方面的數(shù)據(jù)處理和分析場(chǎng)景。

T/H+x鏈路：T/H+x 是行業(yè)通用的離線計(jì)算，主要用于離線數(shù)倉(cāng)、數(shù)據(jù)報(bào)表、應(yīng)用統(tǒng)計(jì)等場(chǎng)景。具體實(shí)現(xiàn)方式是通過(guò)數(shù)據(jù)集成組件定時(shí)將 Mysql、日志等數(shù)據(jù)源的數(shù)據(jù)同步到數(shù)倉(cāng) ODS 層，其中 80% 的數(shù)據(jù)會(huì)被加工成主題寬表，然后被其他數(shù)據(jù)生產(chǎn)者利用，按需構(gòu)建 ADS 應(yīng)用數(shù)據(jù)，并最終以數(shù)據(jù)庫(kù)表、消息隊(duì)列或者 API 方式提供數(shù)據(jù)服務(wù)。
分鐘級(jí)鏈路：分鐘級(jí)應(yīng)用主要針對(duì) OLAP 多維分析場(chǎng)景，通過(guò) FlinkCDC 等方式將數(shù)據(jù)源數(shù)據(jù)同步到 OLAP 引擎，然后逐層定時(shí)拉寬聚合，最終以 API 方式對(duì)外提供數(shù)據(jù)。早期的 OLAP 引擎主要是 Kudu 和 ClickHouse，現(xiàn)在以 Doris 為主。
實(shí)時(shí)鏈路：實(shí)時(shí)計(jì)算鏈路主要包括以 Spark Streaming 為核心計(jì)算棧的定制化數(shù)據(jù)服務(wù)和以 Flink 和 IceBerg 為核心的實(shí)時(shí)湖倉(cāng)。其中，Spark Streaming 主要用于歷史遺留的 ToC 數(shù)據(jù)場(chǎng)景，如學(xué)員學(xué)情報(bào)告、CRM 運(yùn)營(yíng)數(shù)據(jù)、用戶(hù)標(biāo)簽建設(shè)等。而 IceBerg 則主要用于解決實(shí)時(shí)日志流水鏈路，F(xiàn)link 則既可以用于構(gòu)建實(shí)時(shí)數(shù)據(jù)報(bào)表，也可以用于運(yùn)營(yíng)監(jiān)控統(tǒng)計(jì)。
AI 鏈路：AI 計(jì)算鏈路主要用于訓(xùn)練和推理模型，包括數(shù)據(jù)預(yù)處理、模型訓(xùn)練、模型評(píng)估和模型部署等環(huán)節(jié)。

關(guān)鍵技術(shù)與創(chuàng)新點(diǎn)

1. 離線 ETL

在離線開(kāi)發(fā)集成角度，Athena 數(shù)據(jù)工廠提供了豐富的功能，旨在滿(mǎn)足用戶(hù)在基礎(chǔ)數(shù)據(jù) ETL 以及分析挖掘領(lǐng)域的多樣化需求。該模塊的核心能力體現(xiàn)在 Hive、Doris、Python 以及與其他組件的集成上，為用戶(hù)提供高效、穩(wěn)定且靈活的數(shù)據(jù) ETL 鏈路。

HiveSQL 作為離線開(kāi)發(fā)任務(wù)的重要組成部分，先后經(jīng)歷從 Hive 1.2 到 Hive 3.1 的版本升級(jí)。前期主要依賴(lài) Tez 引擎進(jìn)行數(shù)據(jù)處理，其中 Tez 0.10 引擎以其更高效的執(zhí)行計(jì)劃和資源管理能力，為 HiveSQL 提供了強(qiáng)大的性能支持。隨著大數(shù)據(jù) ServerLess 技術(shù)的演進(jìn)，在 2023 年完全適配了商業(yè)化數(shù)據(jù)湖計(jì)算 DLC SparkSQL，基于存算分離的整體架構(gòu)使得離線 SQL 在大數(shù)據(jù)處理上更加靈活和高效。

Doris 計(jì)算也是 Athena 數(shù)據(jù)工廠的一大亮點(diǎn)，其作為一種高性能的分布式 OLAP 引擎，具有快速查詢(xún)分析和高并發(fā)等特性。通過(guò)集成 Doris 計(jì)算，能夠支持用戶(hù)對(duì)海量數(shù)據(jù)進(jìn)行分鐘級(jí)離線運(yùn)算分析，借助一鍵 API 功能，滿(mǎn)足 CRM 業(yè)務(wù)數(shù)據(jù)時(shí)效性的高要求。

Python 作為一種通用編程語(yǔ)言，在數(shù)據(jù)開(kāi)發(fā)領(lǐng)域也發(fā)揮著重要作用。在 AI 大模型“肆孽”的當(dāng)下，Athena 選擇 Python 3.10 版本支持用戶(hù)編寫(xiě)離線數(shù)據(jù)處理任務(wù)，利用云函數(shù) Python 豐富的庫(kù)和 MB 級(jí)內(nèi)存資源管控能力，重點(diǎn)處理 SQL 不易甚至不能解決的場(chǎng)景，實(shí)現(xiàn)復(fù)雜的數(shù)據(jù)分析和處理邏輯，使得用戶(hù)可以更加靈活地處理數(shù)據(jù)，提高開(kāi)發(fā)效率。

在與其他組件的集成方面，比如 Mysql<->Hive 的集成任務(wù)，Athena 依賴(lài) Sqoop 集成工具進(jìn)行數(shù)據(jù)傳輸和同步。我們還通過(guò)異步監(jiān)聽(tīng) Mysql 的 DDL 變化，實(shí)現(xiàn)了數(shù)倉(cāng) ODS 層的字段新增、刪除以及 Comment 變化的適配，以及在用戶(hù)交互中實(shí)現(xiàn)自動(dòng)建表、字段同名映射等功能。分庫(kù)分表合并則利用 CDC 模式實(shí)現(xiàn)。對(duì)于 Hive 與其他組件的集成，我們則依賴(lài) DataX 這一強(qiáng)大的數(shù)據(jù)交換平臺(tái)。DataX 支持多種數(shù)據(jù)源之間的數(shù)據(jù)交換，包括 Hive、ES、MQ 等。目前，為了積極擁抱彈性計(jì)算，我們根據(jù)火花數(shù)據(jù)的特有使用場(chǎng)景，通過(guò)二次開(kāi)發(fā)改造 Seatunel，計(jì)劃在第二季度徹底替換 Sqoop 和 DataX。

2. 調(diào)度系統(tǒng)

Athena 數(shù)據(jù)工廠的底層調(diào)度組件，正是基于業(yè)界知名的 Airflow 2.0 構(gòu)建而成。Airflow 作為一個(gè)靈活且可擴(kuò)展的分布式工作流調(diào)度系統(tǒng)，早已在大數(shù)據(jù)領(lǐng)域贏得了廣泛的應(yīng)用。它不僅能夠高效地調(diào)度各種數(shù)據(jù)處理任務(wù)，還具備豐富的 API 支持，使得開(kāi)發(fā)者能夠輕松集成各種功能，滿(mǎn)足復(fù)雜的業(yè)務(wù)需求。

在我們的調(diào)度系統(tǒng)中，除了支持任務(wù)啟停、依賴(lài)綁定、失敗重試、重跑上下游等基礎(chǔ)功能外，我們還通過(guò)深度整合調(diào)度系統(tǒng)元數(shù)據(jù)和 Athena 數(shù)據(jù)工廠元數(shù)據(jù)，實(shí)現(xiàn)了更為精細(xì)化的調(diào)度管理。這使得我們能夠?qū)崟r(shí)掌握任務(wù)的運(yùn)行狀態(tài)，及時(shí)發(fā)現(xiàn)并解決問(wèn)題，確保數(shù)據(jù)處理的穩(wěn)定性和準(zhǔn)確性。

3. 實(shí)時(shí)計(jì)算

Athena 數(shù)據(jù)工廠的實(shí)時(shí)計(jì)算模塊功能主要支持 Spark Jar、Flink Jar 以及 Flink SQL 三種開(kāi)發(fā)任務(wù)。

在 Flink SQL 方面，它已經(jīng)成為非大數(shù)據(jù)用戶(hù)的首選。Flink SQL 以其簡(jiǎn)潔易懂的語(yǔ)法和強(qiáng)大的實(shí)時(shí)處理能力，受到了廣大用戶(hù)的青睞。目前，我們的平臺(tái)已經(jīng)支持 Kafka、RocketMQ、Mysql、Doris、Elasticsearch、Hive、Hudi、Iceberg 等眾多 Connector。這些 Connector 的存在，使得 Flink SQL 能夠輕松接入各種數(shù)據(jù)源，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)采集、處理和輸出。

在 Jar 任務(wù)方面，無(wú)論是 Spark Jar 還是 Flink Jar，它們都以公司 GitLab 的倉(cāng)庫(kù)地址為基準(zhǔn)。這意味著，開(kāi)發(fā)人員可以將自己的 Jar 包上傳到公司代碼倉(cāng)庫(kù)，并通過(guò)Athena 輕松實(shí)現(xiàn)打包、部署和運(yùn)行。這種集成方式不僅提高了開(kāi)發(fā)效率，還確保了 Jar 包的版本管理和安全性。

今年，我們的實(shí)時(shí)計(jì)算底層也計(jì)劃基于 Oceanus 彈性伸縮進(jìn)行改造。根據(jù)業(yè)務(wù)需求的變化，我們可以自動(dòng)化調(diào)整計(jì)算資源，實(shí)現(xiàn)動(dòng)態(tài)計(jì)算能力的彈性伸縮。通過(guò)合理的資源調(diào)度和容錯(cuò)機(jī)制，我們能夠確保實(shí)時(shí)計(jì)算任務(wù)的穩(wěn)定性和可靠性。

4. 監(jiān)控預(yù)警

在任務(wù)級(jí)別的監(jiān)控方面，Athena 數(shù)據(jù)工廠能夠?qū)崟r(shí)監(jiān)控任務(wù)的執(zhí)行狀態(tài)，包括是否成功、失敗或超時(shí)。這些監(jiān)控項(xiàng)是確保任務(wù)穩(wěn)定運(yùn)行的關(guān)鍵指標(biāo)。一旦任務(wù)失敗或超時(shí)，平臺(tái)會(huì)立即觸發(fā)預(yù)警機(jī)制，通過(guò)飛書(shū)群或飛書(shū)個(gè)人等方式通知相關(guān)人員，以便及時(shí)介入處理。

除了任務(wù)級(jí)別的監(jiān)控，Athena 數(shù)據(jù)工廠還提供了表級(jí)別的監(jiān)控功能。這包括主鍵唯一性檢查、雙端對(duì)比以及表行數(shù)校驗(yàn)等。主鍵唯一性檢查能夠確保表中數(shù)據(jù)的唯一性，防止重復(fù)數(shù)據(jù)的出現(xiàn)；雙端對(duì)比則能夠?qū)Σ煌瑪?shù)據(jù)源之間的數(shù)據(jù)進(jìn)行比對(duì)，確保數(shù)據(jù)的一致性；表行數(shù)校驗(yàn)則可以檢查表中數(shù)據(jù)的數(shù)量是否正確，防止數(shù)據(jù)丟失或異常增多。這些表級(jí)別的監(jiān)控項(xiàng)能夠全面保障數(shù)據(jù)的質(zhì)量和準(zhǔn)確性。此外，Athena 數(shù)據(jù)工廠還支持字段級(jí)別的監(jiān)控。這包括空值檢查、異常值監(jiān)控、求和、均值、極值等?？罩禉z查能夠發(fā)現(xiàn)數(shù)據(jù)中的缺失值，確保數(shù)據(jù)的完整性；異常值監(jiān)控則可以識(shí)別并報(bào)警異常數(shù)據(jù)，防止其對(duì)后續(xù)分析造成影響；求和、均值和極值等統(tǒng)計(jì)指標(biāo)則能夠幫助我們了解數(shù)據(jù)的分布情況，為后續(xù)的數(shù)據(jù)處理和分析提供重要參考。

Athena 數(shù)據(jù)工廠的監(jiān)控程序與監(jiān)控任務(wù)是緊密綁定的。這種一體化的設(shè)計(jì)不僅方便了用戶(hù)對(duì)監(jiān)控任務(wù)的管理和維護(hù)，還能夠?qū)崿F(xiàn)任務(wù)與監(jiān)控的成本核算。通過(guò)監(jiān)控程序，我們可以清晰了解每個(gè)監(jiān)控任務(wù)的資源消耗情況，為成本控制和資源優(yōu)化提供了有力支持。

實(shí)施與運(yùn)營(yíng)

1. 演進(jìn)歷程

Athena 數(shù)據(jù)工廠于 2021 年底正常上線，初期目標(biāo)就是將以 Azkaban 和 Crontab 上的 HiveSQl 和 Sqoop 腳本全部遷移至數(shù)據(jù)工廠，讓數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)服務(wù)和 BA 自助的腳本能夠在各自項(xiàng)目空間下有序地依賴(lài)執(zhí)行。

2021 年 11 月，Athena 數(shù)據(jù)工廠邁出了堅(jiān)實(shí)的第一步，v1.0 版本的上線標(biāo)志著它正式踏入數(shù)據(jù)開(kāi)發(fā)領(lǐng)域。這個(gè)版本以離線開(kāi)發(fā)、調(diào)度配置、任務(wù)運(yùn)維三大核心功能為基礎(chǔ)，為用戶(hù)提供了穩(wěn)定可靠的數(shù)據(jù)開(kāi)發(fā)平臺(tái)。
僅僅三個(gè)月后，2022 年 2 月，我們成功完成了數(shù)據(jù)倉(cāng)庫(kù)的 HiveSQL 和 mysql<->hive 相關(guān)任務(wù)的全量遷移，這標(biāo)志著 Athena 數(shù)據(jù)工廠在支撐火花思維基礎(chǔ)數(shù)據(jù)處理能力上邁出了重要的一步。
同年 4 月，我們又實(shí)現(xiàn)了 Hadoop 集群從依賴(lài)社區(qū)自建到商業(yè)化 EMR 的順利遷移，這一變革極大地提升了基礎(chǔ)組件的穩(wěn)定性和性能。
2022 年 7 月，Athena 數(shù)據(jù)工廠再次迎來(lái)重大更新，新增了 Doris 引擎和 SparkSQL 引擎，為用戶(hù)提供了更多樣化的數(shù)據(jù)處理引擎的選擇。此外，上線一鍵 API 生成功能，方便數(shù)據(jù)生產(chǎn)者通過(guò) API 通道分享數(shù)據(jù)。
同年 10 月，我們整合了原《大數(shù)據(jù)實(shí)時(shí)開(kāi)發(fā)平臺(tái)》至 Athena 數(shù)據(jù)工廠，構(gòu)建了獨(dú)立的實(shí)時(shí)開(kāi)發(fā)模塊，以滿(mǎn)足用戶(hù)對(duì)于實(shí)時(shí)數(shù)據(jù)處理的需求。
進(jìn)入 2023 年，Athena 數(shù)據(jù)工廠的迭代速度更是加快。3 月實(shí)現(xiàn)表級(jí)別血緣關(guān)系解析以及整合公司 GitLab 實(shí)現(xiàn)版本管理，并基于此上線依賴(lài)推薦、跨周期依賴(lài)、數(shù)據(jù)回溯、BI 建模血緣跟蹤等輔助開(kāi)發(fā)能力。
6 月，成功實(shí)現(xiàn)了離線開(kāi)發(fā)和自主提數(shù)的 SQL 引擎對(duì)商業(yè)化 ServerLess 的適配，進(jìn)一步提升了數(shù)據(jù)處理效率。
8 月推出了字段級(jí)血緣關(guān)系以及數(shù)據(jù)監(jiān)控功能，為用戶(hù)提供了更加精細(xì)化的數(shù)據(jù)管理和質(zhì)量保證。同時(shí)，基于 HiveMeta 實(shí)現(xiàn)表資產(chǎn)生命周期治理能力。
2023 年 11 月，基于騰訊云云函數(shù)產(chǎn)品，我們推出了 Python 開(kāi)發(fā)模塊，為 BA、算法、研發(fā)等角色提供了解決 SQL 無(wú)法實(shí)現(xiàn)或較難實(shí)現(xiàn)場(chǎng)景的全新功能。
到了 2024 年 1 月，我們?cè)俅芜M(jìn)行了一次重大的技術(shù)革新，適配 Hdfs 遷移至 COS，實(shí)現(xiàn)了用戶(hù)無(wú)感的存算分離，為各項(xiàng)目空間提供了更加靈活和高效的數(shù)據(jù)存儲(chǔ)和計(jì)算服務(wù)。

2. 日常運(yùn)營(yíng)

Athena 數(shù)據(jù)工廠的日常運(yùn)營(yíng)在 2023 年 3 月前后經(jīng)歷了兩個(gè)階段，每個(gè)階段都有其獨(dú)特的運(yùn)營(yíng)策略與特點(diǎn)。在 2023 年 3 月之前，我們采用的是項(xiàng)目制的運(yùn)營(yíng)模式。每個(gè)項(xiàng)目都建立了專(zhuān)門(mén)的運(yùn)營(yíng)群，并配備了專(zhuān)業(yè)的運(yùn)營(yíng)人員。這些運(yùn)營(yíng)人員不僅具備豐富的數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)和深厚的技術(shù)功底，還擅長(zhǎng)與用戶(hù)溝通，能夠迅速把握用戶(hù)需求并提供相應(yīng)的解決方案。他們會(huì)在群里積極回答用戶(hù)的問(wèn)題，提供細(xì)致的解答和培訓(xùn)，確保用戶(hù)能夠順利使用我們的產(chǎn)品。同時(shí)，他們還會(huì)根據(jù)用戶(hù)的反饋和需求，不斷優(yōu)化我們的產(chǎn)品和服務(wù)，持續(xù)提升用戶(hù)體驗(yàn)。

然而，隨著用戶(hù)數(shù)量的不斷增加和項(xiàng)目規(guī)模的擴(kuò)大，我們意識(shí)到這種項(xiàng)目制的運(yùn)營(yíng)模式存在一些問(wèn)題。比如，不同項(xiàng)目之間的信息交流不暢，導(dǎo)致一些共性問(wèn)題無(wú)法得到及時(shí)解決；同時(shí)，運(yùn)營(yíng)人員的工作負(fù)擔(dān)也逐漸加重，難以保證服務(wù)質(zhì)量和效率。因此，在 2023 年 3 月之后，我們對(duì)產(chǎn)品運(yùn)營(yíng)模式進(jìn)行了調(diào)整，建立了《大數(shù)據(jù)服務(wù)中心》千人話題群。該話題群將所有用戶(hù)集中在一起，方便他們之間的交流和互動(dòng)。同時(shí)，我們實(shí)施了輪崗機(jī)制，由 Athena 數(shù)據(jù)工廠的產(chǎn)品、研發(fā)、測(cè)試多方人員輪流擔(dān)任值班人員，負(fù)責(zé)解答群內(nèi)用戶(hù)的問(wèn)題，不僅提高了服務(wù)效率，還確保了問(wèn)題的專(zhuān)業(yè)性和準(zhǔn)確性。為了確保值班人員能夠準(zhǔn)時(shí)上線并積極參與群聊，我們還引入了機(jī)器人提醒功能。機(jī)器人會(huì)在每天下午 18 點(diǎn)定時(shí)提醒值班人員上線，并在群里積極回答用戶(hù)的問(wèn)題。通過(guò)這種方式，我們確保了服務(wù)的及時(shí)性和連續(xù)性。

成效與收獲

1. 釋放自助能力

我們一直秉持著“生產(chǎn)力改變生產(chǎn)關(guān)系”的原則，致力于提供便捷、高效的數(shù)據(jù)開(kāi)發(fā)工具和服務(wù)，幫助公司各部門(mén)、各角色更加自主地開(kāi)展數(shù)據(jù)分析和應(yīng)用，實(shí)現(xiàn)公司數(shù)據(jù)自助開(kāi)放的整體策略目標(biāo)緊密相連。

從數(shù)據(jù)層面來(lái)看，Athena 數(shù)據(jù)工廠每日承載的離線任務(wù)運(yùn)行實(shí)例數(shù)量已達(dá)到約2 萬(wàn)個(gè)，它表明我們的平臺(tái)已經(jīng)能夠穩(wěn)定、高效地處理大量的數(shù)據(jù)任務(wù)，為公司的數(shù)據(jù)分析和應(yīng)用提供了強(qiáng)有力的支持。同時(shí)，內(nèi)部用戶(hù)數(shù)量也達(dá)到了約 470 人，MAU 約 130，這說(shuō)明已經(jīng)得到了廣泛的認(rèn)可和使用。由 BA、運(yùn)營(yíng)、產(chǎn)品、研發(fā)等非大數(shù)據(jù)角色發(fā)起的新增任務(wù)占比高達(dá) 92%。這一數(shù)據(jù)不僅凸顯了 Athena 數(shù)據(jù)工廠在跨角色數(shù)據(jù)開(kāi)發(fā)方面的廣泛應(yīng)用，更體現(xiàn)了平臺(tái)在推動(dòng)公司內(nèi)部數(shù)據(jù)自主開(kāi)放方面的卓越成效。

具體來(lái)說(shuō)，僅在 2023 年非大數(shù)據(jù)角色通過(guò) Athena 數(shù)據(jù)工廠新增的任務(wù)數(shù)量就達(dá)到了 2700+ 個(gè)（忽略數(shù)據(jù)資產(chǎn)生命周期治理）。從更宏觀的視角來(lái)看，結(jié)合數(shù)據(jù)需求迭代頻率，Athena 數(shù)據(jù)工廠實(shí)際上在 2023 年支撐了公司內(nèi)部的 3000+ 個(gè)數(shù)據(jù)需求。這意味著，Athena 數(shù)據(jù)工廠已改變公司數(shù)據(jù)訴求供需關(guān)系，為增長(zhǎng)和變化預(yù)留了足夠的空間，更為公司提供了一個(gè)穩(wěn)定、可靠的數(shù)據(jù)基礎(chǔ)設(shè)施，使得公司能夠更加自信地面對(duì)未來(lái)的數(shù)據(jù)挑戰(zhàn)，實(shí)現(xiàn)數(shù)據(jù)價(jià)值最大化。

2. 提升可靠性

事前檢查：在任務(wù)上線之前，Athena 數(shù)據(jù)工廠會(huì)進(jìn)行強(qiáng)邏輯的檢查，以確保數(shù)據(jù)任務(wù)的穩(wěn)定、正確產(chǎn)出。這些檢查規(guī)則包括腳本語(yǔ)法、調(diào)度配置、資源權(quán)限等多方面的檢查，可以避免數(shù)據(jù)上線后出現(xiàn)錯(cuò)誤和異常，從根本上降低值班人員起夜率。
事中預(yù)警：在數(shù)據(jù)生產(chǎn)和消費(fèi)過(guò)程中，平臺(tái)會(huì)進(jìn)行實(shí)時(shí)監(jiān)控，并提供豐富的預(yù)警機(jī)制。當(dāng)數(shù)據(jù)出現(xiàn)異常或達(dá)到預(yù)警閾值時(shí)，平臺(tái)會(huì)及時(shí)發(fā)出預(yù)警信號(hào)，通知相關(guān)人員進(jìn)行處理。這樣就可以及時(shí)發(fā)現(xiàn)和解決數(shù)據(jù)異常，避免數(shù)據(jù)丟失和錯(cuò)誤，保證數(shù)據(jù)的可靠性和穩(wěn)定性。
事后復(fù)盤(pán)：故障發(fā)生后，QA 同學(xué)利用 GPT 依據(jù) 5why 分析法構(gòu)建了復(fù)盤(pán)機(jī)器人，帶領(lǐng)故障干洗人對(duì) SLA 問(wèn)題進(jìn)行深度引導(dǎo)分析，找到根本解決方法，并預(yù)防類(lèi)似問(wèn)題的再次發(fā)生。

3. 優(yōu)化 ETL 效率

自從調(diào)度任務(wù)遷移至 Athena 數(shù)據(jù)工廠后，通過(guò)分析 ETL 任務(wù)的執(zhí)行數(shù)據(jù)，從多方面提升了整體運(yùn)行性能，天調(diào)度 SQL 任務(wù) 24 年 3 月同比 23 年 3 月增加 107%，單平均任務(wù)運(yùn)行時(shí)長(zhǎng)降低 48%。這主要得益于三個(gè)方面的改進(jìn)：

DAG 優(yōu)化：首先，通過(guò)分析 Airflow 節(jié)點(diǎn)資源利用率，結(jié)合各類(lèi)型任務(wù) Client 執(zhí)行所需的 CPU 和內(nèi)存資源，合理分配整體 Pool 和 Worker Pool 的閾值，實(shí)現(xiàn)執(zhí)行節(jié)點(diǎn)任務(wù)吞吐最大化。其次，由于各類(lèi)型 DAG 運(yùn)行周期交叉，最典型的就是天調(diào)度 DAG 與零散 DAG 的交叉，會(huì)發(fā)生調(diào)度資源、算力資源甚至 IO 資源競(jìng)搶?zhuān)ㄟ^(guò)分析統(tǒng)計(jì)各 DAG 任務(wù)重要性和影響度，以及任務(wù)特征，合理分配各DAG 的 Pool 大小，實(shí)現(xiàn)整體資源利用最大化。最后，根據(jù)單 DAG 上依賴(lài)模型和各任務(wù)自身特點(diǎn)，動(dòng)態(tài)調(diào)整各 SLA 等級(jí)的任務(wù)權(quán)重，讓重依賴(lài)、重保障的任務(wù)盡早運(yùn)行，從而實(shí)現(xiàn)更高效的任務(wù)執(zhí)行。
慢任務(wù)優(yōu)化：治理團(tuán)隊(duì)投入最大的精力就是識(shí)別優(yōu)化慢 SQL，而慢 SQL 最常見(jiàn)的場(chǎng)景就是兩種：（1）數(shù)據(jù)掃描量大，要么忘記加分區(qū)限制要么讀取分區(qū)太多；（2）通常是嵌套 With as 較多臨時(shí)查詢(xún)的任務(wù)，導(dǎo)致解析計(jì)劃中某一個(gè)或幾個(gè)Reduce 卡住，但寫(xiě) SQL 的人員優(yōu)先滿(mǎn)足計(jì)算口徑，而忽略數(shù)據(jù)傾斜或笛卡爾問(wèn)題。由于目前底層 SQL 算力引擎已彈性，故在基線保障和成本控制的背景下，優(yōu)先解決慢任務(wù)是效果最佳的治理手段，也是持續(xù)保障任務(wù)平均執(zhí)行效率和性能的最佳實(shí)踐。
組件優(yōu)化：無(wú)論是 SQL 任務(wù)或是集成任務(wù)，都會(huì)依賴(lài)其他組件，而很多時(shí)候，隨著數(shù)據(jù)量或讀寫(xiě)壓力的增加，組件出現(xiàn)性能瓶頸，而在任務(wù)角度觀察是整體運(yùn)行變慢或夯死，這時(shí)候就可以通過(guò)多維分析任務(wù)運(yùn)行數(shù)據(jù)，觀測(cè)拐點(diǎn)的任務(wù)特征，結(jié)合干系組件的性能監(jiān)控波動(dòng)，識(shí)別并對(duì)癥下藥。例如：JournalNode、RDBS 以及磁盤(pán)故障等。

4. 降低成本

Athena 數(shù)據(jù)工廠通過(guò)底層技術(shù)的優(yōu)化進(jìn)一步降低了綜合技術(shù)成本。近兩年，我們將hive 底層引擎先進(jìn)行了 tez 升級(jí)后切換至 Spark，存儲(chǔ)從 HDFS 遷移到 COS，今年3 月天調(diào)度單任務(wù)計(jì)算成本同比去年降低 29%。而這些切換過(guò)程中，我們充分利用了 Athena 數(shù)據(jù)工廠對(duì)底層的隔離和封裝能力，降低技術(shù)升級(jí)對(duì)用戶(hù)的影響，甚至部分遷移工作對(duì)用戶(hù)無(wú)感。

在 Athena 數(shù)據(jù)工廠上線前，BA 和研發(fā)人員面臨著繁瑣且耗時(shí)的數(shù)據(jù)任務(wù)上線發(fā)布流程。他們需要通過(guò)一套基礎(chǔ)配置工具，歷經(jīng)八個(gè)步驟才能完成整個(gè)操作。這包括編寫(xiě)配置文件和 SQL、上傳代碼、配置依賴(lài)、構(gòu)建任務(wù)、部署任務(wù)和發(fā)布任務(wù)等。每一步都需要手動(dòng)操作，稍有不慎就可能導(dǎo)致錯(cuò)誤或異常情況，進(jìn)一步增加了解決問(wèn)題的難度和時(shí)間成本。然而，使用 Athena 數(shù)據(jù)工廠后，這一切得到了徹底的改變。據(jù)調(diào)查統(tǒng)計(jì)，每個(gè)數(shù)據(jù)任務(wù)的上線發(fā)布過(guò)程至少可以節(jié)省 3 小時(shí)以上的時(shí)間。

總結(jié)與展望

1. 經(jīng)驗(yàn)教訓(xùn)

在 Athena 數(shù)據(jù)工廠構(gòu)建過(guò)程中，我們積累了許多寶貴的經(jīng)驗(yàn)教訓(xùn)。以下是一些關(guān)鍵的點(diǎn)：

注重目標(biāo)用戶(hù)體驗(yàn)：我們深刻認(rèn)識(shí)到用戶(hù)體驗(yàn)是平臺(tái)成功的關(guān)鍵因素。在平臺(tái)建設(shè)前期，團(tuán)隊(duì)投入了大量的時(shí)間與精力，組織數(shù)次產(chǎn)品 MVP 功能調(diào)研問(wèn)卷，對(duì)目標(biāo)用戶(hù)群體進(jìn)行了深入的調(diào)研，明確了他們的需求和期望。這不僅幫助我們確定了平臺(tái)需要實(shí)現(xiàn)的核心功能，還讓我們能夠避免在設(shè)計(jì)過(guò)程中添加不必要的功能和復(fù)雜性，確保平臺(tái)始終保持簡(jiǎn)潔、直觀和易于使用的特性。此外，為了進(jìn)一步優(yōu)化用戶(hù)體驗(yàn)，產(chǎn)品上線首年每月進(jìn)行 Top3 用戶(hù)測(cè)試和反饋收集，傾聽(tīng)用戶(hù)的聲音，并根據(jù)他們的反饋對(duì)平臺(tái)進(jìn)行了持續(xù)改進(jìn)。
選擇合適的技術(shù)棧：選擇合適的技術(shù)棧對(duì)于平臺(tái)的成功同樣至關(guān)重要。在選擇技術(shù)棧時(shí)，我們充分考慮了平臺(tái)規(guī)模、性能需求、可擴(kuò)展性以及維護(hù)成本等因素。我們進(jìn)行了深入的技術(shù)調(diào)研和評(píng)估，與業(yè)內(nèi)專(zhuān)家進(jìn)行了充分的溝通和交流，最終選擇了既符合平臺(tái)需求又具有前瞻性的技術(shù)組合。
構(gòu)建可擴(kuò)展的架構(gòu)：在構(gòu)建平臺(tái)的過(guò)程中，我們還特別注重架構(gòu)的可擴(kuò)展性。我們深知，隨著業(yè)務(wù)的發(fā)展和數(shù)據(jù)的增長(zhǎng)，平臺(tái)的架構(gòu)必須能夠輕松應(yīng)對(duì)未來(lái)的挑戰(zhàn)。因此，我們采用了分布式系統(tǒng)、微服務(wù)架構(gòu)等技術(shù)手段，確保平臺(tái)能夠靈活地?cái)U(kuò)展和適應(yīng)新的需求。這種可擴(kuò)展的架構(gòu)不僅提高了平臺(tái)的性能和穩(wěn)定性，還為我們后續(xù)的維護(hù)和升級(jí)帶來(lái)了極大的便利。
學(xué)習(xí)和不斷改進(jìn)：產(chǎn)品構(gòu)建是一個(gè)不斷學(xué)習(xí)和改進(jìn)的過(guò)程。在產(chǎn)品的開(kāi)發(fā)、測(cè)試、上線和運(yùn)營(yíng)等各個(gè)階段，我們都保持高度的敏感性和警覺(jué)性，不斷反思和評(píng)估平臺(tái)的性能、用戶(hù)需求反饋。雖然我們暫未建立成熟的“數(shù)據(jù)飛輪”，但積極收集和分析數(shù)據(jù)，通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式發(fā)現(xiàn)平臺(tái)存在的問(wèn)題和不足，并制定相應(yīng)的改進(jìn)措施。這種持續(xù)改進(jìn)的態(tài)度不僅幫助我們不斷優(yōu)化平臺(tái)的功能和用戶(hù)體驗(yàn)，還讓我們能夠緊跟行業(yè)發(fā)展的步伐，保持平臺(tái)的競(jìng)爭(zhēng)力和創(chuàng)新性。

2. 未來(lái)迭代

對(duì)于用戶(hù)自助開(kāi)發(fā)過(guò)程中的代碼調(diào)試和報(bào)錯(cuò)任務(wù)，提供基于 AI 的分析協(xié)助能力。利用大語(yǔ)言模型，我們能夠快速準(zhǔn)確地理解用戶(hù)的問(wèn)題，并提供有針對(duì)性的解決方案。這種智能化的分析協(xié)助能力不僅可以提高用戶(hù)的工作效率，還可以減少用戶(hù)的焦慮和壓力，提升他們的使用體驗(yàn)。
優(yōu)化可觀測(cè)能力，解決大任務(wù)等對(duì)穩(wěn)定性和性能帶來(lái)的系統(tǒng)性負(fù)面影響。持續(xù)評(píng)估和優(yōu)化計(jì)算資源的性能，確保它們?cè)谔幚泶罅繑?shù)據(jù)時(shí)高效運(yùn)行。定期進(jìn)行基準(zhǔn)測(cè)試和性能評(píng)估，以確定計(jì)算資源的瓶頸和潛在優(yōu)化機(jī)會(huì)。利用性能監(jiān)控工具和指標(biāo)來(lái)實(shí)時(shí)監(jiān)測(cè)計(jì)算資源的使用情況，并及時(shí)采取措施解決性能問(wèn)題。同時(shí)，優(yōu)化計(jì)算資源的配置，例如調(diào)整 CPU、內(nèi)存、存儲(chǔ)等參數(shù)，以提高資源利用率和性能。
將核心功能和底層引擎容器化，這樣可以實(shí)現(xiàn)資源的動(dòng)態(tài)分配和管理，提高系統(tǒng)的靈活性和可擴(kuò)展性。同時(shí)，可以更輕松地部署和管理應(yīng)用程序，提高資源利用率和效率，降低成本，并確保系統(tǒng)的穩(wěn)定性和可靠性。同時(shí)，要開(kāi)始在架構(gòu)層次思考低成本支持跨平臺(tái)和云原生應(yīng)用，這可以提高系統(tǒng)的靈活性和可擴(kuò)展性，同時(shí)降低開(kāi)發(fā)和維護(hù)成本。

結(jié)語(yǔ)：通過(guò)對(duì)一站式數(shù)據(jù)開(kāi)發(fā)治理平臺(tái)的構(gòu)建與實(shí)踐，火花思維成功提升了數(shù)據(jù)管理效率，優(yōu)化了數(shù)據(jù)利用價(jià)值，為公司發(fā)展注入了新的活力。未來(lái)，隨著技術(shù)的不斷進(jìn)步和業(yè)務(wù)的持續(xù)拓展，公司將繼續(xù)深化數(shù)據(jù)治理與開(kāi)發(fā)工作，為在線教育行業(yè)數(shù)據(jù)驅(qū)動(dòng)的創(chuàng)新發(fā)展貢獻(xiàn)更多力量。