Flink+Alink，當(dāng)大數(shù)據(jù)遇見(jiàn)機(jī)器學(xué)習(xí)！
??關(guān)注“博文視點(diǎn)Broadview”，獲取更多書(shū)訊
以下內(nèi)容節(jié)選自《Flink實(shí)戰(zhàn)派》一書(shū)！
--正文--
大數(shù)據(jù)技術(shù)和人工智能（機(jī)器學(xué)習(xí)）的結(jié)合，使利用數(shù)據(jù)價(jià)值的技術(shù)有了新的突破。
在通常情況下，大數(shù)據(jù)技術(shù)與機(jī)器學(xué)習(xí)是互相促進(jìn)、相依相存的關(guān)系。
01
大數(shù)據(jù)和機(jī)器學(xué)習(xí)之間的關(guān)系
機(jī)器學(xué)習(xí)不僅需要合理、適用和先進(jìn)的算法，還需要依賴足夠好和足夠多的數(shù)據(jù)。
大數(shù)據(jù)可以提高機(jī)器學(xué)習(xí)模型的精確性。
數(shù)據(jù)的數(shù)據(jù)量越多，質(zhì)量越高，機(jī)器學(xué)習(xí)的效率和準(zhǔn)確性就越高。機(jī)器學(xué)習(xí)是大數(shù)據(jù)分析的一個(gè)重要方向（方式）。
大數(shù)據(jù)技術(shù)深度結(jié)合人工智能將是未來(lái)發(fā)展的一個(gè)重要方向。
大數(shù)據(jù)實(shí)時(shí)計(jì)算框架Flink結(jié)合基于Flink的機(jī)器學(xué)習(xí)庫(kù)Alink，是目前非常優(yōu)秀的“大數(shù)據(jù)+人工智能”解決方案。
Flink可以為Alink提供數(shù)據(jù)預(yù)處理、特征識(shí)別、樣本計(jì)算和模型訓(xùn)練等基礎(chǔ)功能。
Alink基于Flink，可以為Flink提供機(jī)器學(xué)習(xí)算法庫(kù)。
Flink還可以和目前主流的人工智能框架（如PyTorch、TensorFlow、Kubeflow）結(jié)合。
02
Flink是什么？
業(yè)界認(rèn)為，F(xiàn)link是最好的數(shù)據(jù)流計(jì)算引擎。
為了便于理解Flink是什么，下面以迭代的方法進(jìn)行定義。
Flink是一個(gè)開(kāi)源的分布式大數(shù)據(jù)處理引擎與計(jì)算框架。
Flink是一個(gè)對(duì)無(wú)界數(shù)據(jù)流和有界數(shù)據(jù)流進(jìn)行統(tǒng)一處理的、開(kāi)源的分布式大數(shù)據(jù)處理引擎與計(jì)算框架。
Flink是一個(gè)能進(jìn)行有狀態(tài)或無(wú)狀態(tài)計(jì)算的、對(duì)無(wú)界數(shù)據(jù)流和有界數(shù)據(jù)流進(jìn)行統(tǒng)一處理且開(kāi)源的分布式大數(shù)據(jù)處理引擎與計(jì)算框架。
Flink可以進(jìn)行的數(shù)據(jù)處理包括實(shí)時(shí)數(shù)據(jù)處理、特征工程、歷史數(shù)據(jù)（有界數(shù)據(jù)）處理、連續(xù)數(shù)據(jù)管道應(yīng)用、機(jī)器學(xué)習(xí)、圖表分析、圖計(jì)算、容錯(cuò)的數(shù)據(jù)流處理。
Flink在大數(shù)據(jù)架構(gòu)中的位置如下圖所示。
由上圖可以看出，在大數(shù)據(jù)架構(gòu)中，F(xiàn)link用于提供數(shù)據(jù)計(jì)算服務(wù)。
Flink先獲取數(shù)據(jù)源的數(shù)據(jù)，然后進(jìn)行轉(zhuǎn)換和計(jì)算等，最后輸出計(jì)算結(jié)果。
03
Flink的應(yīng)用場(chǎng)景
Flink的應(yīng)用場(chǎng)景如下。
事件驅(qū)動(dòng)：利用到來(lái)的事件觸發(fā)計(jì)算、狀態(tài)更新或其他外部動(dòng)作。比如反欺詐、實(shí)時(shí)風(fēng)險(xiǎn)控制、異常檢測(cè)、基于規(guī)則的報(bào)警、業(yè)務(wù)流程監(jiān)控、Web應(yīng)用。
數(shù)據(jù)分析：從原始數(shù)據(jù)中提取有價(jià)值的信息和指標(biāo)。比如電信網(wǎng)絡(luò)質(zhì)量監(jiān)控、移動(dòng)應(yīng)用中的產(chǎn)品更新及實(shí)驗(yàn)評(píng)估和分析、實(shí)時(shí)數(shù)據(jù)即席分析、大規(guī)模圖分析。
數(shù)據(jù)管道：數(shù)據(jù)管道和ETL（提取、轉(zhuǎn)換、加載）作業(yè)的用途相似，都可以轉(zhuǎn)換、豐富數(shù)據(jù)，并將其從某個(gè)存儲(chǔ)系統(tǒng)移動(dòng)到另一個(gè)存儲(chǔ)系統(tǒng)中。但數(shù)據(jù)管道是以持續(xù)流模式運(yùn)行的，而非周期性觸發(fā)。比如實(shí)時(shí)查詢索引構(gòu)建、持續(xù)ETL作業(yè)。
04
認(rèn)識(shí)Alink
Alink是阿里巴巴計(jì)算平臺(tái)事業(yè)部PAI團(tuán)隊(duì)研發(fā)的基于Flink的機(jī)器學(xué)習(xí)框架。
Alink于2019年11月正式開(kāi)源。
Alink提供了豐富的算法組件，是業(yè)界首個(gè)同時(shí)支持批/流算法的機(jī)器學(xué)習(xí)框架。
開(kāi)發(fā)者利用Alink可以一鍵搭建覆蓋數(shù)據(jù)處理、特征工程、模型訓(xùn)練、模型預(yù)測(cè)的算法模型開(kāi)發(fā)的全流程。Alink的名稱取自相關(guān)名稱（Alibaba、Algorithm、AI、Flink、Blink）的結(jié)合。
05
Flink的整體架構(gòu)
Flink包含部署層、執(zhí)行引擎層、核心API層和領(lǐng)域庫(kù)層。下圖是Flink 1.11版本架構(gòu)所包含的組件。
（1）部署層
Flink支持本地（Local）模式、集群（Cluster）模式等。
（2）執(zhí)行引擎層
執(zhí)行引擎層是核心API的底層實(shí)現(xiàn)，位于最低層。執(zhí)行引擎層提供了支持Flink計(jì)算的全部核心實(shí)現(xiàn)。
執(zhí)行引擎層的主要功能如下。
分布式流處理。
從作業(yè)圖（JobGraph）到執(zhí)行圖（ExecutionGraph）的映射、調(diào)度等。
為上層的API層提供基礎(chǔ)服務(wù)。
構(gòu)建新的組件或算子。
執(zhí)行引擎層的特點(diǎn)包括以下幾點(diǎn)：靈活性高，但開(kāi)發(fā)比較復(fù)雜；表達(dá)性強(qiáng)，可以操作狀態(tài)、Time等。
（3）核心API層
核心API層主要對(duì)無(wú)界數(shù)據(jù)流和有界數(shù)據(jù)流進(jìn)行處理，包括DataStream API和DataSet API，以及實(shí)現(xiàn)了更加抽象但是表現(xiàn)力稍差的Table API、SQL。
DataStream API：用于處理無(wú)界數(shù)據(jù)，或者以流處理方式來(lái)處理有界數(shù)據(jù)。
DataSet API：用于對(duì)有界數(shù)據(jù)進(jìn)行批處理。用戶可以非常方便地使用Flink提供的各種算子對(duì)分布式數(shù)據(jù)集進(jìn)行處理。DataStream API和DataSet API是流處理應(yīng)用程序和批處理應(yīng)用程序的接口，程序在編譯時(shí)生成作業(yè)圖。在編譯完成之后，F(xiàn)link的優(yōu)化器會(huì)生成不同的執(zhí)行計(jì)劃。根據(jù)部署方式的不同，優(yōu)化之后的作業(yè)圖將被提交給執(zhí)行器執(zhí)行。
Table API、SQL：用于對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行查詢，將結(jié)構(gòu)化數(shù)據(jù)抽象成關(guān)系表，然后通過(guò)其提供的類SQL語(yǔ)言的DSL對(duì)關(guān)系表進(jìn)行各種查詢。
（4） 領(lǐng)域庫(kù)層
Flink還提供了用于特定領(lǐng)域的庫(kù)，這些庫(kù)通常被嵌入在API中，但不完全獨(dú)立于API。這些庫(kù)也因此可以繼承API的所有特性，并與其他庫(kù)集成。
在API層之上構(gòu)建的滿足特定應(yīng)用的實(shí)現(xiàn)計(jì)算框架（庫(kù)），分別對(duì)應(yīng)面向流處理和面向批處理這兩類。
面向流處理支持：CEP（復(fù)雜事件處理）、基于SQL-like的操作（基于Table的關(guān)系操作）。
面向批處理支持：FlinkML（機(jī)器學(xué)習(xí)庫(kù)）、Alink（新開(kāi)源的機(jī)器學(xué)習(xí)庫(kù)）、Gelly（圖計(jì)算）。
▼
更多實(shí)戰(zhàn)派，給你一樣的精彩！
▊《Flink實(shí)戰(zhàn)派》
龍中華 著
版本較新：針對(duì)Flink 1.11版本和Alink 1.2版本。
體例科學(xué)：采用“知識(shí)點(diǎn)+實(shí)例”的形式編寫(xiě)。
實(shí)例豐富：47個(gè)基礎(chǔ)實(shí)例 + 1個(gè)項(xiàng)目實(shí)例。
跨界整合：①講解了4種開(kāi)發(fā)Flink應(yīng)用程序的API，即DataSet API、DataStream API、Table API和SQL相關(guān)知識(shí)；②講解了狀態(tài)處理器API、復(fù)雜事件處理庫(kù)，以及常用的消息中間件Kafka；③講解了大數(shù)據(jù)和人工智能的結(jié)合，以及機(jī)器學(xué)習(xí)框架Alink。
編排講究：本書(shū)涉及的術(shù)語(yǔ)盡量做到有跡可循，每一個(gè)術(shù)語(yǔ)都盡可能在前面的章節(jié)中有所描述。章節(jié)遞進(jìn)關(guān)系清楚，內(nèi)容順序合理，從頭到尾邏輯連貫。
（京東限時(shí)活動(dòng)，快快掃碼搶購(gòu)吧?。?/span>
如果喜歡本文 歡迎 在看丨留言丨分享至朋友圈 三連 熱文推薦
▼點(diǎn)擊閱讀原文，查看本書(shū)詳情~