Flink1.12 CDH編譯
注意：從Flink 1.11開始，F(xiàn)link項(xiàng)目不再正式支持使用
Flink -shade -hadoop-2-uber版本。建議用戶通過HADOOP_CLASSPATH提供Hadoop依賴項(xiàng)。
Flink 在啟動Flink組件(如Client、JobManager或TaskManager)前，將環(huán)境變量HADOOP_CLASSPATH的值添加到classpath中。但大多數(shù)Hadoop發(fā)行版和云環(huán)境不會默認(rèn)設(shè)置HADOOP_CLASSPATH這個(gè)環(huán)境變量，所以如果Hadoop類路徑應(yīng)該由Flink選擇，那么必須在所有運(yùn)行Flink組件的機(jī)器上設(shè)置這個(gè)環(huán)境變量。
如果運(yùn)行在YARN上時(shí)，只需要執(zhí)行下面一條腳本。因?yàn)樵赮ARN內(nèi)部運(yùn)行的組件將通過Hadoop類路徑啟動，但當(dāng)向YARN提交作業(yè)時(shí)，Hadoop依賴項(xiàng)必須在類路徑中。
export HADOOP_CLASSPATH=`hadoop classpath`
1、配置maven鏡像
setting.xml
<mirror>
<id>aliyunmaven</id>
<mirrorOf>*,!cloudera</mirrorOf>
<name>阿里云公共倉庫</name>
<url>https://maven.aliyun.com/repository/public</url>
</mirror>
2、下載flink源碼，并配置cdh倉庫
2.1 下載flink源碼
git clone https://github.com/apache/flink
cd flink
git checkout release-1.12.1-rc1
當(dāng)前最新版本為flink 1.12
2.2 配置cdh倉庫
vi flink/pom.xml
添加cdh倉庫：
<repositories>
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
</repositories>
3、編譯
3.1 安裝java
D:\flink>java -version
java version "1.8.0_261"
Java(TM) SE Runtime Environment (build 1.8.0_261-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.261-b12, mixed mode)
3.2 安裝scala
D:\flink>scala -version
Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL
3.3 安裝maven
D:\flink>mvn --version
Apache Maven 3.6.3 (cecedd343002696d0abb50b32b541b8a6ba2883f)
Maven home: D:\Program Files\apache-maven-3.6.3\bin\..
Java version: 1.8.0_261, vendor: Oracle Corporation, runtime: C:\Program Files\Java\jdk1.8.0_261\jre
Default locale: zh_CN, platform encoding: GBK
OS name: "windows 10", version: "10.0", arch: "amd64", family: "windows"
3.4 編譯
cd flink
mvn clean install -DskipTests -Dfast -Dhadoop.version=3.0.0-cdh6.3.2
多線程加速編譯：
mvn clean install \
-DskipTests \ # 跳過測試部分
-Dfast \ # 跳過doc檢查等
-T 4 \ # 支持多處理器或者處理器核數(shù)參數(shù),加快構(gòu)建速度,推薦Maven3.3及以上
-Dmaven.compile.fork=true \ #允許多線程編譯,推薦maven在3.3及以上
-Dscala-2.11
編譯了一個(gè)小時(shí)左右，編譯完成：
bin包在
flink/flink-dist/target/flink-1.12.1-bin下面。
3.4 依賴屏蔽(可選)
Flink 屏蔽了一些它使用的包，這樣做是為了避免與程序員自己引入的包的存在的可能的版本沖突。屏蔽掉的包包括 Google Guava,Asm,Apache Curator,Apache HTTP Components,Netty 等。
這種依賴屏蔽機(jī)制最近在 Maven 中有所改變。需要用戶根據(jù) Maven 的的不同版本來執(zhí)行不同的命令。
對于Maven 3.1.x and 3.2.x 直接在 Flink 源碼根目錄執(zhí)行命令 mvn clean install -DskipTests 就足夠了。
Maven 3.3.x 如下的構(gòu)建需要兩步走：第一步需要在基礎(chǔ)目錄下執(zhí)行編譯構(gòu)建；第二步需要在編譯后的 flink-dist 目錄下執(zhí)行：
mvn clean install -DskipTests
cd flink-dist
mvn clean install
注意: 運(yùn)行 mvn --version 以查看Maven的版本。