Flink 部署 | 如何在 CDP 中部署 Flink 1.12
本篇文章主要介紹如何在CDP 7.1.6集群中使用Parcel的方式安裝Flink1.12。
文檔概述
1.如何在CDP7集群安裝FLink1.12
2.運行一個Flink示例驗證
測試環(huán)境
1.操作系統Redhat7.2
2.CDP7.1.6
3.使用root用戶操作
1.準備Flink1.12的csd文件，并放置到Cloudera Manager Server服務器的/opt/cloudera/csd目錄下，然后重啟Cloudera Manager Server服務
[root@cdh1 csd]# pwd
/opt/cloudera/csd
[root@cdh1 csd]# ll
total 48
-rw-r--r-- 1 root root 46264 May 31 12:49 FLINK-1.12-csa1.3.0.0-cdh7.1.6.0-297-11607198.jar
[root@cdh1 csd]#
[root@cdh1 csd]# systemctl restart cloudera-scm-server
[root@cdh1 csd]# netstat -lnpt|grep 7180
2.下載Flink1.12的Parcel并部署到httpd服務的/var/www/html/flink目錄下
[root@cdh1 csd]# cd /var/www/html/flink/
[root@cdh1 flink]# ll
total 647212
drwxr-xr-x 2 root root 287 May 31 12:45 1.3.0
-rw-r--r-- 1 root root 662662978 May 31 13:03 FLINK-1.12-csa1.3.0.0-cdh7.1.6.0-297-11607198-el7.parcel
-rw-r--r-- 1 root root 41 May 31 13:01 FLINK-1.12-csa1.3.0.0-cdh7.1.6.0-297-11607198-el7.parcel.sha1
-rw-r--r-- 1 root root 46264 May 31 13:01 FLINK-1.12-csa1.3.0.0-cdh7.1.6.0-297-11607198.jar
-rw-r--r-- 1 root root 1904 May 31 13:03 manifest.json
-rw-r--r-- 1 root root 21299 May 31 13:01 SQL_STREAM_BUILDER-1.12-csa1.3.0.0-cdh7.1.6.0-297-11607198.jar
3.CM重啟完成以后，添加服務頁面可以看到有Flink服務。
4.登錄CM，在左側菜單欄點擊“Parcel”按鈕，進入Parcles管理界面進行配置
進入Parcles管理界面后如下界面：
點擊“Parcel Repositories& Network Settings”菜單配置Flink的本地parcel庫
完成配置后，點擊“Save & Verify Configuration”，關閉配置配置界面可以看到Flink的信息
分別進行 “下載、分配、激活”操作，完成后顯示如下：
5.進入CM主頁點擊“添加服務”。
6.選擇添加Flink服務，點擊繼續(xù)。
7.選擇Flink History Server以及Gateway節(jié)點，點擊繼續(xù)
8.點擊繼續(xù)
9.等待Flink History Server啟動成功，完成后點擊繼續(xù)
10.安裝完成，點擊完成回到CM主頁
1.執(zhí)行Flink自帶的example的wordcount例子。
hadoop fs -mkdir -p wordcount/input
hadoop fs -mkdir -p wordcount/output
hadoop fs -put dfclear wordcount/input
flink run -m yarn-cluster -yn 3 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs:///user/root/wordcount/input/dfclear --output hdfs:///user/root/wordcount/output
2.在YARN和Flink的界面上分別都能看到這個任務。
1.在CDP上基于Parcel的方式安裝Flink1.12與CDH5和CDH6集群下安裝Kafka、Spark等服務方式一致。
2.對于CDP中不自帶的服務需要將csd添加的CM節(jié)點的/opt/cloudera/csd目錄下，并重啟cloudera-scm-server服務。
3.Flink是依賴Yarn、HDFS、Zookeeper服務運行，所以在CDP集群中至少要確保這個幾個服務都已安裝。