使用 Spring Boot Operator 部署 Spring Boot 到 K8S

使用 Spring Boot Operator 部署 Spring Boot 到 K8S。

前言

在 Kubernetes 中部署 Spring Boot 應(yīng)用整體上來(lái)說(shuō)是一件比較繁瑣的事情，而 Spring Boot Operator 則能帶給你更清爽簡(jiǎn)單的體驗(yàn)。

Spring Boot Operator 基于 Kubernetes 的 Custom Resource Definitions (CRDs) 擴(kuò)展 API 進(jìn)行的開(kāi)發(fā)。

打包 Docker 鏡像

在講部署之前我們需要先將我們的 Spring Boot 應(yīng)用打包成標(biāo)準(zhǔn)的 Docker Image。

Java 項(xiàng)目打包鏡像用 Maven/Gradle 插件比較多，這里在介紹一個(gè)新的 Google 開(kāi)源插件 Jib，該插件使用起來(lái)比較方便。

注意：Jib 打包的鏡像會(huì)導(dǎo)致 Java 應(yīng)用的 pid=1。在使用 Spring Boot Operator 進(jìn)行發(fā)布時(shí)候，Operator 會(huì)設(shè)置 Kubernetes 的 ShareProcessNamespace 參數(shù)為 true（v1.10+版本都可使用）來(lái)解決該問(wèn)題。

下面就來(lái)演示一下通過(guò) https://start.spring.io 生成一個(gè)標(biāo)準(zhǔn)的 Spring Boot 項(xiàng)目 operator-demo，然后使用 Jib 插件進(jìn)行鏡像打包。

mvn?com.google.cloud.tools:jib-maven-plugin:build?
-Djib.to.auth.username=${{?secrets.MY_USERNAME?}}?
-Djib.to.auth.password=${{?secrets.MY_PASSWORD?}}?
-Djib.container.jvmFlags=--add-opens,java.base/sun.nio.ch=ALL-UNNAMED?
-Djib.from.image=freemanliu/oprenjre:11.0.5?
-Dimage=registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0

執(zhí)行上面的命令之后我們將得到一個(gè)標(biāo)準(zhǔn)的 Docker 鏡像，該鏡像會(huì)被推送到遠(yuǎn)程倉(cāng)庫(kù)。

Operator 快速體驗(yàn)

完成了鏡像的構(gòu)建之后，我們緊接著來(lái)安裝我們的 Operator 到 Kubernetes 集群。當(dāng)然了首先你需要一套集群，可以參考本機(jī)搭建三節(jié)點(diǎn) k8s 集群。

快速安裝

此處快速安裝只是為了快速體驗(yàn) Demo。

kubectl?apply?-f?https://raw.githubusercontent.com/goudai/spring-boot-operator/master/manifests/deployment.yaml

apply 成功之后控制臺(tái)輸出：

namespace/spring-boot-operator-system?created
customresourcedefinition.apiextensions.k8s.io/springbootapplications.springboot.qingmu.io?created
role.rbac.authorization.k8s.io/spring-boot-operator-leader-election-role?created
clusterrole.rbac.authorization.k8s.io/spring-boot-operator-manager-role?created
clusterrole.rbac.authorization.k8s.io/spring-boot-operator-proxy-role?created
clusterrole.rbac.authorization.k8s.io/spring-boot-operator-metrics-reader?created
rolebinding.rbac.authorization.k8s.io/spring-boot-operator-leader-election-rolebinding?created
clusterrolebinding.rbac.authorization.k8s.io/spring-boot-operator-manager-rolebinding?created
clusterrolebinding.rbac.authorization.k8s.io/spring-boot-operator-proxy-rolebinding?created
service/spring-boot-operator-controller-manager-metrics-service?created
deployment.apps/spring-boot-operator-controller-manager?created

稍等片刻查看是否已經(jīng)安裝成功：

kubectl??get?po?-n?spring-boot-operator-system

成功如下輸出：

NAME???????????????????????????????????????????????????????READY???STATUS????RESTARTS???AGE
spring-boot-operator-controller-manager-7f498596bb-wcwtn???2/2?????Running???0??????????2m15s

部署 OperatorDemo 應(yīng)用

完成了 Operator 的部署之后，我們來(lái)部署我們第一個(gè)應(yīng)用。這里我們就發(fā)布上面我們編寫(xiě)的 Spring Boot 應(yīng)用 opreator-demo。

首先，我們需要先編寫(xiě)一個(gè) Spring Boot Application 的 CRD 部署 yaml，如下：

#?Demo.yaml
apiVersion:?springboot.qingmu.io/v1alpha1
kind:?SpringBootApplication
metadata:
??name:?operator-demo?
spec:
??springBoot:
????version:?v1.0.0
#????image:?registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0

細(xì)心的同學(xué)可能發(fā)現(xiàn)了，為啥連 Image 都沒(méi)有這怎么發(fā)布？就 name、version 就能完成發(fā)布？

是的沒(méi)錯(cuò)！就能完成發(fā)布，后面我講詳細(xì)講到他是如何完成的。

接著我們 apply 一下：

kubectl?apply?-f?Demo.yaml

看到 console 輸出：

springbootapplication.springboot.qingmu.io/operator-demo?created

驗(yàn)證

表示創(chuàng)建成功了，接著我們來(lái)看下我們部署的第一個(gè)應(yīng)用，這里我們直接用上面的 yaml 中的 name 過(guò)濾即可。

查看 pod。

~#?kubectl??get?po?|?grep?operator-demo
operator-demo-7574f4789c-mg58m?????????????1/1?????Running???0??????????76s
operator-demo-7574f4789c-ssr8v?????????????1/1?????Running???0??????????76s
operator-demo-7574f4789c-sznww?????????????1/1?????Running???0???????

查看下我們的 pid 不等于 1 的設(shè)置是否生效。

根據(jù)下面的結(jié)果可以看到通過(guò)設(shè)置 ShareProcessNamespace 該參數(shù)我們可以在 Kubernetes 層面來(lái)解決這個(gè) pid=1 的問(wèn)題。

kubectl?exec?-it?operator-demo-7574f4789c-mg58m?bash
bash-5.0#?ps?-ef
UID????????PID??PPID??C?STIME?TTY??????????TIME?CMD
root?????????1?????0??0?02:06??????????00:00:00?/pause
root?????????6?????0?26?02:06??????????00:00:09?java?--add-opens?java.base/sun.nio.ch=ALL-UNNAMED?-cp?/app/resources:/app/classes:/app/libs/*?io.qingmu.operator.operatordemo.Oper...
root????????38?????0??0?02:07?pts/0????00:00:00?bash
root????????44????38??0?02:07?pts/0????00:00:00?ps?-ef

查看 svc。

~#?kubectl??get?svc?|?grep?operator-demo
operator-demo?????????????ClusterIP???10.101.128.6?????????????8080/TCP????????????2m52s

我們來(lái)訪問(wèn)一下試試：

root@server1:~#?curl?-i?http://10.101.128.6:8080
HTTP/1.1?200?
Content-Type:?text/plain;charset=UTF-8
Content-Length:?9
Date:?Wed,?08?Apr?2020?08:45:46?GMT

hello?!!!

我們來(lái)試著縮減副本數(shù)到 1 個(gè)。

編輯我們的 Demo.yaml，加入一個(gè)新的屬性 replicas：

#?Demo.yaml
apiVersion:?springboot.qingmu.io/v1alpha1
kind:?SpringBootApplication
metadata:
??name:?operator-demo?
spec:
??springBoot:
????version:?v1.0.0
????replicas:?1

應(yīng)用一下：

root@server1:~#?kubectl?apply?-f?Demo.yaml?
springbootapplication.springboot.qingmu.io/operator-demo?configured

再次查看 pod，會(huì)發(fā)現(xiàn)我們的 pod 已經(jīng)縮放為一個(gè)副本了：

~#?kubectl??get?po?|?grep?operator-demo
operator-demo-7574f4789c-sznww?????????????1/1?????Running???0??????

清理 operator-demo

要?jiǎng)h除該 pod 我們只需要執(zhí)行 delete 即可：

~#?kubectl?delete?-f?Demo.yaml?
springbootapplication.springboot.qingmu.io?"operator-demo"?deleted

再次查看 pod，已經(jīng)沒(méi)了：

kubectl??get?po?|?grep?operator-demo

部署自己的應(yīng)用

部署自己私有倉(cāng)庫(kù)的應(yīng)用需要需要先創(chuàng)建 secret（如果已經(jīng)創(chuàng)建跳過(guò)即可）。

創(chuàng)建 docker-registry 的 secret：

kubectl?create??
secret?docker-registry?aliyun-registry-secret?
--docker-server=registry-vpc.cn-hangzhou.aliyuncs.com?
--docker-username=***?
--docker-password=***?
--docker-email=***

自己應(yīng)用的 crd Yaml：

apiVersion:?springboot.qingmu.io/v1alpha1
kind:?SpringBootApplication
metadata:
??name:?你的應(yīng)用的名稱
spec:
??springBoot:
????version:?v1.0.0
????replicas:?1?
????image:?你的image地址
????imagePullSecrets:?
??????-?上面創(chuàng)建的secret

一個(gè)完整的 Spring Boot Application Yaml

下面是一個(gè)完整的 yaml 屬性結(jié)構(gòu)，大部分屬性我們都可以用默認(rèn)配置的即可。

不設(shè)置屬性，默認(rèn)使用 Operator 中設(shè)置的通用值。詳見(jiàn)后面的自定義安裝 Operator。

apiVersion:?springboot.qingmu.io/v1alpha1
kind:?SpringBootApplication
metadata:
??name:?operator-demo
??namespace:?default
spec:
??springBoot:
????#?image?可以不設(shè)置，如果不設(shè)置默認(rèn)使用?IMAGE_REPOSITORY+/+mate.name+:+spec.springBoot.version
????#?registry.cn-shanghai.aliyuncs.com/qingmuio?+?/?+?operator-demo?+?:?+?v1.0.0
????image:?registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo:v1.0.0
????clusterIp:?""?
????version:?v1.0.0?
????replicas:?1?
????resource:
??????cpu:
????????request:?50m
????????limit:?""?
??????memory:
????????request:?1Gi
????????limit:?1Gi?
????path:
??????liveness:?/actuator/health?
??????readiness:?/actuator/health?
??????hostLog:?/var/applog?
??????shutdown:?/spring/shutdown?
????imagePullSecrets:?
??????-?aliyun-docker-registry-secret
????env:?
??????-?name:?EUREKA_SERVERS
????????value:?http://eureka1:8761/eureka/,http://eureka2:8761/eureka/,http://eureka3:8761/eureka/
????nodeAffinity:?
??????key:?"failure-domain.beta.kubernetes.io/zone"
??????operator:?"In"
??????values:
????????-?"cn-i"
????????-?"cn-h"
????????-?"cn-g"

優(yōu)雅停機(jī)的路徑

由于優(yōu)雅停機(jī)默認(rèn)是關(guān)閉的，并且并不支持 GET 請(qǐng)求，所以我們需要開(kāi)啟和搭個(gè)橋。

首先，在 application.yml 中啟用：

management:
??endpoints:
????web:
??????exposure:
????????include:?"*"
??endpoint:
????shutdown:
??????enabled:?true

然后，橋接一個(gè) GET 方法：

@RestController
public?class?ShutdownController?{
????@Autowired
????private?ShutdownEndpoint?shutdownEndpoint;

????@GetMapping("/spring/shutdown")
????public?Map?shutdown(HttpServletRequest?request)?{
????????return?shutdownEndpoint.shutdown();
????}
}

node 親和的使用

舉一個(gè)例子：我們有一個(gè) Spring Boot 應(yīng)用 user-service，希望它能分布到 3 個(gè)可用區(qū)的 6 個(gè)節(jié)點(diǎn)上:

首先，我們把機(jī)器劃分多個(gè)可用區(qū)：

cn-i區(qū)(node-i1,node-i02)
cn-h區(qū)(node-g1,node-g02)
cn-g區(qū)(node-h1,node-h02)

現(xiàn)在，我們有 3 個(gè)可以區(qū)，每個(gè)區(qū)有2臺(tái) workload，一共6臺(tái)。然后，我們需要給這些機(jī)器分別打上 label。

將全部的 i 區(qū)機(jī)器標(biāo)注為 cn-i：

kubectl?label?node?node-i1?failure-domain.beta.kubernetes.io/zone=cn-i
kubectl?label?node?node-i2?failure-domain.beta.kubernetes.io/zone=cn-i

同理將 h 區(qū)的標(biāo)注為 h，g 區(qū)同理。

kubectl?label?node?node-h1?failure-domain.beta.kubernetes.io/zone=cn-i
kubectl?label?node?node-ih2?failure-domain.beta.kubernetes.io/zone=cn-i

準(zhǔn)備工作我們就緒了，現(xiàn)在我們來(lái)設(shè)置讓它達(dá)到我們的調(diào)度效果，像如下編寫(xiě)：

spec:
??springBoot:
????nodeAffinity:?#可以不設(shè)置?節(jié)點(diǎn)親和?這里演示的是盡量將pod分散到?i?h?g?三個(gè)可用區(qū)，默認(rèn)設(shè)置了pod反親和
??????key:?"failure-domain.beta.kubernetes.io/zone"
??????operator:?"In"
??????values:
????????-?"cn-i"
????????-?"cn-h"
????????-?"cn-g"

Operator 自定義安裝

上面我們快速的安裝了好了，接著我們來(lái)講解下如何自定義安裝，以及有哪些自定義的參數(shù)，可以個(gè)性化的參數(shù)我們用環(huán)境變量的方式注入。

下面來(lái)修改 Deployment 完成自己個(gè)性化的配置部署。從我提供的部署 yaml 中拉到最后，找到 name 是 spring-boot-operator-controller-manager 的 Deployment，我們將修改它。

apiVersion:?apps/v1
kind:?Deployment
metadata:
??labels:
????control-plane:?controller-manager
??name:?spring-boot-operator-controller-manager
??namespace:?spring-boot-operator-system
.....
????????
????????#注意：一下配置針對(duì)通用全局的spring boot默認(rèn)配置，對(duì)crd的spring boot生效，這里不配置也可以在部署的yaml中指定

????????#?私有倉(cāng)庫(kù)的地址，比如我的最終打包的鏡像地址是?registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0
????????#?那么配置的值是?registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo
????????#?配置這個(gè)值之后，我們我們?nèi)绻诎l(fā)布的yaml中不寫(xiě)image，那么使用的image就是?IMAGE_REPOSITORY+"/"+mate.name+spec.springBoot.version
????????-?name:?IMAGE_REPOSITORY
??????????value:?registry.cn-shanghai.aliyuncs.com/qingmuio
????????#?請(qǐng)求CPU限制
????????-?name:?REQUEST_CPU
??????????value:?50m
????????#?限制最大能用最大CPU?java應(yīng)用可以不用限制，限制不合理會(huì)導(dǎo)致啟動(dòng)異常緩慢
????????-?name:?LIMIT_CPU
??????????value:?""
????????#?請(qǐng)求內(nèi)存大小
????????-?name:?REQUEST_MEMORY
??????????value:?500Mi
????????#?限制最大內(nèi)存大小?一般和request一樣大即可
????????-?name:?LIMIT_MEMORY
??????????value:?500Mi
????????#?就緒檢查Path，spring?boot?actuator?默認(rèn)Path
????????-?name:?READINESS_PATH
??????????value:?/actuator/health
????????#?就緒存活Path，spring?boot?actuator?默認(rèn)Path
????????-?name:?LIVENESS_PATH
??????????value:?/actuator/health
????????#?就緒存活Path，優(yōu)雅停機(jī)Path
????????-?name:?SHUTDOWN_PATH
??????????value:?/spring/shutdown
????????#?復(fù)制級(jí)?即副本數(shù)
????????-?name:?REPLICAS
??????????value:?"3"
????????#?將日志外掛到主機(jī)磁盤(pán)Path，默認(rèn)兩者相同
????????-?name:?HOST_LOG_PATH
??????????value:?/var/applog
????????#?用于pull?鏡像的secrets
????????-?name:?IMAGE_PULL_SECRETS
??????????value:?""
????????#?用于pull?鏡像的secrets
????????-?name:?SPRING_BOOT_DEFAULT_PORT
??????????value:?"8080"
????????#?node親和，比如我可以設(shè)置pod盡量分散在不同可用區(qū)cn-i,cn-g,cn-h區(qū)
????????-?name:?NODE_AFFINITY_KEY
??????????value:?""
????????-?name:?NODE_AFFINITY_OPERATOR
??????????value:?""
????????-?name:?NODE_AFFINITY_VALUES
??????????value:?""
????????#?全局的環(huán)境變量，會(huì)追加到每個(gè)spring?boot的每個(gè)pod中，格式?k=v;k1=v2,
????????#?如?EUREKA_SERVERS=http://eureka1:8761/eureka/,http://eureka2:8761/eureka/,http://eureka3:8761/eureka/;k=v
????????-?name:?SPRING_BOOT_ENV
??????????value:?""
????????image:?registry.cn-shanghai.aliyuncs.com/qingmuio/spring-boot-operator-controller:latest

.....

自定義安裝之后部署

yaml 可以簡(jiǎn)化為如下。

apiVersion:?springboot.qingmu.io/v1alpha1
kind:?SpringBootApplication
metadata:
??name:?你的應(yīng)用的名稱
spec:
??springBoot:
????version:?v1.0.0

附錄

環(huán)境變量表格。