多集群下的 Tekton 流水線實(shí)踐

1. 多集群構(gòu)建 Tekton 的優(yōu)勢(shì)

借助于 Kubernetes, Tekton 已經(jīng)具備很好的彈性, 能夠支持大規(guī)模構(gòu)建。同時(shí), 開發(fā) Task 主要使用 Yaml 和 Shell, 這擴(kuò)大了 Tekton 的各種場(chǎng)景適配范圍。

上面是一張 Tekton 在多集群下的示意圖。為什么 Tekton 需要多集群執(zhí)行流水線？

• 隨時(shí)可變的 Kubernetes 集群。單一的 Kubernetes 集群, 無法滿足運(yùn)維的要求, 不能隨時(shí)對(duì)集群進(jìn)行變更。多集群下, 可以下架部分集群進(jìn)行維護(hù)。
• 更大規(guī)模的構(gòu)建。CI 對(duì) CPU、內(nèi)存、IO 資源的消耗很大, 容易壓垮節(jié)點(diǎn)甚至集群。多集群能有效分擔(dān)負(fù)載壓力，提高可用性。
• 業(yè)務(wù)隔離。業(yè)務(wù)對(duì)代碼安全等級(jí)、構(gòu)建速度、構(gòu)建環(huán)境要求不一樣, 多集群能夠提供隔離的環(huán)境, 定制化的流水線服務(wù)。

2. Kubernetes Cluster Federation

Kubernetes Cluster Federation 簡(jiǎn)稱 KubeFed。KubeFed v2 相較于 v1 最大的改變是將 API Server 移除, 并且通過 CRD 機(jī)制完成 Federated Resource 的擴(kuò)展。KubeFed Controller 管理這些 CRD, 并實(shí)現(xiàn)同步 Resources 跨集群編排等功能，實(shí)現(xiàn)模塊化和定制化。下面是社區(qū)的架構(gòu)圖:

KubeFed 配置了兩種類型的信息：

• Type configuration, 聲明 KubeFed 處理的 API 類型
• Cluster configuration, 聲明 KubeFed 管理哪些集群

Type configuration 有三個(gè)基本概念：

• Templates， 定義資源在集群中的模板描述
• Placement，?定義資源需要分發(fā)到哪些集群
• Overrides，?定義在集群中，需要覆蓋 Templates 的字段內(nèi)容

此外，通過 Status、Policy 和 Scheduling 可以實(shí)現(xiàn)更高級(jí)的功能:

• Status 收集分發(fā)資源在各個(gè)集群中的狀態(tài)
• Policy 允許將資源分配給哪些集群的策略控制
• Scheduling 允許資源跨集群遷移副本

除此，KubeFed 還提供了 MultiClusterDNS，可以用于多集群之間的服務(wù)發(fā)現(xiàn)。

3. 聯(lián)邦化 Kubernetes 集群

3.1 準(zhǔn)備集群并配置 Context

這里部署兩個(gè)集群: dev1 作為主集群，用來作為 Tekton 的控制面，不運(yùn)行流水線任務(wù); dev2 作為子集群，用來執(zhí)行 Tekton 流水線任務(wù)。

1. 準(zhǔn)備兩個(gè)集群

主集群 dev1

kubectl?get?node

NAME????STATUS???ROLES?????????????????????????AGE????VERSION
node1???Ready????control-plane,master,worker???151m???v1.20.4

helm?version

version.BuildInfo{Version:"v3.2.1",?GitCommit:"fe51cd1e31e6a202cba7dead9552a6d418ded79a",?GitTreeState:"clean",?GoVersion:"go1.13.10"}

子集群 dev2

kubectl?get?node

NAME????STATUS???ROLES?????????????????????????AGE???VERSION
node1???Ready????control-plane,master,worker???42d???v1.20.4

2. 在主集群上配置全部集群的 Context(要求集群 Apiserver 入口在一個(gè)網(wǎng)絡(luò)，能夠直連)，用來添加子集群

這里 contexts 中的 name 不能含義 @ 等特殊字符, 否則 join 時(shí)會(huì)報(bào)錯(cuò)。因?yàn)?name 會(huì)用來創(chuàng)建 Secret, 需要符合 Kubernetes 的命名規(guī)范。

將主集群 dev1 的 kubeconfig 放在 ~/.kube/config-1，并修改 name 等信息，格式如下:

apiVersion:?v1
clusters:
-?cluster:
????...
??name:?dev1.cluster.local
contexts:
-?context:
????cluster:?dev1.cluster.local
????user:?dev1-kubernetes-admin
??name:?dev1-context
users:
-?name:?dev1-kubernetes-admin
??user:
????...

將子集群 dev2 的 kubeconfig 放在 ~/.kube/config-2，并修改 name 等信息，格式如下:

apiVersion:?v1
clusters:
-?cluster:
????...
??name:?dev2.cluster.local
contexts:
-?context:
????cluster:?dev2.cluster.local
????user:?dev2-kubernetes-admin
??name:?dev2-context
users:
-?name:?dev2-kubernetes-admin
??user:
????...

3. 合并 kubeconfig

cd?$HOME/.kube/
KUBECONFIG=config-1:config-2?kubectl?config?view?--flatten?>?$HOME/.kube/config

4. 查看添加的集群 Context

kubectl?config?get-contexts

CURRENT???NAME???????????CLUSTER??????????????AUTHINFO????????????????NAMESPACE
??????????dev1-context???dev1.cluster.local???dev1-kubernetes-admin
??????????dev2-context???dev2.cluster.local???dev2-kubernetes-admin

5. 切換到主集群 dev1

kubectl?config?use-context?dev1-context

Switched?to?context?"dev1-context".

3.2 在主集群上安裝 KubeFed

1. 使用 Helm 安裝 KubeFed

git?clone?https://github.com/kubernetes-sigs/kubefed.git
cd?kubefed/charts/
helm?install?kubefed?./kubefed/?--namespace?kube-federation-system?--create-namespace

2. 查看負(fù)載

kubectl?get?deploy,pod?-n?kube-federation-system

NAME?????????????????????????????????????????READY???UP-TO-DATE???AVAILABLE???AGE
deployment.apps/kubefed-admission-webhook????1/1?????1????????????1???????????95s
deployment.apps/kubefed-controller-manager???2/2?????2????????????2???????????95s

NAME??????????????????????????????????????????????READY???STATUS????RESTARTS???AGE
pod/kubefed-admission-webhook-598bd776c6-gv4qh????1/1?????Running???0??????????95s
pod/kubefed-controller-manager-6d9bf98d74-n8kjz???1/1?????Running???0??????????17s
pod/kubefed-controller-manager-6d9bf98d74-nmb2j???1/1?????Running???0??????????14s

3.3 在主集群上安裝 kubefedctl

執(zhí)行命令:

wget?https://github.com/kubernetes-sigs/kubefed/releases/download/v0.8.0/kubefedctl-0.8.0-linux-amd64.tgz
tar?-zxvf?kubefedctl-*.tgz
mv?kubefedctl?/usr/local/bin/

3.4 添加集群

在主集群上執(zhí)行命令, 將 dev1、dev2 都添加到主集群 dev1 上。

kubefedctl?join?dev1-context?--host-cluster-context?dev1-context?--kubefed-namespace=kube-federation-system?--v=2

I0625?14:32:42.969373???25920?join.go:861]?Using?secret?named:?dev1-context-dev1-context-token-2w8km
I0625?14:32:42.972316???25920?join.go:934]?Created?secret?in?host?cluster?named:?dev1-context-ln6vx
I0625?14:32:42.991399???25920?join.go:299]?Created?federated?cluster?resource

kubefedctl?join?dev2-context?--host-cluster-context?dev1-context?--kubefed-namespace=kube-federation-system?--v=2

I0625?14:33:11.836472???26424?join.go:861]?Using?secret?named:?dev2-context-dev1-context-token-dcl8s
I0625?14:33:11.840121???26424?join.go:934]?Created?secret?in?host?cluster?named:?dev2-context-264dz
I0625?14:33:11.898044???26424?join.go:299]?Created?federated?cluster?resource

查看集群列表:

kubectl?-n?kube-federation-system?get?kubefedclusters

NAME???????????AGE???READY
dev1-context???45s???True
dev2-context???16s???True

3.5 測(cè)試集群是否聯(lián)邦成功

• 查看已經(jīng)聯(lián)邦化的資源

安裝 KubeFed 之后，常見的很多資源都已經(jīng)聯(lián)邦化，可以在 CRD 中查看:

kubectl?get?crd?|grep?federated

federatedclusterroles.types.kubefed.io????????????????2021-06-26T06:22:50Z
federatedconfigmaps.types.kubefed.io??????????????????2021-06-26T06:22:50Z
federateddeployments.types.kubefed.io?????????????????2021-06-26T06:22:50Z
federatedingresses.types.kubefed.io???????????????????2021-06-26T06:22:50Z
federatedjobs.types.kubefed.io????????????????????????2021-06-26T06:22:50Z
federatednamespaces.types.kubefed.io??????????????????2021-06-26T06:22:50Z
federatedreplicasets.types.kubefed.io?????????????????2021-06-26T06:22:50Z
federatedsecrets.types.kubefed.io?????????????????????2021-06-26T06:22:50Z
federatedserviceaccounts.types.kubefed.io?????????????2021-06-26T06:22:50Z
federatedservices.types.kubefed.io????????????????????2021-06-26T06:22:50Z
federatedservicestatuses.core.kubefed.io??????????????2021-06-26T06:22:50Z
federatedtypeconfigs.core.kubefed.io??????????????????2021-06-26T06:22:50Z

在 federatedtypeconfigs 中也可以看到已經(jīng)開啟聯(lián)邦的資源。

kubectl?get?federatedtypeconfigs.core.kubefed.io?-n?kube-federation-system

NAME?????????????????????????????????????AGE
clusterroles.rbac.authorization.k8s.io???29m
configmaps???????????????????????????????29m
deployments.apps?????????????????????????29m
ingresses.extensions?????????????????????29m
jobs.batch???????????????????????????????29m
namespaces???????????????????????????????29m
replicasets.apps?????????????????????????29m
secrets??????????????????????????????????29m
serviceaccounts??????????????????????????29m
services?????????????????????????????????29m

• 創(chuàng)建一個(gè)聯(lián)邦的 Namespace

Namespace 級(jí)別的資源需要放置在聯(lián)邦化的 Namespace 下，否則在進(jìn)行資源分發(fā)時(shí)，Controller 會(huì)報(bào)錯(cuò)。

apiVersion:?v1
kind:?Namespace
metadata:
??name:?testing-fed
---
apiVersion:?types.kubefed.io/v1beta1
kind:?FederatedNamespace
metadata:
??name:?testing-fed
??namespace:?testing-fed
spec:
??placement:
????clusters:
????-?name:?dev1-context
????-?name:?dev2-context

• 在主集群創(chuàng)建一個(gè)聯(lián)邦的 Deployment

常見的 Deployment 是這樣:

apiVersion:?apps/v1
kind:?Deployment
metadata:
??name:?nginx
??namespace:?default
spec:
??replicas:?1
??selector:
????matchLabels:
??????app:?nginx
??template:
????metadata:
??????labels:
????????app:?nginx
????spec:
??????containers:
??????-?image:?nginx
????????name:?nginx

而聯(lián)邦的 Deployment 是這樣。

apiVersion:?types.kubefed.io/v1beta1
kind:?FederatedDeployment
metadata:
??name:?nginx-fed
??namespace:?testing-fed
spec:
??overrides:
????-?clusterName:?dev1-context
??????clusterOverrides:
????????-?path:?/spec/replicas
??????????value:?2
????-?clusterName:?dev2-context
??????clusterOverrides:
????????-?path:?/spec/replicas
??????????value:?3
??placement:
????clusters:
??????-?name:?dev1-context
??????-?name:?dev2-context
??template:
????metadata:
??????labels:
????????app:?nginx
??????namespace:?testing-fed
????spec:
??????replicas:?1
??????selector:
????????matchLabels:
??????????app:?nginx
??????template:
????????metadata:
??????????labels:
????????????app:?nginx
????????spec:
??????????containers:
????????????-?image:?nginx
??????????????name:?nginx

FederatedDeployment 編寫時(shí)，需要注意三個(gè)字段

- overrides, 根據(jù)不同集群, 需要覆蓋的字段屬性。這里將 dev1 上的副本數(shù)改為 2，而將 dev2 上的副本數(shù)改為 3。
- placement, 資源需要放置的集群列表。這里放置在 dev1、dev2 兩個(gè)集群。
- template, 資源的模板。這里是 Deployment 去掉 apiVersion 和 kind 的剩余部分。

• 驗(yàn)證資源是否分發(fā)成功

在 dev1 集群上

kubectl?-n?testing-fed?get?pod

NAME?????????????????????????READY???STATUS????RESTARTS???AGE
nginx-fed-6799fc88d8-7llk9???1/1?????Running???0??????????8m2s
nginx-fed-6799fc88d8-clc5w???1/1?????Running???0??????????8m2s

在 dev2 集群上

kubectl?-n?testing-fed?get?pod

NAME?????????????????????????READY???STATUS????RESTARTS???AGE
nginx-fed-6799fc88d8-2ld4k???1/1?????Running???0??????????7m49s
nginx-fed-6799fc88d8-6dncp???1/1?????Running???0??????????7m49s
nginx-fed-6799fc88d8-x64fb???1/1?????Running???0??????????7m49s

4. 聯(lián)邦化 Tekton 的 CRD 資源

4.1 安裝 Tekton

在所有集群上都需要安裝 Tekton

kubectl?apply?-f?https://raw.githubusercontent.com/shaowenchen/scripts/main/image-sync/tektondev/dockerhub/release-0.24.1.yaml

由于 Tekton 社區(qū)使用的是 gcr.io 的鏡像, 有些主機(jī)環(huán)境上可能無法拉取。我在 Dockerhub 上對(duì)其進(jìn)行了備份, 在這里可以找到相關(guān)的 yaml, https://github.com/shaowenchen/scripts/tree/main/image-sync/tektondev/dockerhub 。

4.2 聯(lián)邦化 Tekton 的 CRD

安裝 KubeFed 時(shí), 會(huì)默認(rèn)將常見的 Deployment、Secret 等聯(lián)邦化, 但如果是用戶自定義的 CRD 就需要手動(dòng)開啟。

執(zhí)行命令:

kubefedctl?enable?clustertasks.tekton.dev
kubefedctl?enable?conditions.tekton.dev
kubefedctl?enable?pipelineresources.tekton.dev
kubefedctl?enable?pipelineruns.tekton.dev
kubefedctl?enable?pipelines.tekton.dev
kubefedctl?enable?runs.tekton.dev
kubefedctl?enable?taskruns.tekton.dev
kubefedctl?enable?tasks.tekton.dev

以 ?taskruns 為例, kubefedctl enable taskruns.tekton.dev 會(huì)自動(dòng)創(chuàng)建兩個(gè)資源:

• customresourcedefinition.apiextensions.k8s.io/federatedtaskruns.types.kubefed.io, 聯(lián)邦 CRD 資源 federatedtaskruns
• federatedtypeconfig.core.kubefed.io/taskruns.tekton.dev, 在 kube-federation-system 命名空間下, 創(chuàng)建 federatedtypeconfig 類型的資源 taskruns 開啟資源分發(fā)使能

4.3 編輯新創(chuàng)建的聯(lián)邦 CRD 資源添加字段

缺少這一步, 會(huì)導(dǎo)致同步到子集群的 CR 資源內(nèi)容為空。因?yàn)?kubefedctl enable 聯(lián)邦化 CRD 資源缺少 template 字段。

執(zhí)行命令:

kubectl?edit?crd?federatedtasks.types.kubefed.io

在與 overrides 、placement 平級(jí)的層次，添加下面示例的 template 內(nèi)容即可。

apiVersion:?apiextensions.k8s.io/v1
...
spec:
??versions:
??-?name:?v1beta1
????schema:
??????openAPIV3Schema:
????????properties:
??????????spec:
????????????properties:
??????????????overrides:
????????????????...
??????????????placement:
????????????????...
??????????????template:
????????????????type:?object
????????????????x-kubernetes-preserve-unknown-fields:?true
????????????type:?object

如果覺得不夠清晰，可以參考 https://github.com/shaowenchen/scripts/tree/main/image-sync/tektondev/kubefed 修改。如果你也是使用版本 0.24.1, 可以直接 kubectl apply 這些 CRD 資源。

4.4 測(cè)試多集群下分發(fā) Tekton 對(duì)象

這里為了避免粘貼大量 yaml, 直接提前預(yù)先在子集群上創(chuàng)建 Task 資源, 而沒有使用 FederatedTask 進(jìn)行分發(fā)。

• 在子集群上創(chuàng)建 Task

kubectl?apply?-f?https://raw.githubusercontent.com/tektoncd/catalog/main/task/git-clone/0.4/git-clone.yaml?-n?testing-fed

• 在主集群 dev1 上創(chuàng)建 FederatedTaskRun 資源分發(fā)到子集群 dev2

apiVersion:?types.kubefed.io/v1beta1
kind:?FederatedTaskRun
metadata:
??name:?git-clone-test
??namespace:?testing-fed
spec:
??placement:
????clusters:
????-?name:?dev2-context
??template:
????metadata:
??????namespace:?testing-fed
????spec:
??????workspaces:
????????-?name:?output
??????????emptyDir:?{}
??????taskRef:
????????name:?git-clone
??????params:
????????-?name:?url
??????????value:?https://github.com/kelseyhightower/nocode

• 在子集群 dev2 上查看 Tekton 的 Taskrun 任務(wù)

kubectl?get?taskrun?-n?testing-fed

NAME?????????????SUCCEEDED???REASON??????STARTTIME???COMPLETIONTIME
git-clone-test???True????????Succeeded???15s?????????7s

5. 總結(jié)

本文主要介紹并實(shí)踐了利用 KubeFed 管理多集群，對(duì) Tekton CRD 資源進(jìn)行聯(lián)邦化。

多集群下的 Tekton，使用主集群管理資源，使用子集群執(zhí)行流水線，能夠有效均衡負(fù)載，增加流水線的并發(fā)執(zhí)行量，提高 CICD 系統(tǒng)的可維護(hù)性。

這里的 KubeFed 主要是用來存儲(chǔ)并分發(fā) Tekton 對(duì)象資源。如果自研編碼，可以通過數(shù)據(jù)存儲(chǔ)加循環(huán)控制器完成，但是利用 KubeFed Controller 能快速實(shí)現(xiàn)，同時(shí)避免了很多潛在的問題。KubeFed 用于做跨集群的資源分發(fā)，非常適用。

6. 參考

• https://github.com/kubernetes-sigs/kubefed