“

作者：云智慧AIOps社區(qū)
簡(jiǎn)介：AIOps社區(qū)是由云智慧發(fā)起，針對(duì)運(yùn)維業(yè)務(wù)場(chǎng)景，提供算法、算力、數(shù)據(jù)集整體的服務(wù)體系及智能運(yùn)維業(yè)務(wù)場(chǎng)景的解決方案交流社區(qū)。

內(nèi)容導(dǎo)航

• 什么是Tars？

• Tars框架源碼部署

• Tars服務(wù)部署管理

• Tars配置中心

• Tars服務(wù)發(fā)現(xiàn)

• Tars遠(yuǎn)程日志

• Tars狀態(tài)監(jiān)控

什么是Tars

Tars是一個(gè)支持多語(yǔ)言內(nèi)嵌服務(wù)治理功能的框檻，能與DevOps比較好的協(xié)同開發(fā)。提供了包含開發(fā)、運(yùn)維、以及測(cè)試的一整套解決方案。Tars集可擴(kuò)展協(xié)議編解碼、高性能RPC通信框架、名字路由與發(fā)現(xiàn)、發(fā)布監(jiān)控、日志統(tǒng)計(jì)、配置管理等于一體，通過(guò)Tars可快速用微服務(wù)的方式構(gòu)建自己高可用的分布式應(yīng)用，并實(shí)現(xiàn)完整有效的服務(wù)治理?？傮w來(lái)講，Tars是一個(gè)跨平臺(tái)、跨語(yǔ)言的軟件運(yùn)行環(huán)境，是基于service mesh設(shè)計(jì)理念實(shí)現(xiàn)的開發(fā)框架。

Tars框架源碼部署

注：用CentOS7部署，CentOS6 需升級(jí)glic

部署環(huán)境

• Docker環(huán)境安裝
• Mysql安裝
• Linux/Mac源碼部署
• Windows源碼部署
• TarsDocker部署
• K8s Docker部署
• TarsNode部署

依賴環(huán)境

Tars服務(wù)部署管理

• 部署過(guò)程有生命周期完整的頁(yè)面交互
• 零配置或配置模板化，頁(yè)面配置化操作執(zhí)行文件，部署服務(wù)
• 部署后可以在頁(yè)面上進(jìn)行驗(yàn)證，并在頁(yè)面上查看服務(wù)的運(yùn)行狀態(tài)以及產(chǎn)生的日志，方便問(wèn)題的排查上報(bào)
• 版本管理頁(yè)面直觀可見(jiàn)，可以進(jìn)行版本的升降級(jí)
• VPN或公網(wǎng)網(wǎng)絡(luò)互通后，可以實(shí)現(xiàn)遠(yuǎn)程部署
• 部署過(guò)程無(wú)需技術(shù)背景，操作簡(jiǎn)單
• 部署方案可以跨平臺(tái)

服務(wù)發(fā)布架構(gòu)實(shí)現(xiàn)

• tars patch 組件將war包上傳到 patch 目錄 (/usr/local/app/patch/tars.upload/)
• tars注冊(cè)中心通知node拉取對(duì)應(yīng)的包到本地
• 啟動(dòng)對(duì)應(yīng)的服務(wù)
• 服務(wù)啟動(dòng)后web頁(yè)面可以查看啟動(dòng)狀態(tài)
• 服務(wù)啟動(dòng)后web頁(yè)面可以通過(guò)流式日志查看服務(wù)的啟動(dòng)日志.

灰度發(fā)布

Tars支持灰度發(fā)布，具體可查看下圖

熔斷策略

當(dāng)客戶端和服務(wù)端需要交互時(shí)，可在注冊(cè)中心拉取路由。客戶端從注冊(cè)中心拉取到注冊(cè)信息之后可以根據(jù)內(nèi)部對(duì)服務(wù)的判斷決定請(qǐng)求什么服務(wù)。

服務(wù)發(fā)布

• 運(yùn)維管理

服務(wù)部署

• 模版管理

• 發(fā)布管理

• 服務(wù)管理

• 框架檢查

Tars服務(wù)發(fā)布與傳統(tǒng)服務(wù)發(fā)布對(duì)比

Tars配置中心

配置中心提供服務(wù)配置文件的統(tǒng)一管理功能。是實(shí)時(shí)更新配置文件、push配置文件到服務(wù)、服務(wù)主動(dòng)pull配置文件的統(tǒng)一管理中心。主要包含以下優(yōu)點(diǎn)：

• 對(duì)業(yè)務(wù)配置進(jìn)行集中管理并且提供操作頁(yè)面，使配置修改更容易，通知更及時(shí)，配置變更也更安全；
• 對(duì)配置變更進(jìn)行歷史記錄，讓配置可以輕松回退到前一版本。
• 配置拉取簡(jiǎn)單，服務(wù)只需調(diào)用配置服務(wù)的接口即可獲取到配置文件。
• 能靈活管理配置文件，配置文件分為幾個(gè)級(jí)別：應(yīng)用配置、Set配置、服務(wù)配置和節(jié)點(diǎn)配置。

配置信息維護(hù)

tars框架通過(guò)兩個(gè)數(shù)據(jù)表（存在mysq I中）來(lái)維護(hù)這些配置信息：t_config_file s和 t_config_references。

1. t_config_files表的主要信息：服務(wù)配置文件名稱、配置文件類型、配置文件所屬服務(wù)名，配置文件所屬set分組，配置文件所屬節(jié)點(diǎn)ip以及配置文件的索引id值以及該服務(wù)所在set分組信息。
2. t_config_references表的主要信息：配置文件的索引id以及該id所引用的配置文件索引id。

服務(wù)配置

tars web管理系統(tǒng)上添加配置、添加引用文件、push配置文件到服務(wù)。配置文件會(huì)被推到相應(yīng)的目錄下。

服務(wù)代碼中pull配置文件到本地。

Tars服務(wù)發(fā)現(xiàn)

Tars協(xié)議采用接口描述語(yǔ)言(Interface description language,縮寫 IDL)來(lái)實(shí)現(xiàn)，它是一種二進(jìn)制、可擴(kuò)展、代碼自動(dòng)生成、支持平臺(tái)的協(xié)議，使得在不同平臺(tái)上運(yùn)行的對(duì)象和用不同語(yǔ)言編寫的程序可以用RPC遠(yuǎn)程調(diào)用的方式相互通信交流，主要應(yīng)用在后臺(tái)服務(wù)之間的網(wǎng)絡(luò)傳輸協(xié)議，以及對(duì)象的序列化和反序列化等方面。注冊(cè)中心主要涉及到三大角色: 服務(wù)提供者、服務(wù)消費(fèi)者、注冊(cè)中心 。

• Tars通過(guò)名字服務(wù)來(lái)實(shí)現(xiàn)服務(wù)的注冊(cè)與發(fā)現(xiàn)
• Client通過(guò)訪問(wèn)名字服務(wù)獲取到被調(diào)服務(wù)的地址信息列表
• Client再根據(jù)需要選擇合適的負(fù)載均衡方式來(lái)調(diào)用服務(wù)

數(shù)據(jù)結(jié)構(gòu)

協(xié)議支持的類型分兩種，基本類型和復(fù)雜類型。

• 基本類型包括：void、bool、byte、short、int、long、float、double、string、unsigned byte、unsigned short、unsigned int。
• 復(fù)雜類型包括：enum、const、struct、vector、map， 以及struct、vector、map的嵌套。

尋址方式

自動(dòng)尋址：客戶端Endpoint注冊(cè)表的緩存更新周期，主動(dòng)方式（周期刷新一分鐘，refreshEndpointInterval） 自動(dòng)尋址用的負(fù)載均衡算法（包含多種）

直接尋址：可以通過(guò)手動(dòng)填寫IP port實(shí)現(xiàn)直接尋址，調(diào)試特殊場(chǎng)景下使用

調(diào)用方式

通過(guò)IDL語(yǔ)言協(xié)議，可以定義服務(wù)提供的接口，并自動(dòng)生成客戶端和服務(wù)端的相關(guān)通信代碼，服務(wù)端只需實(shí)現(xiàn)業(yè)務(wù)邏輯即可對(duì)外提供服務(wù)，客戶端通過(guò)自動(dòng)生成的代碼即可調(diào)用服務(wù)，調(diào)用方式支持以下三種模式：

• 同步調(diào)用：客戶端發(fā)出調(diào)用請(qǐng)求后等待服務(wù)返回結(jié)果后再繼續(xù)邏輯。
• 異步調(diào)用：客戶端發(fā)出調(diào)用請(qǐng)求后繼續(xù)其他業(yè)務(wù)邏輯，服務(wù)端返回結(jié)果又由回調(diào)處理類 處理結(jié)果。
• 單向調(diào)用：客戶端發(fā)出調(diào)用請(qǐng)求后就結(jié)束調(diào)用，服務(wù)端不返回調(diào)用結(jié)果。

Tars文件定義結(jié)構(gòu)演示

服務(wù)注冊(cè)

Tars服務(wù)注冊(cè)優(yōu)點(diǎn)：

• 簡(jiǎn)單易用：對(duì)開發(fā)者透明
• 高可用：幾臺(tái)注冊(cè)中心壞掉不會(huì)導(dǎo)致整個(gè)服務(wù)癱瘓，注冊(cè)服務(wù)整體持續(xù)可用
• 避免跨越機(jī)房調(diào)用：最好調(diào)用優(yōu)先同一個(gè)機(jī)房的服務(wù)以減少網(wǎng)絡(luò)延遲
• 跨語(yǔ)言：允許開發(fā)者使用多種編程語(yǔ)言構(gòu)建微服務(wù)
• 負(fù)載均衡：負(fù)載均衡支持輪詢、hash、權(quán)重等多種方式。
• 容錯(cuò)保護(hù)：名字服務(wù)排除和Client主動(dòng)屏蔽。

名字服務(wù)排除的策略：

業(yè)務(wù)服務(wù)主動(dòng)上報(bào)心跳給名字服務(wù)，使名字服務(wù)知道服務(wù)部署的節(jié)點(diǎn)存活情況，當(dāng)服務(wù)的某節(jié)點(diǎn)故障時(shí)，名字服務(wù)不在返回故障節(jié)點(diǎn)的地址給Client，達(dá)到排除故障節(jié)點(diǎn)的目標(biāo)。名字服務(wù)排除故障需 要通過(guò)服務(wù)心跳和Clien地址列表拉取兩個(gè)過(guò)程，故障排除時(shí)間在1分鐘左右。

Client主動(dòng)屏蔽：

為了更及時(shí)的屏蔽故障節(jié)點(diǎn)，Client根據(jù)調(diào)用被調(diào)服務(wù)的異常情況來(lái)判斷是否有故障來(lái)更快進(jìn)行故障屏蔽。具體策略是，當(dāng)client調(diào)用某個(gè)svr出現(xiàn)調(diào)用連續(xù)超時(shí)，或者調(diào)用的超時(shí)比率超過(guò)一定百分比， client會(huì)對(duì)此svr進(jìn)行屏蔽，讓流量分發(fā)到正常的節(jié)點(diǎn)上去。對(duì)屏蔽的svr節(jié)點(diǎn)，每隔一定時(shí)間進(jìn)行重連，如果正常，則進(jìn)行正常的流量分發(fā)。

頁(yè)面上手動(dòng)上傳進(jìn)行的注冊(cè)，注冊(cè)到了 mysql.也可以通過(guò)Web API實(shí)現(xiàn)自動(dòng)上傳和部署

服務(wù)注冊(cè)過(guò)程如下圖所示:

服務(wù)發(fā)現(xiàn)過(guò)程如下圖所示：

客戶端實(shí)現(xiàn)原理

服務(wù)端實(shí)現(xiàn)原理

Tars調(diào)用鏈

在Tars管理平臺(tái)上選中要開啟調(diào)用鏈的服務(wù)，點(diǎn)擊“編輯”

最終效果如下圖所示：

點(diǎn)開單詞調(diào)用鏈查看詳細(xì)信息

Tars遠(yuǎn)程日志

Tarslog是Tars日志服務(wù)，基于Logback作為日志系統(tǒng)，用于將日志內(nèi)容打到本地或遠(yuǎn)程服務(wù)器，并且支持服務(wù)內(nèi)日志調(diào)用鏈路追蹤以及日志染色。

Tarslog提供了十分靈活的配置項(xiàng)，可以為用戶提供更加強(qiáng)大的日志功能。

Tars內(nèi)置的遠(yuǎn)程日志功能是以logback插件的模式存在，只需將插件引入到logback配置文件即可，配置簡(jiǎn)單，并且可自定義日志打印到本地以及遠(yuǎn)程。

Tars日志模塊可通過(guò)MDC實(shí)現(xiàn)服務(wù)內(nèi)日志鏈路跟蹤以及自定義日志染色。MDC內(nèi)部持有一個(gè)ThreadLocal對(duì)象，其中存儲(chǔ)了一個(gè)Map，因此用戶可以根據(jù)需要向其中添加鍵值對(duì)。

Tars日志模塊通過(guò)配置可支持高可用。

日志打印

流程如下圖所示：

1. 官網(wǎng)（https://github.com/TarsCloud/TarsJava）下載源碼
2. 通過(guò)mvn package 命令將 TarsJava 下的 tars-plugins 打成jar包
3. 將打好的jar包放入到工程中。
4. 配置logback文件，添加appender。如圖配置
5. 代碼中通過(guò) Logger logger = LoggerFactory. getLogger("root")獲取Iogger對(duì)象。
6. 通過(guò)logger.debug("message")打印日志，此時(shí)日志會(huì)打印到第四步附圖中 logserverObjname配置的Iogserver中；

MDC服務(wù)內(nèi)日志鏈路跟蹤

1. MDC內(nèi)部持有一個(gè)ThreadLocal對(duì)象，在單個(gè)線程處理的請(qǐng)求鏈路中，通過(guò) MDC. put(“traceId", value)設(shè)置調(diào)用鏈路 ID。
2. 在logback配置文件中利用pattern獲取traceld，如下圖配置:。
3. 此時(shí)單個(gè)請(qǐng)求鏈路中打印的所有日志已經(jīng)包含第一步中MDC中put的traceId所對(duì)應(yīng)的值。

MDC日志染色

1. 通過(guò)實(shí)現(xiàn) ForegroundCompositeConverterBase接口封裝染色 conversionRule。如下圖所示：

1. 配置logback.xml文件，增加conversionRule標(biāo)簽，指向第一步封裝的染色conversionRule類，并在輸出遠(yuǎn)端日志的Appender中使用此染色規(guī)則。如下圖所示：

logback 整合 Kafka

方式1：手寫Appender

1. 引入Kafka jar包，導(dǎo)入到項(xiàng)目中。
2. 手寫Appender實(shí)現(xiàn)日志發(fā)送到Kafka。
3. 配置logback.xml。

方式2：開源jar

具體請(qǐng)參考資料：https://github.com/danielwegener/logback-kafka-appender

1. 引入開源jar包，導(dǎo)入到項(xiàng)目中。

?
com.github.danielwegener?
logback-kafka-appender?
0.2.0?
runtime?
?

1. 配置logback.xml,配置kafkaAppender,以及kafka信息(host, topic等)。
2. 把kafkaAppender放到日志輸出。

"lNFO">"kafkaAppender"/>??

總結(jié)

• 目前遠(yuǎn)程日志服務(wù)不支持跨服務(wù)日志鏈路追蹤，需要zipkin實(shí)現(xiàn)鏈路追蹤。Tars已經(jīng)集成zipkin）
• 可配置多臺(tái)遠(yuǎn)程日志服務(wù)地址，實(shí)現(xiàn)咼可用。
• 可基于Logback做功能的橫向擴(kuò)展。

Tars狀態(tài)監(jiān)控

為了更好反映和監(jiān)控小到服務(wù)進(jìn)程、大到業(yè)務(wù)的運(yùn)行質(zhì)量情況，框架支持以下數(shù)據(jù)上報(bào)的功能：

• 提供了服務(wù)模塊間調(diào)用信息統(tǒng)計(jì)上報(bào)的功能。方便用戶查看服務(wù)的流量、延時(shí)、超時(shí)、異常等情況。
• 提供了用戶自定義屬性數(shù)據(jù)上報(bào)的功能。方便用戶查看服務(wù)的某些維度或者指標(biāo)， 比如內(nèi)存使用情況、隊(duì)列大小、cache命中率等。
• 提供了服務(wù)狀態(tài)變更和異常信息上報(bào)的功能。方便用戶查看服務(wù)的何時(shí)發(fā)布過(guò)、重啟過(guò)、宕過(guò)以及遇到的異常致命錯(cuò)誤等。

Tars統(tǒng)計(jì)信息

統(tǒng)計(jì)信息包含訪問(wèn)次數(shù)、耗時(shí)、異常和耗時(shí)。統(tǒng)計(jì)及聚合由各語(yǔ)言框架SDK提供，無(wú)論成功與否，框架 SDK都將會(huì)上報(bào)。

上報(bào)統(tǒng)計(jì)信息是向Tars框架內(nèi)的tarsstat上報(bào)耗時(shí)信息和其他信息。無(wú)需用戶開發(fā)，只需在程序初始化期間正確設(shè)置相關(guān)信息后，就可以在框架內(nèi)自動(dòng)報(bào)告。

客戶端調(diào)用上報(bào)接口后，會(huì)暫時(shí)將信息存儲(chǔ)在內(nèi)存中，當(dāng)?shù)竭_(dá)某個(gè)時(shí)間點(diǎn)時(shí)，會(huì)向tarsstat服務(wù)上報(bào)（默認(rèn)為1分鐘上報(bào)一次）。兩個(gè)上報(bào)時(shí)間點(diǎn)之間的時(shí)間間隔稱為統(tǒng)計(jì)間隔，在統(tǒng)計(jì)間隔中會(huì)執(zhí)行諸如聚合和比較相同key的一些操作。

Tars特性監(jiān)控

特性監(jiān)控上報(bào)的是服務(wù)腳本的自定義特性，它由特性名、特性值、以及統(tǒng)計(jì)方法構(gòu)成，類似指標(biāo)監(jiān)控。每種語(yǔ)言SDK有默認(rèn)的特性監(jiān)控指標(biāo)，比如 JAVA 默認(rèn)包含 jvm.memory, jvm.gc 等。

也可以自定義拓展：

obj?=?property.create('name',?[new?property.POLICY.Count,?new?property.POLICY.Max]);?
obj.report(value)?

Tars服務(wù)監(jiān)控

集群中所有機(jī)器都有Node服務(wù)用于管理應(yīng)用，Node服務(wù)其中一個(gè)重要功能為服務(wù)監(jiān)控。Node服務(wù)通過(guò)開啟一個(gè)監(jiān)控線程，負(fù)責(zé)定時(shí)（時(shí)間間隔可以配置）輪詢監(jiān)控Node所管理的所有服務(wù)的運(yùn)行狀態(tài)，并定時(shí)向主控上報(bào)服務(wù)的運(yùn)行狀態(tài)。

• 應(yīng)用服務(wù)SDK會(huì)定期上報(bào)心跳。
• Node服務(wù)會(huì)定期檢查SDK的心跳超時(shí)。
• Node服務(wù)會(huì)定期檢測(cè)服務(wù)進(jìn)程是否存在。

寫在最后

近年來(lái)，在AIOps領(lǐng)域極速發(fā)展的背景下，IT工具、平臺(tái)能力、解決方案、AI場(chǎng)景及可用數(shù)據(jù)集的迫切需求在各行業(yè)迸發(fā)?；诖?，云智慧在2021年8月發(fā)布了AIOps社區(qū)，旨在樹起一面開源旗幟，為各行業(yè)客戶、用戶、研究者和開發(fā)者們構(gòu)建活躍的用戶及開發(fā)者社區(qū)，共同貢獻(xiàn)及解決行業(yè)難題、促進(jìn)該領(lǐng)域技術(shù)發(fā)展。

成立近半年，社區(qū)先后開源了數(shù)據(jù)可視化編排平臺(tái)-FlyFish、運(yùn)維管理平臺(tái)OMP、云服務(wù)管理平臺(tái)-摩爾平臺(tái)、Hours算法等產(chǎn)品。其中FlyFish斬獲中國(guó)開源云聯(lián)盟2021優(yōu)秀開源項(xiàng)目獎(jiǎng)。OMP運(yùn)維管理平臺(tái)入選2021 年度 OSC 中國(guó)開源項(xiàng)目「最受歡迎項(xiàng)目」榜單。并在業(yè)內(nèi)首次開源了智能運(yùn)維開源數(shù)據(jù)集-GAIA數(shù)據(jù)集，填補(bǔ)了AIOps開源集數(shù)據(jù)領(lǐng)域的空白。歡迎大家點(diǎn)擊下方鏈接了解更多云智慧開源項(xiàng)目～

GitHub地址：https://github.com/CloudWise

Gitee地址：https://gitee.com/CloudWise