分布式鏈路追蹤Jaeger + 微服務(wù)Pig在Rainbond上的實踐分享

隨著微服務(wù)架構(gòu)的流行，客戶端發(fā)起的一次請求可能需要涉及到多個或 N 個服務(wù)，致使我們對服務(wù)之間的監(jiān)控和排查變得更加復(fù)雜。

「舉個例子：」

某條業(yè)務(wù)線的某個接口調(diào)用服務(wù)端時快時慢，這時就需要排查各個服務(wù)的日志進(jìn)行分析，調(diào)動各個服務(wù)的開發(fā)人員聯(lián)動排查，這種排查費(fèi)時又費(fèi)力。對于 ToB 的業(yè)務(wù)有時候還拿不到日志，難搞哦！

因此，就需要可以幫助理解系統(tǒng)行為、用于分析性能問題的工具，以便發(fā)生故障的時候，能夠快速定位和解決問題，那就是 APM （Application Performance Monitor）。目前流行的 APM 開源工具有很多，比如：Zipkin，Skywalking，Pinpoint、Jaeger 等等，本文將主要介紹 Jaeger 。

Jaeger 是 Uber 技術(shù)團(tuán)隊發(fā)布的開源分布式跟蹤系統(tǒng)，它用于監(jiān)控和故障排查基于微服務(wù)的分布式系統(tǒng)：

• 分布式上下文傳播、事務(wù)監(jiān)控
• 根本原因、服務(wù)依賴分析
• 性能/延遲優(yōu)化
• OpenTracing^[1] 啟發(fā)的數(shù)據(jù)模型
• 多個存儲后端：Cassandra, Elasticsearch, memory.
• 系統(tǒng)拓?fù)鋱D
• 服務(wù)性能監(jiān)控（SPM）
• 自適應(yīng)采樣

Jaeger 架構(gòu)

如何在Rainbond上集成？

「1.集成 OpenTelemetry Client：」

v1.36 版本以前 Jaeger Client 是基于 OpenTracing API 實現(xiàn)的客戶端庫，Jaeger Client 結(jié)合 Jaeger Agent 一起使用，發(fā)送 span 到 Jaeger Collector。

v1.36 版本以后被棄用。使用 OpenTelemetry^[2] 替代  Jaeger Client and Jaeger Agent，詳情見 Jaeger and OpenTelemetry^[3]。

OpenTelemetry 是無侵入的，只需在 Java 進(jìn)程啟動時添加 javaagent，例：java -javaagent:path/to/opentelemetry-javaagent.jar -jar myapp.jar 。

那么在 Rainbond 上就可以通過插件將 OpenTelemetry javaagent 下載到組件中并修改啟動命令。

「2.連接到 Jaeger-Collector：」

將所有安裝了 OpenTelemetry javaagent 插件的微服務(wù)組件都通過依賴連接到 Jaeger Collector。

實踐步驟

實踐中將使用 Spring Cloud Pig 進(jìn)行演示，Gitee：https://gitee.com/zhangbigqi/pig

Rainbond 部署請參閱文檔 快速安裝^[4] 。

1. Spring Cloud Pig 源碼部署

通過源碼部署 Spring Cloud Pig 微服務(wù)框架就不詳細(xì)介紹部署了，請參閱：

• Spring Cloud Pig 部署教程^[5]
• Spring Cloud Pig 視頻教程^[6]

2. OpenTelemetry 插件安裝

從應(yīng)用商店安裝 opentelemetry-java-agent 初始化插件，該插件的作用是下載 opentelemetry-javaagent.jar 到微服務(wù)組件內(nèi)，可以在 Java 啟動項中指定。

• 團(tuán)隊視圖 -> 插件 -> 從應(yīng)用商店安裝插件 -> 搜索 opentelemetry-java-agent 并安裝。

3. 部署 Jaeger

在開源應(yīng)用商店中搜索 Jaeger 并安裝到指定應(yīng)用中。

4. OpenTelemetry Agent 插件配置

「1.開通 OpenTelemetry Agent 插件」

以 pig-gateway 為例，在組件 -> 插件中開通 opentelemetry-java-agent 插件并更新組件生效，微服務(wù)內(nèi)的其他組件均需要開通插件并更新或重啟組件生效。

「2.配置環(huán)境變量」

為所有微服務(wù)組件配置環(huán)境變量。

可使用 應(yīng)用配置組 統(tǒng)一配置并應(yīng)用到所有組件中。

「3.配置組件服務(wù)名稱」

為所有微服務(wù)組件配置環(huán)境變量 OTEL_SERVICE_NAME ，配置組件的 Jaeger 服務(wù)名稱，如：OTEL_SERVICE_NAME=pig-gateway OTEL_SERVICE_NAME=pig-auth

5.建立依賴關(guān)系

將所有微服務(wù)組件添加依賴連接到 Jaeger Collector 。

因 Jaeger 部署在另外一個應(yīng)用，需要進(jìn)入 組件 -> 依賴 -> 添加 Jaeger Collector 依賴，就可以在當(dāng)前應(yīng)用的拓?fù)鋱D看到 Jaeger Collector 組件，剩下的組件都可通過拓?fù)鋱D編輯模式進(jìn)行依賴連接。更新或重啟所有微服務(wù)組件使依賴關(guān)系生效。

6.  Jaeger 快速使用

1. 訪問 Spring Cloud Pig UI 進(jìn)行登錄，使其產(chǎn)生數(shù)據(jù)。
2. 訪問 Jaeger-Query 的 16686 端口，打開對外服務(wù)即可訪問 Jaeger UI 。
3. 在 Jaeger Search 頁面中搜索微服務(wù) Pig-gateway 的 Traces
• Service：選擇微服務(wù)的組件
• Operation：選擇操作類型，例：GET POST、接口、類.....
• Tags：根據(jù)響應(yīng)頭篩選，例：http.status_code=200 error=true
• Lookback：選擇時間
• Max Duration：最大持續(xù)時間；Min Duration：最小持續(xù)時間。
• Limit Results：限制返回結(jié)果數(shù)量。

4. 找到 Pig-gateway HTTP POST 的 Traces 并包含了 pig-auth Span并進(jìn)入，可看到很清晰的展示了服務(wù)之間一層一層的調(diào)用以及接口的響應(yīng)時間，這樣我們就可以排查到底是哪個服務(wù)調(diào)用的慢或者調(diào)用有問題。

「Jaeger 拓?fù)鋱D生成」

拓?fù)鋱D默認(rèn)不會生成，使用 spark-dependencies 組件生成拓?fù)鋱D數(shù)據(jù)，這是一個 Spark 作業(yè)，它從存儲中收集 span，分析服務(wù)之間的鏈接，并將它們存儲起來以供以后在 UI 中展示。請參閱 Jaeger Spark dependencies^[7]。

spark-dependencies 組件占用資源較大，不使用時可關(guān)閉，需要生成拓?fù)鋱D數(shù)據(jù)時將其啟動即可。

最后

有了 APM 系統(tǒng)后，使我們可以更好的分析業(yè)務(wù)性能、排查故障等。

結(jié)合 Rainbond 作為基座不管是 Spring Cloud 還是 Jaeger 或其他 APM 都可以很方便、快捷的部署使用，從繁瑣的部署、配置中解放出來，讓我們更多的關(guān)注于業(yè)務(wù)層。

Reference Link