可視化全鏈路日志追蹤

總第523篇

2022年 第040篇

• 1. 背景

• 1.1 業(yè)務(wù)系統(tǒng)日益復(fù)雜

• 1.2 業(yè)務(wù)追蹤面臨挑戰(zhàn)

• 2. 可視化全鏈路日志追蹤

• 2.1 設(shè)計(jì)思路

• 2.2 通用方案

• 3. 大眾點(diǎn)評(píng)內(nèi)容平臺(tái)實(shí)踐

• 3.1 業(yè)務(wù)特點(diǎn)與挑戰(zhàn)

• 3.2 實(shí)踐與成果

• 4. 總結(jié)與展望

1. 背景

1.1 業(yè)務(wù)系統(tǒng)日益復(fù)雜

1.2 業(yè)務(wù)追蹤面臨挑戰(zhàn)

1.2.1 傳統(tǒng)的ELK方案

• 日志搜集繁瑣：雖然ES提供了日志檢索的能力，但是日志數(shù)據(jù)往往是缺乏結(jié)構(gòu)性的文本段，很難快速完整地搜集到全部相關(guān)的日志。

• 日志篩選困難：不同業(yè)務(wù)場景、業(yè)務(wù)邏輯之間存在重疊，重疊邏輯打印的業(yè)務(wù)日志可能相互干擾，難以從中篩選出正確的關(guān)聯(lián)日志。

• 日志分析耗時(shí)：搜集到的日志只是一條條離散的數(shù)據(jù)，只能閱讀代碼，再結(jié)合邏輯，由人工對(duì)日志進(jìn)行串聯(lián)分析，盡可能地還原出現(xiàn)場。

1.2.2 分布式會(huì)話跟蹤方案

1.2.3 總結(jié)

2. 可視化全鏈路日志追蹤

2.1 設(shè)計(jì)思路

• 邏輯節(jié)點(diǎn)：業(yè)務(wù)系統(tǒng)的眾多邏輯可以按照業(yè)務(wù)功能進(jìn)行拆分，形成一個(gè)個(gè)相互獨(dú)立的業(yè)務(wù)邏輯單元，即邏輯節(jié)點(diǎn)，可以是本地方法（如下圖5的“判斷邏輯”節(jié)點(diǎn)）也可以是RPC等遠(yuǎn)程調(diào)用方法（如下圖5的“邏輯A”節(jié)點(diǎn)）。

• 邏輯鏈路：業(yè)務(wù)系統(tǒng)對(duì)外支撐著眾多的業(yè)務(wù)場景，每個(gè)業(yè)務(wù)場景對(duì)應(yīng)一個(gè)完整的業(yè)務(wù)流程，可以抽象為由邏輯節(jié)點(diǎn)組合而成的邏輯鏈路，如下圖5中的邏輯鏈路就準(zhǔn)確完整地描述了“審核業(yè)務(wù)場景”。

• 通過在執(zhí)行線程和網(wǎng)絡(luò)通信中持續(xù)地透傳參數(shù)，實(shí)現(xiàn)在業(yè)務(wù)邏輯執(zhí)行的同時(shí)，不中斷地傳遞鏈路和節(jié)點(diǎn)的標(biāo)識(shí)，實(shí)現(xiàn)離散日志的染色。

• 基于標(biāo)識(shí)，染色的離散日志會(huì)被動(dòng)態(tài)串聯(lián)至正在執(zhí)行的節(jié)點(diǎn)，逐漸匯聚出完整的邏輯鏈路，最終實(shí)現(xiàn)業(yè)務(wù)執(zhí)行現(xiàn)場的高效組織和可視化展示。

2.2 通用方案

2.2.1 鏈路定義

  [
    {
      "nodeName": "A",
      "nodeType": "rpc"
    },
    {
      "nodeName": "Fork",
      "nodeType": "fork",
      "forkNodes": [
        [
          {
            "nodeName": "B",
            "nodeType": "rpc"
          }
        ],
        [
          {
            "nodeName": "C",
            "nodeType": "local"
          }
        ]
      ]
    },
    {
      "nodeName": "Join",
      "nodeType": "join",
      "joinOnList": [
        "B",
        "C"
      ]
    },
    {
      "nodeName": "D",
      "nodeType": "decision",
      "decisionCases": {
        "true": [
          {
            "nodeName": "E",
            "nodeType": "rpc"
          }
        ]
      },
      "defaultCase": [
        {
          "nodeName": "F",
          "nodeType": "rpc"
        }
      ]
    }
  ]

2.2.2 鏈路染色

• 鏈路唯一標(biāo)識(shí)  =  業(yè)務(wù)標(biāo)識(shí) + 場景標(biāo)識(shí) + 執(zhí)行標(biāo)識(shí) （三個(gè)標(biāo)識(shí)共同決定“某個(gè)業(yè)務(wù)場景下的某次執(zhí)行”）

• 業(yè)務(wù)標(biāo)識(shí)：賦予鏈路業(yè)務(wù)含義，例如“用戶id”、“活動(dòng)id”等等。

• 場景標(biāo)識(shí)：賦予鏈路場景含義，例如當(dāng)前場景是“邏輯鏈路1”。

• 執(zhí)行標(biāo)識(shí)：賦予鏈路執(zhí)行含義，例如只涉及單次調(diào)用時(shí)，可以直接選擇“traceId”；涉及多次調(diào)用時(shí)則，根據(jù)業(yè)務(wù)邏輯選取多次調(diào)用相同的“公共id”。

• 節(jié)點(diǎn)唯一標(biāo)識(shí)  =  鏈路唯一標(biāo)識(shí) + 節(jié)點(diǎn)名稱 （兩個(gè)標(biāo)識(shí)共同決定“某個(gè)業(yè)務(wù)場景下的某次執(zhí)行中的某個(gè)邏輯節(jié)點(diǎn)”）
• 節(jié)點(diǎn)名稱：DSL中預(yù)設(shè)的節(jié)點(diǎn)唯一名稱，如“A”。

• 當(dāng)“A”節(jié)點(diǎn)觸發(fā)執(zhí)行，則開始在后續(xù)鏈路和節(jié)點(diǎn)中傳遞串聯(lián)標(biāo)識(shí)，隨著業(yè)務(wù)流程的執(zhí)行，逐步完成整個(gè)鏈路的染色。

• 當(dāng)標(biāo)識(shí)傳遞至“E”節(jié)點(diǎn)時(shí)，則表示“D”條件分支的判斷結(jié)果是“true”，同時(shí)動(dòng)態(tài)地將“E”節(jié)點(diǎn)串聯(lián)至已執(zhí)行的鏈路中。

2.2.3 鏈路上報(bào)

2.2.4 鏈路存儲(chǔ)

• 鏈路日志：鏈路單次執(zhí)行中，從開始節(jié)點(diǎn)和結(jié)束節(jié)點(diǎn)的日志中提取的鏈路基本信息，包含鏈路類型、鏈路元信息、鏈路開始/結(jié)束時(shí)間等。

• 節(jié)點(diǎn)日志：鏈路單次執(zhí)行中，已執(zhí)行節(jié)點(diǎn)的基本信息，包含節(jié)點(diǎn)名稱、節(jié)點(diǎn)狀態(tài)、節(jié)點(diǎn)開始/結(jié)束時(shí)間等。

• 業(yè)務(wù)日志：鏈路單次執(zhí)行中，已執(zhí)行節(jié)點(diǎn)中的業(yè)務(wù)日志信息，包含日志級(jí)別、日志時(shí)間、日志數(shù)據(jù)等。

3. 大眾點(diǎn)評(píng)內(nèi)容平臺(tái)實(shí)踐

3.1 業(yè)務(wù)特點(diǎn)與挑戰(zhàn)

• 內(nèi)容的生產(chǎn)方：希望生產(chǎn)的內(nèi)容能在更多的渠道分發(fā)，收獲更多的流量，被消費(fèi)者所喜愛。

• 內(nèi)容的治理方：希望作為“防火墻”過濾出合法合規(guī)的內(nèi)容，同時(shí)整合機(jī)器和人工能力，豐富內(nèi)容屬性。

• 內(nèi)容的消費(fèi)方：希望獲得滿足其個(gè)性化需求的內(nèi)容，能夠吸引其種草，或輔助其做出消費(fèi)決策。

• 統(tǒng)一接入：統(tǒng)一內(nèi)容數(shù)據(jù)模型，對(duì)接不同的內(nèi)容生產(chǎn)方，將異構(gòu)的內(nèi)容轉(zhuǎn)化為內(nèi)容平臺(tái)通用的數(shù)據(jù)模型。

• 統(tǒng)一處理：統(tǒng)一處理能力建設(shè)，積累并完善通用的機(jī)器處理和人工運(yùn)營能力，保證內(nèi)容合法合規(guī)，屬性豐富。

• 統(tǒng)一輸出：統(tǒng)一輸出門檻建設(shè)，對(duì)接不同的內(nèi)容消費(fèi)方，為下游提供規(guī)范且滿足其個(gè)性化需求的內(nèi)容數(shù)據(jù)。

• 業(yè)務(wù)場景多：業(yè)務(wù)流程涉及多個(gè)不同的業(yè)務(wù)場景，且邏輯各異，例如實(shí)時(shí)接入、人工運(yùn)營、分發(fā)重算等圖中列出的部分場景。

• 邏輯節(jié)點(diǎn)多：業(yè)務(wù)場景涉及眾多的邏輯節(jié)點(diǎn)，且不同內(nèi)容類型節(jié)點(diǎn)各異，例如同樣是實(shí)時(shí)接入場景，筆記內(nèi)容和直播內(nèi)容在執(zhí)行的邏輯節(jié)點(diǎn)上存在較大差異。

• 觸發(fā)執(zhí)行多：業(yè)務(wù)場景會(huì)被多次觸發(fā)執(zhí)行，且由于來源不同，邏輯也會(huì)存在差異，例如筆記內(nèi)容被作者編輯、被系統(tǒng)審核等等后，都會(huì)觸發(fā)實(shí)時(shí)接入場景的重新執(zhí)行。

3.2 實(shí)踐與成果

3.2.1 實(shí)踐

• 模仿slf4j-api：工具包的實(shí)現(xiàn)在slf4j框架之上，并模仿slf4j-api對(duì)外提供相同的API，因此使用方無學(xué)習(xí)成本。
• 屏蔽內(nèi)部細(xì)節(jié)，內(nèi)部封裝一系列的鏈路日志上報(bào)邏輯，屏蔽染色等細(xì)節(jié)，降低使用方的開發(fā)成本。
• 上報(bào)判斷：

• 判斷鏈路標(biāo)識(shí)：無標(biāo)識(shí)時(shí)，進(jìn)行兜底的日志上報(bào)，防止日志丟失。

• 判斷上報(bào)方式：有標(biāo)識(shí)時(shí)，支持日志和RPC中轉(zhuǎn)兩種上報(bào)方式。

• 日志組裝：實(shí)現(xiàn)參數(shù)占位、異常堆棧輸出等功能，并將相關(guān)數(shù)據(jù)組裝為Trace對(duì)象，便于進(jìn)行統(tǒng)一的收集和處理。
• 異常上報(bào)：通過ErrorAPI主動(dòng)上報(bào)異常，兼容原日志上報(bào)中ErrorAppender。

• 日志上報(bào)：適配Log4j2日志框架實(shí)現(xiàn)最終的日志上報(bào)。

  // 替換前：原日志上報(bào)
  LOGGER.error("update struct failed, param:{}", GsonUtils.toJson(structRequest), e);
  // 替換后：全鏈路日志上報(bào)
  TraceLogger.error("update struct failed, param:{}", GsonUtils.toJson(structRequest), e);

  public Response realTimeInputLink(long contentId) {
    // 鏈路開始：傳遞串聯(lián)標(biāo)識(shí)（業(yè)務(wù)標(biāo)識(shí) + 場景標(biāo)識(shí) + 執(zhí)行標(biāo)識(shí)）
    TraceUtils.passLinkMark("contentId_type_uuid");
    // ...
    // 本地調(diào)用(API上報(bào)節(jié)點(diǎn)日志)
    TraceUtils.reportNode("contentStore", contentId, StatusEnums.RUNNING)
    contentStore(contentId);
    TraceUtils.reportNode("contentStore", structResp, StatusEnums.COMPLETED)
    // ...
    // 遠(yuǎn)程調(diào)用
    Response processResp = picProcess(contentId);
    // ...
  }
  // AOP上報(bào)節(jié)點(diǎn)日志
  @TraceNode(nodeName="picProcess")
  public Response picProcess(long contentId) {
    // 圖片處理業(yè)務(wù)邏輯
    // 業(yè)務(wù)日志數(shù)據(jù)上報(bào)
    TraceLogger.warn("picProcess failed, contentId:{}", contentId);
  }

3.2.2 成果

• 接入成本低：DSL配置配合簡單的日志上報(bào)改造，即可快速接入。

• 追蹤范圍廣：任意一條內(nèi)容的所有邏輯鏈路，均可被追蹤。

• 使用效率高：管理后臺(tái)支持鏈路和日志的可視化查詢展示，簡單快捷。

4. 總結(jié)與展望

5. 參考文獻(xiàn)

• [1] Metrics, tracing, and logging
• [2] ELK Stack: Elasticsearch, Logstash, Kibana | Elastic
• [3] Dapper, a Large-Scale Distributed Systems Tracing Infrastructure
• [4] OpenZipkin · A distributed tracing system
• [5] 分布式會(huì)話跟蹤系統(tǒng)架構(gòu)設(shè)計(jì)與實(shí)踐
• [6] 鳳凰架構(gòu)-可觀測性
• [7] 萬字破解云原生可觀測性

6. 作者及團(tuán)隊(duì)簡介

往期推薦

2022 年了，我才開始學(xué) TypeScript ，晚嗎？（7.5k字總結(jié)）

如何為 Vue3 組件標(biāo)注 TS 類型，看這個(gè)就夠了！

超大體量項(xiàng)目，微前端落地方案，看完后悔來找我

最后

• 歡迎加我微信，拉你進(jìn)技術(shù)群，長期交流學(xué)習(xí)...
  

• 歡迎關(guān)注「前端Q」,認(rèn)真學(xué)前端，做個(gè)專業(yè)的技術(shù)人...

點(diǎn)個(gè)在看支持我吧