DeepFlow云原生可觀測性平臺

DeepFlow 是一款面向云原生開發(fā)者的高度自動化的可觀測性平臺。使用 eBPF、WASM、OpenTelemetry 等新技術(shù)，DeepFlow 創(chuàng)新地實現(xiàn)了 AutoTracing、AutoMetrics、AutoTagging、SmartEncoding 等核心機制，極大的避免了埋點插碼，顯著的降低了后端數(shù)倉的資源開銷。基于 DeepFlow 的可編程性和開放接口，開發(fā)者可以快速將其融入到自己的可觀測性技術(shù)棧中。

主要特性

• 全棧：DeepFlow 使用 eBPF 和 cBPF 技術(shù)實現(xiàn)的 AutoMetrics 機制，可以自動采集任何應(yīng)用的 RED（Request、Error、Delay）性能指標，精細至每一次應(yīng)用調(diào)用，覆蓋從應(yīng)用到基礎(chǔ)設(shè)施的所有軟件技術(shù)棧。在云原生環(huán)境中，DeepFlow 的 AutoTagging 機制自動發(fā)現(xiàn)服務(wù)、實例、API 的屬性信息，自動為每個觀測數(shù)據(jù)注入豐富的標簽，從而消除數(shù)據(jù)孤島，并釋放數(shù)據(jù)的下鉆能力。
• 全鏈路：DeepFlow 使用 eBPF 技術(shù)創(chuàng)新的實現(xiàn)了 AutoTracing 機制，在云原生環(huán)境中自動追蹤任意微服務(wù)、基礎(chǔ)設(shè)施服務(wù)的分布式調(diào)用鏈。在此基礎(chǔ)上，通過集成并自動關(guān)聯(lián)來自 OpenTelemetry 的數(shù)據(jù)，DeepFlow 實現(xiàn)了完整的全棧、全鏈路分布式追蹤，消除了所有盲點。
• 高性能：DeepFlow 創(chuàng)新的 SmartEncoding 標簽注入機制，能夠?qū)?shù)據(jù)存儲性能提升 10 倍，從此告別高基數(shù)和采樣的焦慮。DeepFlow 使用 Rust 實現(xiàn) Agent，擁有極致處理性能的同時保證內(nèi)存安全。DeepFlow 使用 Golang 實現(xiàn) Server，重寫了 Golang 的 map、pool 基礎(chǔ)庫，數(shù)據(jù)查詢和內(nèi)存 GC 均有近 10 倍的性能提升。
• 可編程：DeepFlow 目前支持了對 HTTP(S)、Dubbo、MySQL、PostgreSQL、Redis、Kafka、MQTT、DNS 協(xié)議的解析，并將保持迭代增加更多的應(yīng)用協(xié)議支持。除此之外，DeepFlow 基于 WASM 技術(shù)提供了可編程接口，讓開發(fā)者可以快速具備對私有協(xié)議的解析能力，并可用于構(gòu)建特定場景的業(yè)務(wù)分析能力，例如 5GC 信令分析、金融交易分析、車機通信分析等。
• 開放接口：DeepFlow 擁抱開源社區(qū)，支持接收廣泛的可觀測數(shù)據(jù)源，并利用 AutoTagging 和 SmartEncoding 提供高性能、統(tǒng)一的標簽注入能力。DeepFlow 支持插件式的數(shù)據(jù)庫接口，開發(fā)者可自由增加和替換最合適的數(shù)據(jù)庫。DeepFlow 為所有觀測數(shù)據(jù)提供統(tǒng)一的標準 SQL 查詢能力，便于使用者快速集成到自己的可觀測性平臺中。
• 易于維護：DeepFlow 的內(nèi)核僅由 Agent、Server 兩個組件構(gòu)成，將復(fù)雜度隱藏在進程內(nèi)部，將維護難度降低至極致。DeepFlow Server 集群可對多個 Kubernetes 集群、傳統(tǒng)服務(wù)器集群、云服務(wù)器集群進行統(tǒng)一監(jiān)控，且無需依賴任何外部組件即可實現(xiàn)水平擴展與負載均衡。

架構(gòu)