Dapr 知多少 | 分布式應用運行時


Intro
Dapr 官方團隊已于最近(2021.1.17)正式發(fā)布Dapr v1.0,Dapr已正式生產(chǎn)可用,可以部署到自托管環(huán)境或 Kubernetes 集群。對于絕大多數(shù)開發(fā)者來說,想必對Dapr只是有所耳聞,而具體是什么(What),可以解決什么樣的問題(Why&How),有怎樣的應用場景(Where),并不知悉。本文就嘗試簡要梳理下Dapr,并嘗試回答以上問題。
What's Dapr
Distributed Application Runtime. An event-driven, portable runtime for building microservices on cloud and edge.分布式應用運行時。一個事件驅動、可移植的運行時用于在云上和邊緣計算上構建微服務。
以上是Dapr官方GitHub倉庫上對Dapr的簡介。文字雖短,口氣卻很大,因為其除了涵蓋了當前所有的技術熱點:分布式、云、微服務,還自我標榜為:分布式應用運行時。分布式應用我們或多或少有些了解,運行時也聽到不少,比如常見的語言運行時:Java 運行時,.NET 運行時,Go 運行時等等,那運行時又是什么東西?簡要來說:運行時是程序運行依賴的執(zhí)行環(huán)境。以.NET 程序運行時CLR為例,它為.NET應用程序提供了一個托管的代碼執(zhí)行環(huán)境負責應用程序在整個執(zhí)行期間的內存管理、線程管理、安全管理、遠程管理、即時編譯等。
那分布式應用運行時,就是提供分布式應用運行所依賴的的執(zhí)行環(huán)境。那運行分布式應用需要哪些環(huán)境依賴呢?回答這個問題,我們要先思考開發(fā)分布式應用的挑戰(zhàn)是什么?明確了挑戰(zhàn),那就找到了答案。
從單機到分布式,是追求更快和更高的性能,但也帶來了更多的不確定性。比如,不確定計算機何時異常,不確定磁盤何時損壞,不確定網(wǎng)絡通信的延遲,也不確定消息是否被正常消費。這些不確定性構成了分布式應用的挑戰(zhàn),簡而言之:
異構的機器與網(wǎng)絡:穩(wěn)定性問題 普遍的節(jié)點故障:可靠性問題 不可靠的網(wǎng)絡:一致性問題
面對這些挑戰(zhàn),業(yè)界提出了諸多的分布式理論、協(xié)議,如CAP定理,BASE理論,一致性協(xié)議2PC/3PC/ZAB,來保證系統(tǒng)的正常運行。雖然問題貌似是有了解決方案,但是應用的復雜度升高了。應用除了需要實現(xiàn)業(yè)務需求,還要兼顧非業(yè)務需求,集成諸如服務發(fā)現(xiàn)、負載均衡、失效轉移、動態(tài)擴容、數(shù)據(jù)分片、調用鏈路監(jiān)控等分布式系統(tǒng)的核心功能,對應用有很強的侵入性,這就是以Spring Cloud為代表的微服務框架的常見做法。
那如何解決侵入性的問題呢?這個問題隨著容器編排技術的成熟有了新的解法。Kubernetes可以不侵入應用層,在容器層解決問題,比如K8S Service就具有服務發(fā)現(xiàn)、負載均衡的能力,HPA具有動態(tài)擴容的能力。隨著K8S的快速發(fā)展,云原生的概念,也就越來越深入人心,那如何利用好K8S提供的基座能力,將更多的分布式能力下沉,讓應用開發(fā)回歸業(yè)務呢?其中Service Mesh提出的Sidecar模式,就很好的解決了微服務架構中網(wǎng)絡通信的問題。Sidecar主要就是用來處理諸如服務發(fā)現(xiàn)、負載均衡、請求熔斷等一系列非業(yè)務需求,應用在部署時動態(tài)插入Sidecar,服務間的通信通過Sidecar進行代理,以完成對服務間網(wǎng)絡通信的接管。
到這里,微服務開發(fā)在Service Mesh的幫助下,已經(jīng)漸漸回歸業(yè)務本身,讓更多的開發(fā)者看到了一絲曙光。It's enough? 來看下Bilgin Ibryam在Multi-Runtime Microservices Architecture文章中提及的分布式應用的四大需求:

從上圖可以看出,除了網(wǎng)絡(Networking)外,生命周期(Lifecycle)、狀態(tài)(State)、捆綁(Binding)也是分布式應用要解決的問題之一。網(wǎng)絡問題可以借由Service Mesh 比如Istio予以解決。那其他三個該如何解決呢?又要應用自行開發(fā)集成嗎?顯然不符合應用回歸業(yè)務本身的訴求。這時,Dapr登場了,Dapr提出的分布式應用運行時就是實現(xiàn)了以上四個需求并將其下沉作為分布式應用的運行環(huán)境。
簡而言之:Dapr將分布式能力進行封裝下沉作為運行時以簡化分布式應用開發(fā)的技術復雜度。
How Dapr Works
那Dapr如何簡化分布式應用的開發(fā)呢?下面我們來看一看Dapr的主要特性。
一圖勝千言:Dapr通過以HTTP/gRPC API這種與語言無關的方式暴露封裝的分布式能力供應用調用,從而支持使用任意語言或框架進行開發(fā)集成。目前官方已經(jīng)提供了Go,Node,Python,.NET,Java, C++,PHP,Rust,Javascript的Sdk,簡化Dapr的集成。
其中Dapr的核心構建塊(Building Block)就是用來提供各種不同的分布式能力,我們來分別看一看。
1. Service-to-service invocation(服務調用)
提到跨服務方法調用,這個大家肯定會想,這簡單啊,不就是服務暴露API就好了嘛。是,但不完全是。比如nodeapp暴露了一個API:http://10.0.0.2:8000/neworder,按照傳統(tǒng)的方式,直接HTTP POST這個API訪問就得了,但在Dapr中,其提供了服務間方法調用的接口規(guī)范,需要按照POST/GET/PUT/DELETE http://localhost:的格式進行訪問。那假設pythonapp需要訪問nodeapp的方法,就需要POST一個請求到http://localhost:3500/v1.0/invoke/nodeapp/method/neworder。你可能會想為何多此一舉呢?此舉的意義何在呢?目的很簡單,就是為了實現(xiàn)對服務間網(wǎng)絡通信的控制以完成諸如服務發(fā)現(xiàn)、流量控制、重試熔斷、安全訪問等,而這相關的網(wǎng)絡控制功能就是集成在Dapr的Sidecar中,以對應用透明的方式集成進來的。整體的服務調用流程如下圖所示:
PS:如果對Istio熟悉的同學需要注意,二者雖然都是通過Sidecar的模式進行網(wǎng)絡控制,但二者是有有區(qū)別的。Dapr是以API的方式,而Istio是以代理的方式(不改變HTTP請求URI)。
2. State management(狀態(tài)管理)
在進行微服務開發(fā)時,繞不開的話題就是服務間的狀態(tài)共享、并發(fā)一致性問題。對于狀態(tài)共享,你可能會說,各個服務連接到同一個Redis實例就OK了。是,但不得不考慮潛在的更新沖突的問題。Dapr 以更友好的HTTP API的方式進行狀態(tài)的存儲和讀取,同時支持通過ETags進行并發(fā)控制,并支持通過選項設置并發(fā)和一致性行為。
存儲: POST http://localhost:/v1.0/state/ 讀取: GET http://localhost:/v1.0/state/ / 刪除: DELETE http://localhost:/v1.0/state/ /
以下是保存狀態(tài)的舉例:
concurrency用于指定并發(fā)選項:first-write-wins/last-write-wins(以第一次寫入為準/以最后一次寫入為準),默認以最后一次寫入為準。consistency用于指定一致性選項:strong/eventual(強一致性/最終一致性),默認為最終一致性。
curl?-X?POST?http://localhost:3500/v1.0/state/starwars?\
??-H?"Content-Type:?application/json"?\
??-d?'[
????????{
??????????"key":?"weapon",
??????????"value":?"DeathStar",
??????????"etag":?"xxxxx",
??????????"options":?{
????????????"concurrency":?"first-write",
????????????"consistency":?"strong"
??????????}
????????}
??????]'
目前支持使用Azure CosmosDB、 Azure SQL Server、 PostgreSQL,、AWS DynamoDB、Redis 作為狀態(tài)存儲介質。
3. Publish and subscribe(消息發(fā)布及訂閱)
發(fā)布訂閱模式,老生常談了,主要是用于微服務間基于消息進行相互通信。你可能也會說,這也要拿出來說,我搞個RabbitMQ/RocketMQ就是了。是的,但我還是要說,Dapr提供了一致性的消息發(fā)布、訂閱API,而無需關注具體使用的是何種Message Broker,從而和底層基礎設施解耦。
發(fā)布: POST http://localhost:/v1.0/publish/ / [? ] 獲取可訂閱主題: GET http://localhost:/dapr/subscribe 訂閱: POST http://localhost:/

4. Resource bindings and triggers (資源綁定及事件觸發(fā))
Dapr的Bindings與Azure Functions很類似,其是建立在事件驅動架構的基礎之上的。通過建立觸發(fā)器與資源的綁定,可以從任何外部源(例如數(shù)據(jù)庫,隊列,文件系統(tǒng)等)接收和發(fā)送事件,而無需借助消息隊列,即可實現(xiàn)靈活的業(yè)務場景。Dapr的Bindings分為兩種:
Input Bindings(輸入綁定):當外部資源的事件發(fā)生時,借助輸入綁定,你的應用即可通過特定的API: POST http://localhost:收到外部資源的事件,用于處理特定邏輯。/ Output Bindings(輸出綁定):輸出綁定允許你調用外部資源。比如,在訂單處理場景中,在訂單創(chuàng)建成功后,可以將訂單信息通過Dapr的綁定API: POST/PUT http://localhost:輸出到Kafka特定隊列上。/v1.0/bindings/

5. Actors
Dapr中的Actor模型,和Orleans的Virtual Actor一脈相傳,之前寫過一篇文章.NET分布式框架 | Orleans 知多少介紹過。簡單來講:Actor模型 = 狀態(tài) + 行為 + 消息。一個應用/服務由多個Actor組成,每個Actor都是一個獨立的運行單元,擁有隔離的運行空間,在隔離的空間內,其有獨立的狀態(tài)和行為,不被外界干預,Actor之間通過消息進行交互,而同一時刻,每個Actor只能被單個線程執(zhí)行,這樣既有效避免了數(shù)據(jù)共享和并發(fā)問題,又確保了應用的伸縮性。
Actor模型大大簡化了并發(fā)編程的復雜度,Dapr在Actor運行時中提供了許多功能,包括并發(fā)控制,狀態(tài)管理,生命周期管理如Actor的激活/停用以及用于喚醒Actor的Timer(計時器)和Reminder(提醒)。這些功能同樣也是通過API的方式予以提供。
調用Actor 方法: POST/GET/PUT/DELETE http://localhost:3500/v1.0/actors// /method/ 創(chuàng)建 Timer: POST/PUT http://localhost:3500/v1.0/actors// /timers/ 創(chuàng)建 Reminder: POST/PUT http://localhost:3500/v1.0/actors// /reminders/
6. Observability(遙測)
Dapr記錄指標,日志,鏈路以調試和監(jiān)視Dapr和用戶應用的運行狀況。Dapr支持分布式跟蹤,其使用W3C跟蹤上下文標準和開放式遙測技術,可以輕松地診斷在生產(chǎn)環(huán)境中服務間的網(wǎng)絡調用,并發(fā)送到不同的監(jiān)視工具,如Prometheus。
7. Secrets(安全)
Dapr 提供了Secret管理,不過不同于K8S中的Secret,其支持與公有云和本地的Secret存儲集成,以供應用檢索使用。
What Can We Do With Dapr
了解了Dapr是什么,以及其提供的特性,那Dapr的應用場景就一目了然了。也就是官網(wǎng)首頁的Slogan:Simplify cloud-native application development--Focus on your application’s core logic and keep your code simple and portable。簡化云原生應用的開發(fā),確保應用專注于業(yè)務,并保證代碼簡單可移植。
因此,在考慮云原生應用開發(fā)的技術選型時,盡情嘗試吧,目前在國內阿里云也已采用。
Last
在云原生如火如荼發(fā)展之際,Dapr V1.0 的正式發(fā)布,為開發(fā)者指明了云原生時代微服務的開發(fā)方向。相信Dapr 在未來的微服務架構選型中必將占有一席之地!
參考:
什么是分布式系統(tǒng),如何學習分布式系統(tǒng)
Multi-Runtime Microservices Architecture
【推薦】.NET Core開發(fā)實戰(zhàn)視頻課程?★★★
.NET Core實戰(zhàn)項目之CMS 第一章 入門篇-開篇及總體規(guī)劃
【.NET Core微服務實戰(zhàn)-統(tǒng)一身份認證】開篇及目錄索引
Redis基本使用及百億數(shù)據(jù)量中的使用技巧分享(附視頻地址及觀看指南)
.NET Core中的一個接口多種實現(xiàn)的依賴注入與動態(tài)選擇看這篇就夠了
用abp vNext快速開發(fā)Quartz.NET定時任務管理界面
在ASP.NET Core中創(chuàng)建基于Quartz.NET托管服務輕松實現(xiàn)作業(yè)調度
