<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          重磅!RocketMQ 5.0最新消息!

          共 4271字,需瀏覽 9分鐘

           ·

          2021-10-29 21:34



          引言:從“消息”到“消息、事件、流”的大融合

          Aliware


          消息隊列作為當代應(yīng)用的通信基礎(chǔ)設(shè)施,微服務(wù)架構(gòu)應(yīng)用的核心依賴,通過異步解耦能力讓用戶更高效地構(gòu)建分布式、高性能、彈性健壯的應(yīng)用程序。

          從數(shù)據(jù)價值和業(yè)務(wù)價值角度來看,消息隊列的價值不斷深化。消息隊列中流動的業(yè)務(wù)核心數(shù)據(jù)涉及集成傳輸、分析計算和處理等不同環(huán)節(jié)與場景。伴隨著不斷演進,我們可以預(yù)見消息隊列勢必在數(shù)據(jù)通道、事件集成驅(qū)動、分析計算等場景不斷產(chǎn)生新價值,創(chuàng)造新的“化學反應(yīng)”。


          RocketMQ 誕生于阿里巴巴內(nèi)部電商系統(tǒng),發(fā)展至今日,其核心架構(gòu)經(jīng)歷了多次關(guān)鍵演進:

          早在 2007 年,淘寶電商系統(tǒng)做服務(wù)化拆分的時候,就誕生了第一代消息服務(wù) Notify,這是 RocketMQ 最早雛形。Notify 采用了關(guān)系型數(shù)據(jù)庫作為存儲,使用推模式。在阿里淘寶這種高頻交易場景中,具有非常廣泛地應(yīng)用。

          在 2007-2013 年期間,隨著阿里集團業(yè)務(wù)發(fā)展,不僅需要交易場景異步調(diào)用,同時需要支持大量傳輸埋點數(shù)據(jù)、數(shù)據(jù)同步。此時,內(nèi)部衍生出 MetaQ 以及 RocketMQ3.0 版本,這兩個版本開始探索自研存儲引擎,采用了自研專有消息存儲,支持了單機海量 Topic,并前瞻性地去除了 Zookeeper 等組件的外部依賴。在十年后的今天,我們看到去各種 keeper 已成為整個消息領(lǐng)域的發(fā)展主流。

          經(jīng)歷了前三代的內(nèi)部業(yè)務(wù)打磨后,阿里巴巴積極參與開源并將 RocketMQ3.0 貢獻到開源社區(qū),并于 2017 年正式從 Apache 孵化器畢業(yè),成為中國首個非 Hadoop 生態(tài)體系的 Apache 社區(qū)頂級項目。此后,RocketMQ 也開始正式服務(wù)于阿里云企業(yè)客戶。秉承開源、商業(yè)、內(nèi)部三位一體發(fā)展策略,18 年發(fā)布的 4.x 版,在高可靠低延遲方面重點優(yōu)化,構(gòu)建了全新的低延遲存儲引擎和多場景容災(zāi)解決方案、并提供了豐富的消息特性。這也使得 RocketMQ 成為金融級的業(yè)務(wù)消息首選方案。

          上個月社區(qū)發(fā)布了 RocketMQ5.0-preview 版,正式宣告 5.0 的到來。RocketMQ5.0 將不再局限于消息解耦的基本場景,更是通過統(tǒng)一內(nèi)核、存儲的優(yōu)勢,提供消息、事件、流一體化的處理能力。


          回顧 RocketMQ 發(fā)展的十余年,良好的社區(qū)環(huán)境和商業(yè)支持使得大量企業(yè)開發(fā)者可以很方便的跟進業(yè)務(wù)特點和訴求進行選型和驗證。在社區(qū)活躍影響力方面,RocketMQ 社區(qū)項目收獲 15000+Star,活躍的貢獻者有 400+ 位,多語言、生態(tài)連接等周邊活躍項目 30+ 個,深受社區(qū)開發(fā)者歡迎。在應(yīng)用規(guī)模方面,RocketMQ 作為金融級業(yè)務(wù)消息方案,積累了互聯(lián)網(wǎng)游戲、在線教育、金融證券、銀行、政企能源、汽車出行等眾多行業(yè)數(shù)以萬計的企業(yè)客戶。同時,在阿里巴巴內(nèi)部擔負業(yè)務(wù)核心鏈路,每天流轉(zhuǎn)萬億級消息流量,扛過了歷屆雙十一的零點峰值。在行業(yè)評測方面,RocketMQ 也多次斬獲大獎。



          官宣:阿里云新一代 RocketMQ “消息、事件、流”融合處理平臺

          Aliware


          今天發(fā)布阿里云消息隊列 RocketMQ 版 5.0,我們稱之為一站式“消息、事件、流”融合處理平臺。

          新版本核心誕生兩大新亮點,首先是消息核心場景的擴展和布局,RocketMQ 5.0 不再局限于消息解耦場景,將全新布局事件驅(qū)動和消息流式處理場景;其次則是一站式融合處理的技術(shù)架構(gòu)和趨勢。


          “消息、事件、流”一站式融合處理的技術(shù)架構(gòu)可以實現(xiàn)一份消息存儲,支持消息的流式計算、異步投遞、集成驅(qū)動多種場景,極大地降低業(yè)務(wù)人員運維多套系統(tǒng)的技術(shù)復(fù)雜度和運維成本。可以說,無論是微服務(wù)的指令調(diào)用、異步通知,還是 CDC 變更日志、行為埋點數(shù)據(jù),亦或是資源運維、審計事件,統(tǒng)一的 RocketMQ5.0 產(chǎn)品棧都能統(tǒng)一處理。


          重大發(fā)布一:RocketMQ 基礎(chǔ)架構(gòu)全新升級

          Aliware


          首先,最重要的升級是阿里云 RocketMQ 的技術(shù)架構(gòu)全面煥新。


          全新的 RocketMQ5.0 版將通用的存儲邏輯下沉,集中解決消息存儲的多副本、低延遲、海量隊列分區(qū)等技術(shù)問題,將上層的消息處理和剝離出完全的無狀態(tài)計算層,主要完成協(xié)議適配、權(quán)限管理、消費狀態(tài)、可觀測運維體系支持。得益于存算分離的架構(gòu)設(shè)計,從 SDK 接入到線上運維全鏈路帶來全面提升:

          1. 輕量版 SDK 的開放和全鏈路可觀測系統(tǒng)的提升:同時支持 4.x 通信協(xié)議和全新的 gRPC 通信協(xié)議,并內(nèi)置 OpenTelemetry 埋點支持,新版本 SDK 新增了 10 余個指標埋點。

          2. 消息級負載均衡:新版本 SDK 不再參與實際存儲隊列的負載均衡,消息負載均衡將更加輕量,以單條消息為調(diào)度最小單元。

          3. 多網(wǎng)絡(luò)訪問支持:新版本支持單一實例同時暴露公網(wǎng)、內(nèi)網(wǎng)等訪問形式,方便客戶多網(wǎng)絡(luò)接入訪問。

          4. 海量分級存儲:新版本開放分級存儲歷史消息保存能力,消息低成本無大小限制,最長保存 30 天。冷熱數(shù)據(jù)進行分離設(shè)計,極大降低消費歷史消息對實例的性能影響。



          重大發(fā)布二:RocketMQ Streaming 云上最佳實踐——消息ETL

          Aliware


          消息基礎(chǔ)架構(gòu)的能力提升之外,阿里云 RocketMQ 在 Streaming 流式處理場景推出了輕量級消息 ETL 功能。


          用戶在數(shù)據(jù)庫變更、終端數(shù)據(jù)上報、后臺埋點日志等場景產(chǎn)生的消息,典型的消費場景就是數(shù)據(jù)清洗轉(zhuǎn)化,同時再存儲到外部的存儲和離線分析、在線分析系統(tǒng)中。傳統(tǒng)實現(xiàn)方案需要搭建 Flink 等重量級實時計算服務(wù)或者自建消費應(yīng)用做消息處理。而使用商業(yè)版 RocketMQ ETL 功能,簡單控制臺配置即可實現(xiàn)消息的清洗和轉(zhuǎn)化。RocketMQ ETL 功能有三大優(yōu)勢:

          1. 輕量無依賴:作為阿里云消息原生功能,使用時不需要部署外部計算服務(wù)或消費程序,方案更輕量。

          2. 開發(fā)門檻低:內(nèi)置常見清洗轉(zhuǎn)化模板,滿足絕大多數(shù)消息內(nèi)容處理需求,并支持用戶快速編寫自定義函數(shù)來支持特殊的業(yè)務(wù)邏輯。整體開發(fā)成本非常低,1 小時即可完成業(yè)務(wù)上線。

          3. Serverless 彈性:無需預(yù)先估算容量,采取 Serverless 無服務(wù)器模式,實現(xiàn)按需彈性伸縮。


          重大發(fā)布三:EDA 云上最佳實踐——事件中心 EventBridge

          Aliware


          本次 RocketMQ 最后一個發(fā)布點是在事件驅(qū)動的業(yè)務(wù)場景的布局和演進。早在 2018 年,Gartner 評估報告將 EDA(Event-Driven-Architecture) 列為十大戰(zhàn)略技術(shù)趨勢之一,事件驅(qū)動架構(gòu)將成為未來微服務(wù)主流。我們首先下一個定義:

          事件驅(qū)動其本質(zhì)是對消息驅(qū)動的再升級,是企業(yè)IT架構(gòu)深度演進的下一個必然階段。


          事件驅(qū)動架構(gòu)和消息驅(qū)動架構(gòu)的區(qū)別和關(guān)聯(lián)主要集中于以下三點:

          1. EDA 更加強調(diào)深層次解耦:消息驅(qū)動是同一業(yè)務(wù)、組織系統(tǒng)內(nèi)不同組件之間在技術(shù)架構(gòu)層面的調(diào)用解耦,其信息封裝和處理都是有預(yù)期、預(yù)定義的。事件驅(qū)動適配是更寬泛的業(yè)務(wù)、組織系統(tǒng),基于事件的解耦上下游之間無需有預(yù)期和行為定義,上下游統(tǒng)一遵循標準化的規(guī)范,這是更深度的解耦。

          2. EDA 更加強調(diào)連接能力:消息驅(qū)動更多是單一系統(tǒng)內(nèi)的調(diào)用,而事件驅(qū)動往往會涉及到不同的地域、賬戶主體以及三方 SaaS 的協(xié)同,事件驅(qū)動的一大特征就是生態(tài)的強連接能力。

          3. EDA 更加強調(diào) Serverless 低代碼開發(fā):類比于消息和微服務(wù)的協(xié)同關(guān)系,未來業(yè)務(wù)架構(gòu) Serverless 化的大趨勢會推動業(yè)務(wù)開發(fā)模式逐步轉(zhuǎn)向低代碼配置化。事件驅(qū)動的另一大特征就是低代碼開發(fā),基于豐富的工具能力,業(yè)務(wù)側(cè)不需要像消息驅(qū)動一樣編寫大量的生產(chǎn)消費代碼。


          因此,阿里云統(tǒng)一事件中心 EventBridge 產(chǎn)品帶來如下能力:

          1. 統(tǒng)一標準化的事件集成生態(tài):作為阿里云事件中心,集成 80 余款云產(chǎn)品的業(yè)務(wù)事件,支持 800 多種事件類型,用戶使用 EventBridge 可以一次性管理所有云產(chǎn)品資源的變更、操作使用事件,避免對接多個產(chǎn)品接口的重復(fù)性勞動。

          2. 全球事件互通網(wǎng)絡(luò):貫徹事件驅(qū)動強連接的屬性能力,本次發(fā)布了全球事件互通網(wǎng)絡(luò),首批支持國內(nèi)五大地域事件互通。企業(yè)客戶簡單配置即可實現(xiàn)跨賬號、跨地域、跨網(wǎng)絡(luò)的事件聚合和流轉(zhuǎn)。

          3. Serverless 低代碼開發(fā):內(nèi)置十余種事件目標和處理模板,涵蓋了大多數(shù)業(yè)務(wù)場景,客戶簡單配置、低代碼,無需部署服務(wù)即可完成事件的驅(qū)動和處理。



          面向未來:堅定推動“消息、事件、流”大融合的發(fā)展

          Aliware


          RocketMQ5.0 的發(fā)布標志著阿里云消息正式從消息領(lǐng)域正式邁向了“消息、事件、流”場景大融合的新局面。未來阿里云消息產(chǎn)品的演進也將繼續(xù)圍繞消息、事件、流核心場景而開展。消息基礎(chǔ)架構(gòu)本身也必將步伐不斷,繼續(xù)朝著 Serverless 彈性、強容災(zāi)能力、可觀測免運維方向推進,給客戶帶來高性能、高可靠、強容災(zāi)的高 SLA 服務(wù);并在 Streaming 的場景會基于客戶業(yè)務(wù)訴求,聯(lián)合生態(tài)產(chǎn)品持續(xù)推出更多的消息處理計算服務(wù);打造面向未來的企業(yè)集成模式,聯(lián)合生態(tài)伙伴和開源社區(qū)大力推動事件驅(qū)動進一步發(fā)展。
          ··············? END? ··············

          也許你還想看
          ? |?我在 B 站淘了 2 個 Java 實戰(zhàn)項目! 小破站,YYDS!
          ??|?我常用的20+個學習編程的網(wǎng)站!蕪湖起飛!
          ? |?1w+字的 Dubbo 面試題/知識點總結(jié)?。?021 最新版)
          ? |?7年前,24歲,出版了一本 Redis 神書
          ? |?京東二面:為什么需要分布式ID?你項目中是怎么做的?
          ? |?再見 Spring Task,這個定時任務(wù)框架真香!
          ? |?一鍵生成數(shù)據(jù)庫文檔,堪稱數(shù)據(jù)庫界的Swagger
          ? |?來看看這個超好用的項目腳手架吧!5分鐘搭建一個Spring Boot 前后端分離系統(tǒng)!
          ? |?看了這些 Java 八股文視頻,我直呼好家伙?。。?/a>

          我是 Guide哥,一個工作2年有余,接觸編程已經(jīng)6年有余的程序員。大三開源 JavaGuide,目前已經(jīng) 100k+ Star。未來幾年,希望持續(xù)完善 JavaGuide,爭取能夠幫助更多學習 Java 的小伙伴!共勉!凎!點擊即可了解我的個人經(jīng)歷


          瀏覽 64
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  99re这里只有 | 人人草免费公开 | 看看操逼的 | 无码国产精品一区二区色情男同 | 插菊综合网 |