Kafka常見問題&學(xué)習(xí)路徑&源碼閱讀小結(jié) | 寫在Kafka3.0發(fā)布之際
嚴(yán)格來說，這篇文章也不是今天寫的。是之前斷斷續(xù)續(xù)寫在了幾篇文章中。
2021年9月21日，隨著Kafka3.0的發(fā)布，Kafka在「分布式流處理平臺」這個目標(biāo)上的努力進(jìn)一步得到加強(qiáng)！Kafka不滿足于「消息引擎」的定位，正式基于這樣的定位，Kafka 社區(qū)于 0.10.0.0 版本正式推出了流處理組件 Kafka Streams，也正是從這個版本開始，Kafka 正式"變身"為分布式的流處理平臺，而不僅僅是消息引擎系統(tǒng)了。
Kafka不僅是消息引擎系統(tǒng)，也是分布式流處理平臺。
在某些場景，可以棄用Flink、Spark這樣的計算引擎。借助Kafka Stream輕松實現(xiàn)數(shù)據(jù)處理。
那么我們在學(xué)習(xí)Kafka的時候應(yīng)該從哪些方面入手？
我們在學(xué)習(xí)Kafka的時候，到底在學(xué)習(xí)什么？
我在這篇《我們在學(xué)習(xí)Kafka的時候，到底在學(xué)習(xí)什么？》這篇文章中總結(jié)了整體學(xué)習(xí)Kafka的方法和路徑。
分別從背景、核心概念、核心原理、源碼閱讀、實際應(yīng)用等。方面詳細(xì)的講解了學(xué)習(xí)路徑和方法。各位讀者需要根據(jù)自己的實際情況針對性的去學(xué)習(xí)其中的某一個部分。
這部分特別強(qiáng)調(diào)了一下Kafka Stream這個模塊。正是Kafka Stream的出現(xiàn)使得Kafka的定位從原來的分布式、分區(qū)、有備份的提交日志服務(wù)變成了完整的分布式消息引擎和流式計算處理引擎。
Kafka源碼閱讀的一些小提示
如果你整體上對Kafka有一定的了解，并且簡單的應(yīng)用過Kafka。那么就有一個不可忽視的環(huán)節(jié)：源碼閱讀。
Kafka的代碼總量有50多萬行，我們不太可能通盤閱讀，只需要閱讀其中的重要部分即可。在《Kafka源碼閱讀的一些小提示》中，參考網(wǎng)上的資料和自己閱讀過的部分源碼，給出了一個比較完全的源碼閱讀大綱。
供大家參考。
Kafka常見錯誤小集合
最后這個部分，是一些常見的錯誤合集。供大家參考：
Kafka3.0來襲
最后這個部分，是Kafka3.0中的一些重要更新。
Apache Kafka 3.0是一個涉及多方面的大版本，該版本引入了各種新功能、突破性的API更改以及對KRaft的改進(jìn)——Apache Kafka的內(nèi)置共識機(jī)制將取代Apache ZooKeeper。
雖然KRaft尚未被推薦用于生產(chǎn)（已知差距列表），但我們對KRaft元數(shù)據(jù)和API進(jìn)行了許多改進(jìn)。Exactly-once和分區(qū)重新分配支持值得強(qiáng)調(diào)。我們鼓勵您查看KRaft的新功能并在開發(fā)環(huán)境中試用它。
從Apache Kafka 3.0開始，生產(chǎn)者默認(rèn)啟用最強(qiáng)的交付保證 (acks=all, enable.idempotence=true)。這意味著用戶現(xiàn)在默認(rèn)獲得排序和持久性。
Kafka Connect任務(wù)重啟增強(qiáng)、KStreams基于時間戳同步的改進(jìn)以及 MirrorMaker2更靈活的配置選項。
此外，Kafka3.0中棄用了Java8的支持，需要大家升級JDK版本。
更多的詳細(xì)信息可以網(wǎng)上搜搜。
????八千里路云和月 | 從零到大數(shù)據(jù)專家學(xué)習(xí)路徑指南????我們在學(xué)習(xí)Flink的時候，到底在學(xué)習(xí)什么？????193篇文章暴揍Flink，這個合集你需要關(guān)注一下????Flink生產(chǎn)環(huán)境TOP難題與優(yōu)化，阿里巴巴藏經(jīng)閣YYDS????Flink CDC我吃定了耶穌也留不住他！| Flink CDC線上問題小盤點????我們在學(xué)習(xí)Spark的時候，到底在學(xué)習(xí)什么？????在所有Spark模塊中，我愿稱SparkSQL為最強(qiáng)！????硬剛Hive | 4萬字基礎(chǔ)調(diào)優(yōu)面試小總結(jié)????數(shù)據(jù)治理方法論和實踐小百科全書????標(biāo)簽體系下的用戶畫像建設(shè)小指南????4萬字長文 | ClickHouse基礎(chǔ)&實踐&調(diào)優(yōu)全視角解析????【面試&個人成長】2021年過半，社招和校招的經(jīng)驗之談????大數(shù)據(jù)方向另一個十年開啟 |《硬剛系列》第一版完結(jié)????我寫過的關(guān)于成長/面試/職場進(jìn)階的文章????當(dāng)我們在學(xué)習(xí)Hive的時候在學(xué)習(xí)什么？「硬剛Hive續(xù)集」你好，我是王知無，一個大數(shù)據(jù)領(lǐng)域的硬核原創(chuàng)作者。
做過后端架構(gòu)、數(shù)據(jù)中間件、數(shù)據(jù)平臺&架構(gòu)&、算法工程化。
專注大數(shù)據(jù)領(lǐng)域?qū)崟r動態(tài)&技術(shù)提升&個人成長&職場進(jìn)階，歡迎關(guān)注。