為何大廠都在使用 Kafka 消息引擎系統(tǒng)?
這段時(shí)間招聘季，后臺(tái)收到不少關(guān)于 Kafka 的問題，確實(shí) Kafka 近兩年的行情，可謂是水漲船高了。
根本原因是，是 Apache Kafka 作為一款開源的消息引擎系統(tǒng)。憑借高可靠、高吞吐、高可用、可伸縮等優(yōu)越特性，在數(shù)據(jù)采集、傳輸、存儲(chǔ)的過程中，發(fā)揮著舉足輕重的位置，說是大數(shù)據(jù)領(lǐng)域的殺手锏也不為過。
舉個(gè)例子，普通開發(fā)人員在實(shí)際工作過程中，一定參與到了很多大數(shù)據(jù)業(yè)務(wù)系統(tǒng)的構(gòu)建。對(duì)于如何應(yīng)對(duì)數(shù)據(jù)量激增、數(shù)據(jù)復(fù)雜度增加，以及數(shù)據(jù)變化速率變快等問題， Kafka 都可以很好的解決。就拿數(shù)據(jù)量激增來說，Kafka 能夠有效隔離上下游業(yè)務(wù)，將上游突增的流量緩存起來，以平滑的方式傳導(dǎo)到下游子系統(tǒng)中，避免了流量的不規(guī)則沖擊。
其實(shí)，Kafka 在實(shí)際業(yè)務(wù)系統(tǒng)中的應(yīng)用更為廣闊，比如實(shí)現(xiàn)消息隊(duì)列應(yīng)用、應(yīng)用程序集成、分布式存儲(chǔ)構(gòu)建，甚至是流處理應(yīng)用的開發(fā)與部署。可謂是學(xué)習(xí)一套框架，打通多個(gè)關(guān)鍵點(diǎn)，相當(dāng)超值了。
從行業(yè)角度來看，目前所有主流的互聯(lián)網(wǎng)公司，都在用 Kafka。如果你能夠深入進(jìn)去，把 Kafka 的原理搞懂，再或者進(jìn)一步，能夠給 Kafka 貢獻(xiàn)源代碼，那這絕對(duì)是你簡(jiǎn)歷里亮眼的一筆。
簡(jiǎn)單來說，Kafka 作為主流的 MQ 之一，是每個(gè) Java 開發(fā)、大數(shù)據(jù)從業(yè)人員，非常必要的一項(xiàng)技能了。
我身邊不少工程師，都把 Kafka 加入到自己的學(xué)習(xí)列表。但想學(xué)透 Kafka，沒那么簡(jiǎn)單，我的建議是：千萬不要直接扎到具體的細(xì)節(jié)中，亦或是從一個(gè)很小的點(diǎn)開始學(xué)習(xí)。因?yàn)槟銦o法建立全局的認(rèn)知觀，從而實(shí)現(xiàn)系統(tǒng)地學(xué)習(xí)。
當(dāng)年我學(xué)習(xí) Kafka 的時(shí)候，踩了不少坑。直到看了 Kafka 資深專家胡夕的書《Apache Kafka實(shí)戰(zhàn)》，豆瓣評(píng)分 8.8 分，很有收獲。所以后來聽說他出了個(gè)《Kafka 核心技術(shù)與實(shí)戰(zhàn)》的專欄，第一時(shí)間就買了，果然超出預(yù)期。
在這先分享一張胡夕總結(jié)的 Kafka 學(xué)習(xí)框架，分為 Kafka 入門、Kafka 的基本使用、客戶端詳解、Kafka 原理介紹、Kafka 運(yùn)維與監(jiān)控以及高級(jí) Kafka 應(yīng)用，建議收藏。
Kafka 學(xué)習(xí)框架
這些內(nèi)容，來自他的《Kafka 核心技術(shù)與實(shí)戰(zhàn)》專欄，胡夕把 Kafka 集群環(huán)境的監(jiān)控和管理、內(nèi)容原理剖析，以及消息系統(tǒng)常見疑難問題，都講得清晰透徹。我最大的收獲，就是對(duì) Kafka 的原理、機(jī)制以及參數(shù)的理解更深入了。
尤其是胡夕把官方文檔中，上百個(gè)參數(shù)精簡(jiǎn)成十幾個(gè)重要的參數(shù)，非常實(shí)用。
我很認(rèn)可胡夕的觀點(diǎn)：“在實(shí)際工作中進(jìn)行學(xué)習(xí)，才能學(xué)得最快，掌握得也最扎實(shí)”，專欄也是這個(gè)思路，有很多實(shí)操性的知識(shí)，需要自己搭建測(cè)試環(huán)境進(jìn)行實(shí)踐。
最近 2 刷，又有新的心得和體會(huì)，毫不夸張的說，跟著學(xué)下來，能全面提升你的 Kafka 實(shí)戰(zhàn)能力。現(xiàn)在已經(jīng)將近 1.5W 人訂閱了，口碑相當(dāng)不錯(cuò)。馬上要漲價(jià)到 ￥199 了，現(xiàn)在只需 ￥89 ，別錯(cuò)過。
秒殺 + 口令「 Kafka6666」
到手僅￥89，4 天后漲至 ￥199
說到胡夕，在 Kafka 領(lǐng)域，他相當(dāng)有發(fā)言權(quán)了。
作為 Apache Kafka 的一名活躍代碼貢獻(xiàn)者。在過去幾年中，他經(jīng)歷了 Kafka 從最初的 0.8 版本逐步演進(jìn)到 2.7 版本的完整過程，可以說對(duì) Kafka 及其他開源流處理框架與技術(shù)有深刻理解。
他主導(dǎo)過多個(gè)十億級(jí)/天的消息引擎業(yè)務(wù)系統(tǒng)的設(shè)計(jì)與搭建，具有豐富的線上環(huán)境定位和診斷調(diào)優(yōu)經(jīng)驗(yàn)，也曾給多家大型公司提供企業(yè)級(jí) Kafka 培訓(xùn)。所以對(duì)于傳授知識(shí)，經(jīng)驗(yàn)很是豐富。
我自己學(xué)下來，印象最深刻的，是胡夕在講參數(shù)配置的時(shí)候，在第 7 講、第 8 講的標(biāo)題中，用了 3 個(gè)“最”字，并且在文章里分享了最重要、最核心的集群參數(shù)配置。看完這兩講之后，對(duì)于一直以來持有的“Kafka配置優(yōu)化過程中怎么有這么多參數(shù)”的怨念，才得以消解。
不必貪多求全，只要掌握最核心的內(nèi)容就可以了。
專欄的評(píng)論值得好好看，很多讀者的總結(jié)概括能力都很強(qiáng)，對(duì)信息進(jìn)行二次提煉，也能幫你進(jìn)行梳理，對(duì)于困惑的問題，只要你寫在評(píng)論區(qū)，胡夕就會(huì)及時(shí)回復(fù)，可以說做到了“今日疑，今日解，不積攢遺留問題”。
除了答疑解惑，胡夕還很具有分享精神。大家都知道，讀閱碼有多么痛苦。而胡夕曾經(jīng)花了將近一年的時(shí)間，啃下了 50 萬行 Kafka 源代碼，想到那句“聰明人也要下死工夫”，這毅力，真的是令人佩服。
而胡夕也在加餐中分享了他閱讀源碼的方法，而且是直接將源碼在 IDE 中展示出來，并且對(duì)著實(shí)際代碼描述閱讀代碼的方式，實(shí)操性很強(qiáng)。
另外，每一篇文章結(jié)束，都有一個(gè)知識(shí)卡片的總結(jié)，便于記憶。
真誠的說，在 Kafka 這塊，沒有比胡夕講得更體系的學(xué)習(xí)資料了，非常良心，截了些評(píng)論給你參考：
總的來說，跟著胡夕學(xué)，你可以獲得這 6 個(gè)部分的知識(shí)：
Kafka 入門。介紹消息引擎這類系統(tǒng)的原理和用途，以及作為優(yōu)秀的消息引擎代表，Kafka 是如何“脫穎而出”的。
Kafka 的基本使用。重點(diǎn)探討 Kafka 如何用于生產(chǎn)環(huán)境，特別是線上環(huán)境的方案該如何制定。
客戶端實(shí)踐及原理剖析。重點(diǎn)學(xué)習(xí) Kafka 客戶端的方方面面，既有生產(chǎn)者的實(shí)操講解，也有消費(fèi)者的原理剖析。
深入 Kafka 內(nèi)核。著重介紹 Kafka 最核心的設(shè)計(jì)原理，包括 Controller 的設(shè)計(jì)機(jī)制、請(qǐng)求處理的全流程等。
管理與監(jiān)控。這部分涵蓋 Kafka 運(yùn)維與監(jiān)控的內(nèi)容，將討論如何高效運(yùn)維 Kafka 集群，并分享有效監(jiān)控 Kafka 的實(shí)戰(zhàn)經(jīng)驗(yàn)。
高級(jí) Kafka 應(yīng)用之流處理。最后這一部分將會(huì)介紹 Kafka 流處理組件 Kafka Streams 的實(shí)戰(zhàn)應(yīng)用，并帶你從頭開發(fā)一個(gè) demo 項(xiàng)目。
我把目錄也給你扒來給你看看??
胡夕有句話，“行百里者半九十”，學(xué)習(xí)專欄只是走了一半的路程，還要一一實(shí)踐，才能真正能懂、會(huì)用、能用好。
最后再和大家強(qiáng)調(diào)一下：
秒殺 + 口令「Kafka6666」
到手 ￥89，4 天后漲價(jià)至 ￥199
現(xiàn)在相當(dāng)于半價(jià)入手
??????
掃碼免費(fèi)試讀
想想我這些年在 Kafka 踩的坑，你就知道這花 2 杯奶茶的錢，就能獲得 Kafka 大佬的心法，多么值得了。
點(diǎn)擊【閱讀原文】最低 ￥89 拿下。