各位大佬，Spark的重點(diǎn)難點(diǎn)系列暫時(shí)更新完畢

這個(gè)系列寫的斷斷續(xù)續(xù)，感覺(jué)內(nèi)容還有很多沒(méi)有涉及。

因?yàn)橹皩慡park系列的文章太多了，很多東西對(duì)大家來(lái)說(shuō)早就是耳熟能詳。另外因?yàn)樯鐓^(qū)發(fā)展的重心的原因，關(guān)于Spark的Streaming和Structured Streaming部分我甚至只字未提。

這個(gè)列表包括：

【Spark重點(diǎn)難點(diǎn)】你從未深入理解的RDD和關(guān)鍵角色

【Spark重點(diǎn)難點(diǎn)】你以為的Shuffle和真正的Shuffle

【Spark重點(diǎn)難點(diǎn)】你的數(shù)據(jù)存在哪了?

【Spark重點(diǎn)難點(diǎn)】你的代碼跑起來(lái)誰(shuí)說(shuō)了算？(內(nèi)存管理)

【Spark重點(diǎn)難點(diǎn)】SparkSQL YYDS(上)！

【Spark重點(diǎn)難點(diǎn)06】SparkSQL YYDS(中)！

【Spark重點(diǎn)難點(diǎn)07】SparkSQL YYDS(加餐)！

【Spark重點(diǎn)難點(diǎn)08】Spark3.0中的AQE和DPP小總結(jié)

【Spark重點(diǎn)難點(diǎn)】Spark3.0核心調(diào)優(yōu)參數(shù)小總結(jié)

【Spark重點(diǎn)難點(diǎn)-面試篇】SparkSQL面試專題

我在寫這個(gè)系列的時(shí)候，也查了很多資料。2018-2019年我還在做基于Spark的實(shí)時(shí)計(jì)算平臺(tái)期間對(duì)Spark的理解應(yīng)該是巔峰水平，下了不少功夫，當(dāng)時(shí)組里還在社區(qū)參與了一些討論。

但是這兩年因?yàn)镕link的崛起，關(guān)注開(kāi)始慢慢少了。但是這也不代表Spark就會(huì)沉淪，茫茫多的外企和國(guó)內(nèi)企業(yè)還是有非常多業(yè)務(wù)跑在Spark上，未來(lái)寫Spark的文章可能是更多的聚焦在和例如Hudi、IceBerg、Pulsar這些新興的數(shù)據(jù)組件的結(jié)合過(guò)程中。

目前組里有大項(xiàng)目在開(kāi)發(fā)中，希望在年前上線。一直脫不開(kāi)身去學(xué)習(xí)新的東西，寫東西的頻率也保證不了，會(huì)在年后有所緩解。

新的篇章已經(jīng)有構(gòu)思了，期待我后面的「Flink和數(shù)據(jù)湖小巨頭們」系列文章的激烈碰撞吧！

目前也在嘗試將一些生產(chǎn)日志數(shù)據(jù)等非核心鏈路數(shù)據(jù)入湖，我已經(jīng)偷偷潛伏進(jìn)數(shù)據(jù)湖的各種社區(qū)了！

如果這個(gè)文章對(duì)你有幫助，不要忘記?「在看」?「點(diǎn)贊」?「收藏」?三連啊！