2024年大數(shù)據(jù)方向的發(fā)展趨勢

最近事情較多，因為臨近年底，在做總結(jié)和后續(xù)規(guī)劃，在這一年中，數(shù)據(jù)開發(fā)方向仍然在快速發(fā)展，新概念和新技術層出不窮。

并且2023年是各大公司新技術大規(guī)模落地的一年，相比2022年及以前空中樓閣似的討論和不接地氣，2023年更加貼近實際，無論公司規(guī)模大小，大家都有了一些最佳實踐。

下面是我觀察到的行業(yè)內(nèi)的一些發(fā)展和未來方向，視角較小，互相討論。

1. 數(shù)據(jù)體系迭代加速，離線計算繼續(xù)保持穩(wěn)定高效，未來以穩(wěn)定為主

經(jīng)過10年多迭代和發(fā)展，離線計算側(cè)各大小公司建設都比較完善，并且穩(wěn)定性都很高，技術平臺的周邊能力開始普及，行業(yè)內(nèi)形成了較為統(tǒng)一的標準和實踐。受益于阿里在數(shù)據(jù)領域的最佳實踐和方法論(OneData)的貢獻，即使很小規(guī)模的公司都可以基于這些成功實踐建設完善的數(shù)據(jù)倉庫和數(shù)據(jù)體系，少走了很多很多彎路。一部分中小公司直接采購云平臺的產(chǎn)品，在平臺能力上直接對標一線公司的能力，是一個很好的選擇。

這部分未來發(fā)展以穩(wěn)定為主，離線計算作為大數(shù)據(jù)計算的基石，無論從場景豐富度，業(yè)務復雜度上都遠超其他方向，也是絕大多數(shù)公司和業(yè)務的基石。但是由于這部分相對門檻較低，自閉環(huán)，所以在招聘市場上競爭力較低，相信大家有所體會。對于大多數(shù)同學，如果面向未來換工作等，可以減少對這方面的精力投入，把更多時間投到更新的領域，增強個人市場競爭力。

2. 全面擁抱實時計算，數(shù)據(jù)湖方案在頭部公司全面落地，行業(yè)標準初露端倪

這兩年最熱最火的方向集中在實時計算和湖倉領域，大家應該都能感覺到。目前實時計算方向在行業(yè)內(nèi)部沒有統(tǒng)一的行業(yè)標準，各個大小公司對實時計算和湖倉的需求差異極大，所以大家會看到公開分享中實時架構(gòu)百花齊放(菜雞互啄)。根本原因可能是因為不同公司技術能力差異極大，業(yè)務場景差異也極大，沒有可以參考的標準做法。好處是快速支持需求，壞處是未來某個節(jié)點問題會集中爆發(fā)，一定會推倒重來。所以實時計算領域的架構(gòu)師/技術負責人要求很高，當然大家也會是市場上的「搶手貨」。

另外，2023年及以前實時計算領域行業(yè)標準初露端倪，在數(shù)據(jù)開發(fā)的蠻荒時代，阿里承擔了這個角色，貢獻了很多最佳實踐和方法論，成功的實踐經(jīng)驗被行業(yè)內(nèi)其他公司快速吸收。并且至今在實時計算的平臺開發(fā)領域都保持一定的技術領先優(yōu)勢。但是在實時業(yè)務支持上，字節(jié)跳動和快手是最有可能誕生行業(yè)標準的。他們的業(yè)務形態(tài)、規(guī)模、場景都更天然貼近實時需求。并且在組織架構(gòu)設計上優(yōu)勢明顯，平臺側(cè)和業(yè)務開發(fā)同學配合更加緊密、反應更加敏捷。大家可以關注一下這兩家公司的技術分享和開源產(chǎn)品。在未來1-3年內(nèi)，一定會有一些行業(yè)最佳實踐和方法論誕生，到時行業(yè)內(nèi)會重新洗牌。

3. 技術分層趨勢更加明顯，上升通道變窄，傳統(tǒng)公司自成一派

目前整個數(shù)據(jù)開發(fā)領域，互聯(lián)網(wǎng)方向的大公司得益于更強大的技術優(yōu)勢和更復雜、豐富的業(yè)務場景，在開發(fā)應用領域明顯領先規(guī)模較小的公司，尤其是在新興的技術領域。這種分層導致大小公司在使用的技術框架、方案上產(chǎn)生明顯分歧，未來對大家換工作并沒有好處。說的直白一點，在簡單業(yè)務場景下的技術方案在面對一些中大型公司的技術面試中不會被看好。

另外這其實對整個行業(yè)的同學提出了較高要求，尤其是TL這個崗位的同學，新興技術領域不接觸一線的開發(fā)和細節(jié)，會很快脫離生產(chǎn)實踐，未來市場競爭力也會較弱，至少要保障個人對項目核心技術方案/核心難點的關注；對于較少進行一線開發(fā)的做數(shù)據(jù)治理、項目管理的同學，也要保持對一線編碼的強力關注，這批同學的技術能力荒廢最快，未來競爭力下降非常明顯，因為過去已有的豐富經(jīng)驗在新領域并不適用。

傳統(tǒng)公司在數(shù)據(jù)開發(fā)領域自稱一派，例如一些國企、銀行、新能源等等，他們在各自的垂直方向上有自己獨特的數(shù)據(jù)開發(fā)和交付標準，并且有較高的行業(yè)門檻，和互聯(lián)網(wǎng)形成了較為明顯的差異。這些公司的同學有獨有的打怪升級路徑，未來會有更多的行業(yè)內(nèi)的開發(fā)標準和架構(gòu)方案從這些公司產(chǎn)生，并且對開發(fā)同學的「復合型」發(fā)展提出了要求，例如不追求很高的技術深度，對業(yè)務理解、開發(fā)流程、數(shù)據(jù)治理等方向同樣看重，大家可以按照行業(yè)內(nèi)的要求謀求個人發(fā)展。

以上是我對過去2023年的一些發(fā)展的思考總結(jié)，和對2024年的一些展望。一家之言大家可以參考。未來會如何發(fā)展持續(xù)關注。

300萬字！全網(wǎng)最全大數(shù)據(jù)學習面試社區(qū)等你來！