Hive SQL的來龍去脈！

不知道大家在工作中，有沒有遇到過這類數(shù)據(jù)科學(xué)同學(xué)：他們無論在什么崗位，好像都能夠抓到問題的本質(zhì)，做得「游刃有余」。

我也經(jīng)常碰到這類數(shù)據(jù)同行，每次我向他們請教究竟是如何做到的，他們給出的答案都少不了這一個：讀經(jīng)典論文。

確實，關(guān)于學(xué)習(xí)和處理問題的方式，他們和很多普通數(shù)據(jù)工程師不太一樣。

比如，在面對一個異常復(fù)雜的系統(tǒng)時，我們不可避免會遇到一些問題，但大部分人的解決方式很簡單：去群里問別人有沒有可靠的解決方案，或是在技術(shù)社區(qū)搜索答案。

但很少人會想到看論文，去挖整個系統(tǒng)的「來龍去脈」。

這也能理解，畢竟說到讀論文，就是一個字：難。

一是原版論文都是英文，理解起來太費(fèi)勁；二是學(xué)習(xí)資料良莠不齊，很難靠自己梳理出一條清晰的學(xué)習(xí)路徑，去深入了解并建立數(shù)據(jù)系統(tǒng)的底層知識體系。

但要想成為真正的優(yōu)秀數(shù)據(jù)工程師，把技術(shù)研究精深，我認(rèn)為「讀經(jīng)典論文」是必不可少的，也是最快的學(xué)習(xí)方式。

因為最核心的東西，就在其中，一旦看懂，就可以「觸類旁通」，從使用到開發(fā)，很多細(xì)節(jié)通過腦補(bǔ)就可以猜個八九不離十。

而且，在如今的互聯(lián)網(wǎng)時代，到處可見「分布式系統(tǒng)」，尤其是「大數(shù)據(jù)」時代到來之后，各種優(yōu)秀的分布式系統(tǒng)層出不窮，但它們實現(xiàn)的本質(zhì)，都源于那幾篇經(jīng)典的研究和論文。

其中對分布式系統(tǒng)工程實踐領(lǐng)域，貢獻(xiàn)最大的公司是 Google，Google 的基礎(chǔ)設(shè)施有三駕馬車，分別是《Google File System》、《Google MapReduce》以及《Google BigTable》。

Google 發(fā)表了這三篇論文以后，基本上「奠定」了業(yè)界大規(guī)模分布式存儲系統(tǒng)的理論基礎(chǔ)。

現(xiàn)如今非常流行的 HDFS、MapReduce、Hbase，以及國產(chǎn)數(shù)據(jù)庫軟件 TiDB、OceanBase 都是參考這幾篇經(jīng)典論文設(shè)計的，可見這些基礎(chǔ)原理的重要性。

會用某個開源框架，是懂了「基礎(chǔ)招式」。看開源框架的源碼，是「武功秘籍」，能讓你更高效地 debug。那研讀論文，就是真正的「內(nèi)功心法」。

武功招式可能每年都在更新迭代，但內(nèi)功心法卻不僅只在今時今日有用，更能讓你一輩子受益。

我也能理解，在大部分?jǐn)?shù)據(jù)的工作中，都忙著實現(xiàn)業(yè)務(wù)功能。90% 的工作是重復(fù)的邏輯堆砌，10% 涉及到底層、架構(gòu)或核心算法的東西，而實際上，正是這 10%，決定了你和頂級數(shù)據(jù)工程師的差距。

那么，讀經(jīng)典論文有什么好的方法嗎？

網(wǎng)上這類的資料其實并不多，最近看到極客時間專門做了個專欄《大數(shù)據(jù)經(jīng)典論文解讀》，我第一時間買來看了看，看目錄發(fā)現(xiàn)內(nèi)容太全了，基本覆蓋了讀論文的痛點問題。

這個專欄的作者是徐文浩，簡單介紹下，他是 bothub.ai 創(chuàng)始人，一個創(chuàng)業(yè)的程序員，正在工業(yè)界的實戰(zhàn)經(jīng)驗非常豐富。寫過各種大型企業(yè)軟件，從零開始搭建支撐每天百億流量的廣告算法系統(tǒng)，提升了十倍以上的廣告收入和 ROI。

可能更出名的，是他的另一個爆款專欄《深入淺出計算機(jī)組成原理》，我 2 刷過了。只能說「太會講了」，把底層知識講得清晰透徹，還吸引著讀者深挖下去，功力可見一斑。目前有超過 25000 人訂閱，也是出于對他的認(rèn)可，所以上線時，毫不猶豫就買了他的新課。

這個論文解讀課，總結(jié)來說，就是讓你從經(jīng)典論文入手，提升問題解決能力。

專欄精進(jìn)了 10 余篇數(shù)據(jù)工程師必讀的經(jīng)典論文，給出一條大數(shù)據(jù)系統(tǒng)底層知識學(xué)習(xí)路徑，還有工業(yè)級數(shù)據(jù)系統(tǒng)迭代方案。你不僅獲得一些大數(shù)據(jù)的知識，更能從系統(tǒng)架構(gòu)、計算機(jī)底層原理層面，獲得深入而長久的成長。

我一直認(rèn)為，學(xué)習(xí)是自我驅(qū)動，要學(xué)會自己「找食物」，而不是「等著喂」。現(xiàn)在我把很靠譜的老師和學(xué)習(xí)方法，推薦給你，剩下的就看你自己了。

拼團(tuán)價 + 專屬口令「lunwen888」

立省 ￥40，到手僅 ￥89

除了老師是工業(yè)界大牛這個點外，專欄還有其他幾個比較吸引我的地方：

1、超 10 篇必讀經(jīng)典論文精講

從最經(jīng)典的 Google 三駕馬車：GFS、MapReduce 和 Bigtable 這三篇「經(jīng)典論文」開始講起，幫你理解大數(shù)據(jù)系統(tǒng)面對的主要挑戰(zhàn)，以及應(yīng)對這些挑戰(zhàn)的架構(gòu)設(shè)計方法。

進(jìn)一步地，帶你一起來看大數(shù)據(jù)系統(tǒng)依賴的分布式鎖 Chubby、序列化和 RPC 方案 Thrift，讓你能夠?qū)⒓軜?gòu)設(shè)計和計算機(jī)底層原理結(jié)合到一起，掌握好計算機(jī)科學(xué)的底層原理。

2、簡化大數(shù)據(jù)論文的脈絡(luò)關(guān)系

前面我也提到過，我們面對的是異常復(fù)雜的系統(tǒng)，而徐文浩幫大家簡化過了大數(shù)據(jù)論文「脈絡(luò)關(guān)系」，讓你在對某一篇論文感到困惑的時候，可以通過脈絡(luò)圖翻看它前后對應(yīng)的論文，找到對應(yīng)問題的來龍去脈，讓你在研讀大數(shù)據(jù)論文的時候，有一個清晰的方向。

3、剖析論文核心思想

專欄一共 36 講，手把手帶你剖析論文「核心思想」，帶大家深入體會「大型系統(tǒng)」瓶頸的完善過程，并給你真實、具體且獨到的高手思路和經(jīng)驗觀點。最終讓大家能夠得到的衍生性啟發(fā)，「舉一反三」的思路開拓，從而在平時工作中應(yīng)用、改進(jìn)和創(chuàng)新。

說了這么多，來看目錄，我相信它會成為一個經(jīng)典專欄。

現(xiàn)在專欄上新優(yōu)惠

拼團(tuán) + 優(yōu)惠口令「lunwen888」

立省 ￥40，到手僅 ￥89

如果你是新人，僅需 ￥59

掃碼免費(fèi)試讀

最后，我想和你分享一句話：認(rèn)真研讀「經(jīng)典論文」，是每一個優(yōu)秀工程師的成年禮，希望你可以把握這次機(jī)會，一起共勉。

點擊閱讀原文，記得輸入優(yōu)惠口令「lunwen888」，最低 59 元拿下。