剛?cè)腴T大數(shù)據(jù)需要學(xué)習(xí)哪些常用技能?
閱讀時(shí)間4分鐘左右，適合大數(shù)據(jù)入門級(jí)讀者閱讀?????
大數(shù)據(jù)是近五年興起的行業(yè)，發(fā)展迅速，很多技術(shù)經(jīng)過(guò)這些年的迭代也變得比較成熟了，同時(shí)新的東西也不斷涌現(xiàn)，想要保持自己競(jìng)爭(zhēng)力的唯一辦法就是不斷學(xué)習(xí)。但是，大數(shù)據(jù)需要學(xué)習(xí)什么？很多人問(wèn)過(guò)我這個(gè)問(wèn)題，每一次回答完都覺(jué)得自己講得太片面了，這次來(lái)個(gè)完整版。
思維導(dǎo)圖下面的是我之前整理的一張思維導(dǎo)圖，內(nèi)容分成幾大塊，包括了分布式計(jì)算與查詢，分布式調(diào)度與管理，持久化存儲(chǔ)，大數(shù)據(jù)常用的編程語(yǔ)言等等內(nèi)容，每個(gè)大類下有很多的開源工具，想知道要學(xué)些什么的同學(xué)，告訴你一個(gè)“壞消息”，這些就是作為大數(shù)據(jù)程序猿又愛又恨折騰得死去活來(lái)而你想要成為大數(shù)據(jù)大牛又必須要學(xué)習(xí)的東西了（其實(shí)還不止這些）。
Java
java可以說(shuō)是大數(shù)據(jù)最基礎(chǔ)的編程語(yǔ)言，據(jù)我這些年的經(jīng)驗(yàn)，我接觸的很大一部分的大數(shù)據(jù)開發(fā)都是從Jave Web開發(fā)轉(zhuǎn)崗過(guò)來(lái)的（當(dāng)然也不是絕對(duì)我甚至見過(guò)產(chǎn)品轉(zhuǎn)崗大數(shù)據(jù)開發(fā)的，逆了個(gè)天）。
一是因?yàn)榇髷?shù)據(jù)的本質(zhì)無(wú)非就是海量數(shù)據(jù)的計(jì)算，查詢與存儲(chǔ)，后臺(tái)開發(fā)很容易接觸到大數(shù)據(jù)量存取的應(yīng)用場(chǎng)景
二就是java語(yǔ)言本事了，天然的優(yōu)勢(shì)，因?yàn)榇髷?shù)據(jù)的組件很多都是用java開發(fā)的像HDFS,Yarn,Hbase,MR,Zookeeper等等，想要深入學(xué)習(xí)，填上生產(chǎn)環(huán)境中踩到的各種坑，必須得先學(xué)會(huì)java然后去啃源碼。
說(shuō)到啃源碼順便說(shuō)一句，開始的時(shí)候肯定是會(huì)很難，需要對(duì)組件本身和開發(fā)語(yǔ)言都有比較深入的理解，熟能生巧慢慢來(lái)，等你過(guò)了這個(gè)階段，習(xí)慣了看源碼解決問(wèn)題的時(shí)候你會(huì)發(fā)現(xiàn)源碼真香。
Scala
scala和java很相似都是在jvm運(yùn)行的語(yǔ)言，在開發(fā)過(guò)程中是可以無(wú)縫互相調(diào)用的。Scala在大數(shù)據(jù)領(lǐng)域的影響力大部分都是來(lái)自社區(qū)中的明星Spark和kafka,這兩個(gè)東西大家應(yīng)該都知道（后面我會(huì)有文章多維度介紹它們），它們的強(qiáng)勢(shì)發(fā)展直接帶動(dòng)了Scala在這個(gè)領(lǐng)域的流行。
Python和Shell
shell應(yīng)該不用過(guò)多的介紹非常的常用，屬于程序猿必備的通用技能。python更多的是用在數(shù)據(jù)挖掘領(lǐng)域以及寫一些復(fù)雜的且shell難以實(shí)現(xiàn)的日常腳本。
分布式計(jì)算什么是分布式計(jì)算？分布式計(jì)算研究的是如何把一個(gè)需要非常巨大的計(jì)算能力才能解決的問(wèn)題分成許多小的部分，然后把這些部分分配給許多服務(wù)器進(jìn)行處理，最后把這些計(jì)算結(jié)果綜合起來(lái)得到最終的結(jié)果。
舉個(gè)栗子，就像是組長(zhǎng)把一個(gè)大項(xiàng)目拆分，讓組員每個(gè)人開發(fā)一部分，最后將所有人代碼merge，大項(xiàng)目完成。聽起來(lái)好像很簡(jiǎn)單，但是真正參與過(guò)大項(xiàng)目開發(fā)的人一定知道中間涉及的內(nèi)容可不少。
比如這個(gè)大項(xiàng)目如何拆分？任務(wù)如何分配？每個(gè)人手頭已有工作怎么辦？每個(gè)人能力不一樣怎么辦？每個(gè)人開發(fā)進(jìn)度不一樣怎么辦？開發(fā)過(guò)程中組員生病要請(qǐng)長(zhǎng)假他手頭的工作怎么辦？指揮督促大家干活的組長(zhǎng)請(qǐng)假了怎么辦？最后代碼合并過(guò)程出現(xiàn)問(wèn)題怎么辦？項(xiàng)目延期怎么辦？項(xiàng)目最后黃了怎么辦？
仔細(xì)想想上面的奪命十連問(wèn)，其實(shí)每一條都是對(duì)應(yīng)了分布式計(jì)算可能會(huì)出現(xiàn)的問(wèn)題，具體怎么對(duì)應(yīng)大家思考吧我就不多說(shuō)了，其實(shí)已經(jīng)是非常明顯了。也許有人覺(jué)得這些問(wèn)題其實(shí)在多人開發(fā)的時(shí)候都不重要不需要特別去考慮怎么辦，但是在分布式計(jì)算系統(tǒng)中不一樣，每一個(gè)都是非常嚴(yán)重并且非常基礎(chǔ)的問(wèn)題，需要有很好的解決方案，才能保證系統(tǒng)穩(wěn)定。
最后提一下，分布式計(jì)算目前流行的工具有：
離線工具Spark，MapReduce等
實(shí)時(shí)工具Spark Streaming，Storm，F(xiàn)link等
這幾個(gè)東西的區(qū)別和各自的應(yīng)用場(chǎng)景我們之后再聊。
分布式存儲(chǔ)傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用的是集中的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù)，單臺(tái)存儲(chǔ)服務(wù)器的io能力是有限的，這成為了系統(tǒng)性能的瓶頸，同時(shí)服務(wù)器的可靠性和安全性也不能滿足需求，尤其是大規(guī)模的存儲(chǔ)應(yīng)用。
分布式存儲(chǔ)系統(tǒng)，是將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的設(shè)備上。采用的是可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，利用位置服務(wù)器定位存儲(chǔ)信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。
上圖是hdfs的存儲(chǔ)架構(gòu)圖，hdfs作為分布式文件系統(tǒng)，兼?zhèn)淞丝煽啃院蛿U(kuò)展性，數(shù)據(jù)存儲(chǔ)3份在不同機(jī)器上（兩份存在同一機(jī)架，一份存在其他機(jī)架）保證數(shù)據(jù)不丟失。由NameNode統(tǒng)一管理元數(shù)據(jù)，可以任意擴(kuò)展集群。
主流的分布式數(shù)據(jù)庫(kù)有很多hbase，mongoDB，GreenPlum，redis等等等等，沒(méi)有孰好孰壞之分，只有合不合適，每個(gè)數(shù)據(jù)庫(kù)的應(yīng)用場(chǎng)景都不同，其實(shí)直接比較是沒(méi)有意義的，后續(xù)我也會(huì)有文章一個(gè)個(gè)講解它們的應(yīng)用場(chǎng)景原理架構(gòu)等。
分布式調(diào)度與管理現(xiàn)在人們好像都很熱衷于談"去中心化"，也許是區(qū)塊鏈帶起的這個(gè)潮流。但是"中心化"在大數(shù)據(jù)領(lǐng)域還是很重要的，至少目前來(lái)說(shuō)是的。
分布式的集群管理需要有個(gè)組件去分配調(diào)度資源給各個(gè)節(jié)點(diǎn)，這個(gè)東西叫yarn;
需要有個(gè)組件來(lái)解決在分布式環(huán)境下"鎖"的問(wèn)題，這個(gè)東西叫zookeeper；
需要有個(gè)組件來(lái)記錄任務(wù)的依賴關(guān)系并定時(shí)調(diào)度任務(wù)，這個(gè)東西叫azkaban。
當(dāng)然這些“東西”并不是唯一的，其實(shí)都是有很多替代品的，我這里只舉了幾個(gè)比較常用的例子。
雞湯
以上非常粗略地講了下大數(shù)據(jù)的幾個(gè)方面的內(nèi)容，沒(méi)有涵蓋的東西還有很多。大數(shù)據(jù)是一條很長(zhǎng)的路，無(wú)論你是新入門的菜鳥還是大廠架構(gòu)師想要保持競(jìng)爭(zhēng)力都不能停止學(xué)習(xí)的腳步，你停了你就會(huì)看見有很多人從你身后走到你身前，這是作為程序猿最苦的地方，但是也是最有趣的，努力就會(huì)有希望超越。
附上學(xué)習(xí)資料
光說(shuō)怎么入門，肯定遠(yuǎn)遠(yuǎn)不夠。最后附上一套學(xué)習(xí)大數(shù)據(jù)的資料，才是對(duì)大家有幫助的，有想學(xué)習(xí)的朋友，直接在公眾號(hào)后臺(tái)留言框回復(fù)關(guān)鍵詞【大數(shù)據(jù)】免費(fèi)獲取資源！
