業(yè)內(nèi)有這么一句話說(shuō)：云計(jì)算可能改變了整個(gè)傳統(tǒng)IT產(chǎn)業(yè)的基礎(chǔ)架構(gòu)，而大數(shù)據(jù)處理，尤其像Hadoop組件這樣的技術(shù)出現(xiàn)，將是改變IT業(yè)務(wù)模式的一種技術(shù)。另外，很多小伙伴可能還搞不明白云和Hadoop有什么關(guān)系，事實(shí)上這是兩種截然不同的技術(shù)。今天我們就來(lái)聊一聊大數(shù)據(jù)運(yùn)維工程師。

?

一.Linux發(fā)展與學(xué)習(xí)線路?

?

?

二.大數(shù)據(jù)運(yùn)維的工作職責(zé)

一.集群管理
    大數(shù)據(jù)需要分布式系統(tǒng)，也就是集群：Hadoop，Hbase，Spark，Kafka，
Redis等大數(shù)據(jù)生態(tài)圈組建。

二.故障處理
    1>.商用硬件使用故障是常態(tài)。
    2>.區(qū)分故障等級(jí)，優(yōu)先處理影響實(shí)時(shí)性業(yè)務(wù)的故障。

三.變更管理
    1>.以可控的方式，高效的完成變更工作；
    2>.包括配置管理和發(fā)布管理；

四.容量管理
    1>.存儲(chǔ)空間，允許鏈接數(shù)等都是容量概念；
    2>.在多租戶環(huán)境下，容量管理尤其重要；

五.性能調(diào)優(yōu)
    1>.不同組建的性能概念不一樣，如kafka注重吞吐量，Hbase注重實(shí)用性、
可用性;
    2>.需要對(duì)組建有深刻的理解

六.架構(gòu)優(yōu)化
    1>.優(yōu)化大數(shù)據(jù)平臺(tái)架構(gòu)，支持平臺(tái)能力和產(chǎn)品的不斷迭代;
    2>.類似架構(gòu)師的工作；

?

三.大數(shù)據(jù)運(yùn)維所需的能力

一.DevOps
    DevOps(英文Development和Operations的組合)是一組過(guò)程，方法和系統(tǒng)
的統(tǒng)稱，用于促進(jìn)開發(fā)（應(yīng)用程序/軟件工程），技術(shù)運(yùn)營(yíng)和
質(zhì)量保障（QA）部門之間的溝通，寫作與整合。

二.硬件，OS，網(wǎng)絡(luò)，安全的基礎(chǔ)知識(shí)
    大數(shù)據(jù)平臺(tái)和組建設(shè)計(jì)范圍廣，各種都需要懂一點(diǎn)，這些知識(shí)出問(wèn)題
的時(shí)候不可能問(wèn)人，因?yàn)閯e人也有自己的工作要做。

三.腳本語(yǔ)言能力
    Shell,SQL(DDL),Python.Java（加分）

四.大數(shù)據(jù)各個(gè)組件知識(shí)
    設(shè)計(jì)思想。使用范圍，底層架構(gòu)，常用命令，常用配置或參數(shù)，
常見(jiàn)問(wèn)題處理方法。

五.工具能力
    Zabbix，Open Falcon，Ganglia，ELK等，企業(yè)自研工具。
我推薦使用集群自帶的工具。

六.Trouble?shooting能力
    搜索能力（搜索引擎，stackoverflow等），
java能力（異常堆棧要看得懂，最好能看懂源碼），英文閱讀能力。

七.意識(shí)，流程
    良好的意識(shí)，什么能做什么不能做。同用的流程如ITIL，
各企業(yè)也有自己的流程。

四.大數(shù)據(jù)運(yùn)維的主要工作

一.運(yùn)維三板斧

    三板斧可以解決90%以上的故障處理工作。
1>.重啟
    重啟有問(wèn)題的機(jī)器或經(jīng)常，使其正常工作。
2>.切換
    主備切換或主主切換，鏈接正常工作的節(jié)點(diǎn)。
3>.查殺
    查殺有問(wèn)題的進(jìn)程，鏈接等。

4>.三板斧的問(wèn)題
    第一：只能處理故障處理問(wèn)題，不能解決性能調(diào)優(yōu)，架構(gòu)優(yōu)化等問(wèn)題；
    第二：只能治標(biāo)，不能治本；

5>..大數(shù)據(jù)運(yùn)維和傳統(tǒng)運(yùn)維的不同
    第一：傳統(tǒng)運(yùn)維面對(duì)的底層軟硬件基本穩(wěn)固，大數(shù)據(jù)運(yùn)維面對(duì)的是商用硬件和復(fù)雜linux版本；
    第二：傳統(tǒng)運(yùn)維面對(duì)的是單機(jī)架構(gòu)為主，大數(shù)據(jù)運(yùn)維面對(duì)復(fù)雜的分布式架構(gòu)；
    第三：傳統(tǒng)運(yùn)維大多維護(hù)閉源商業(yè)版系統(tǒng)，大數(shù)據(jù)運(yùn)維通常面對(duì)開源系統(tǒng)，文檔手冊(cè)匱乏，對(duì)閱讀源碼要求高。
    第四：大數(shù)據(jù)運(yùn)維對(duì)自動(dòng)化工具的依賴大大增加；


二.Iaas層（基礎(chǔ)設(shè)置及服務(wù)）運(yùn)維工作

    一般中大型企業(yè)有自己的基礎(chǔ)設(shè)施維護(hù)團(tuán)隊(duì)，這部分工作不會(huì)交給大數(shù)據(jù)運(yùn)維來(lái)做。小公司可能需要大數(shù)據(jù)運(yùn)維鍵值這部分工作，主要關(guān)注三個(gè)方面：
1>.硬件
    大數(shù)據(jù)系統(tǒng)大多使用廉價(jià)PC Server或虛擬機(jī)，硬件故障是常態(tài)，通過(guò)告警，日志，維護(hù)命令等識(shí)別故障，并支持硬件更換。
2>.存儲(chǔ)
    大多使用PC Server掛本磁盤的存儲(chǔ)方式，極少情況會(huì)使用SAN（存儲(chǔ)區(qū)域網(wǎng)絡(luò)）或NAS（網(wǎng)絡(luò)附屬存儲(chǔ)），熟悉分區(qū)，格式化，巡檢等基本操作。
3>.網(wǎng)絡(luò)
    網(wǎng)絡(luò)的配置變更更需要比較專業(yè)的知識(shí)，如有需要可學(xué)習(xí)CCNA，CCNP等認(rèn)證課程，但網(wǎng)絡(luò)硬件和配置出問(wèn)題概率很低，主要關(guān)注丟包，延時(shí)。


三.HDFS運(yùn)維工作

1>.容量管理
    第一：HDFS空間我使用超過(guò)80%要警惕，如果是多租戶環(huán)境，租戶的配額空間也能用完；
    第二：熟悉hdfs，fsck，distcp等常用命令，會(huì)使用DataNode均衡器；

2>.進(jìn)程管理
    第一：NameNode的進(jìn)程是重點(diǎn)
    第二：熟悉dfsadmin等Ingles。怎么做NameNode高可用。
3>.故障管理
    Hadoop最常見(jiàn)的故障就是硬盤損壞。
4>.配置管理
    hdfs-site.xml中的參數(shù)設(shè)置。


四.MapReduce運(yùn)維工作

1>.進(jìn)程管理
    第一：jobtracker進(jìn)程故障概率比較低，有問(wèn)題可以通過(guò)重啟解決；
    第二：了解一下HA的做法；
2>.配置管理
    mapred-site.xml中的參數(shù)設(shè)置。


五.Yarn運(yùn)維工作

1>.故障管理
    主要是當(dāng)任務(wù)異常這中止時(shí)看日志排查，通茶故障原因會(huì)集中在資源問(wèn)題，權(quán)限問(wèn)題中的一種。
2>.進(jìn)程管理
    ResourceManager主要是學(xué)會(huì)配置HA
    NodeManager進(jìn)程掛掉不重要，重啟即可。
3>.配置管理
    yarn-site.xml中的參數(shù)設(shè)置，主要分三塊配置，scheduler的，ResourceManager的，NodeManager的。


六.Hive/Impala運(yùn)維工作

1>.SQL問(wèn)題排查
    第一：結(jié)果不對(duì)，主要原因可能是SQL錯(cuò)誤，數(shù)據(jù)不存在，UDF錯(cuò)誤等，需要靠經(jīng)驗(yàn)排查
    第二：慢SQL，這類問(wèn)題開發(fā)經(jīng)常會(huì)找運(yùn)維排查，有可能是劣勢(shì)SQL，數(shù)據(jù)量大，也有可能是集群資源緊張；
2>.元數(shù)據(jù)管理
    Hive和Impala公用的元數(shù)據(jù)，存在關(guān)系型數(shù)據(jù)庫(kù)中。


七.其它組件

    根據(jù)組件用途，特性，關(guān)注點(diǎn)的不用，運(yùn)維工作也各不相同，如：
1>.HBase關(guān)注讀寫性能，服務(wù)的可用性
2>.Kafka關(guān)注吞吐量，負(fù)載均衡，消息不丟機(jī)制
3>.Flume關(guān)注屯度量，故障后的快速恢復(fù)

?

五.大數(shù)據(jù)運(yùn)維技能概覽

?

?

六.大數(shù)據(jù)運(yùn)維職業(yè)素養(yǎng)

1>.人品
2>.嚴(yán)謹(jǐn)
3>.細(xì)心
4>.心態(tài)
5>.熟悉操作系統(tǒng)
6>.熟悉業(yè)務(wù)(開發(fā))
7>.熟悉行業(yè)
8>.喜歡大數(shù)據(jù)生態(tài)圈

原文：cnblogs.com/yinzhengjie/p/10587721.html
整理來(lái)自：大數(shù)據(jù)肌肉猿

大數(shù)據(jù)轉(zhuǎn)型案例



五年Java外包轉(zhuǎn)型大數(shù)據(jù)架構(gòu)
北美零基礎(chǔ)轉(zhuǎn)行開發(fā)求職面經(jīng)
雙非碩士阿里大數(shù)據(jù)開發(fā)面經(jīng)
精心整理的ebay大數(shù)據(jù)面試題
一位材料專業(yè)研究生的Java轉(zhuǎn)型復(fù)盤
從車輛工程到大數(shù)據(jù)開發(fā)，我經(jīng)歷了什么？
我，30歲，部隊(duì)服役5年，零基礎(chǔ)轉(zhuǎn)大數(shù)據(jù)
Java干了半年，我機(jī)智地跳到了大數(shù)據(jù)開發(fā)
自學(xué)半年，從保險(xiǎn)銷售，零基礎(chǔ)轉(zhuǎn)型數(shù)據(jù)分析
日本留學(xué)生算法轉(zhuǎn)型大數(shù)據(jù)開發(fā)？聽他怎么說(shuō)
傳統(tǒng)金融IT男轉(zhuǎn)型互聯(lián)網(wǎng)大數(shù)據(jù)碼農(nóng)，圖啥？
從安卓主管轉(zhuǎn)型大數(shù)據(jù)開發(fā)，我經(jīng)歷了什么？
專升本程序媛，實(shí)習(xí)期間月薪10K，有點(diǎn)厲害
我是程序媛，從事大數(shù)據(jù)開發(fā)兩年，我有話說(shuō)
材料學(xué)博士轉(zhuǎn)型大數(shù)據(jù)開發(fā)，是一種什么體驗(yàn)？
我，32歲零基礎(chǔ)轉(zhuǎn)大數(shù)據(jù)，不需要?jiǎng)e人怎么看！
從傳統(tǒng)數(shù)倉(cāng)到互聯(lián)網(wǎng)大數(shù)據(jù)開發(fā)，不走彎路很重要
兩年車間技術(shù)員轉(zhuǎn)型大數(shù)據(jù)開發(fā)，說(shuō)說(shuō)轉(zhuǎn)型這點(diǎn)事兒
電網(wǎng)工作2年后考研，8面阿里，成功轉(zhuǎn)型大數(shù)據(jù)開發(fā)
3年Java開發(fā)轉(zhuǎn)型大數(shù)據(jù)開發(fā)，如何跳出CRUD舒適區(qū)？
我是DBA，從大數(shù)據(jù)小白到閱讀框架源碼，薪資翻了三倍
機(jī)械碩士，因?qū)嶒?yàn)室?guī)熜之厴I(yè)拿5K，自學(xué)Java轉(zhuǎn)型大數(shù)據(jù)
雙非菜雞3個(gè)月收割頭條大數(shù)據(jù)offer，方向真的比努力更重要！
國(guó)企車間流水線5年，重新考研，彎道超車，收割百度騰訊offer
二本電氣工程應(yīng)屆生收割5個(gè)offer，轉(zhuǎn)型大數(shù)據(jù)真的與專業(yè)無(wú)關(guān)
被培訓(xùn)機(jī)構(gòu)坑了，面國(guó)企要求唱歌...談?wù)勎肄D(zhuǎn)型大數(shù)據(jù)的心酸歷程
土木工程轉(zhuǎn)專業(yè)，上岸趣頭條、今日頭條后端開發(fā)，學(xué)習(xí)歷程分享
警犬專業(yè)?？粕?，過(guò)阿里一面，又收作業(yè)幫offer，跟你聊聊大數(shù)據(jù)學(xué)習(xí)
學(xué)了三年的嵌入式，但我還是轉(zhuǎn)型了大數(shù)據(jù)，跟你聊聊我學(xué)習(xí)的心路歷程
二線到一線城市的大數(shù)據(jù)求職之路，被領(lǐng)導(dǎo)穿小鞋，跳槽一個(gè)月拿6個(gè)offer，入職ebay