日本免费成人A,亚洲欧美激情另类校园,亚洲天堂网站,大地99中文在线观看,婷婷99爱99热,国产二区视频在线观看,国产麻豆影音先锋,西西444WWW无码大胆知乎

點(diǎn)擊上方 "大數(shù)據(jù)肌肉猿"關(guān)注,?星標(biāo)一起成長(zhǎng)

后臺(tái)回復(fù)【加群】，進(jìn)入高質(zhì)量學(xué)習(xí)交流群

2021年大數(shù)據(jù)肌肉猿公眾號(hào)獎(jiǎng)勵(lì)制度

相關(guān)閱讀：

上海小公司大數(shù)據(jù)面試題匯總

背景

本文為#峰哥讀者從設(shè)計(jì)轉(zhuǎn)行外包數(shù)倉，再跳槽到甲方做大數(shù)據(jù)開發(fā)#整理的面試題，他面過深圳大部分的外包和甲方公司，整理了一些面試題，希望能帶給大家一些幫助。

大數(shù)據(jù)組件技術(shù)面試

hadoop框架

1.hdfs的讀寫基本不問,但是還是要知道

2.mapjoin的原理

3.hadoop的shuffle原理也沒問,也要知道

4.你在工作中的hadoop的小文件處理,結(jié)合項(xiàng)目進(jìn)行說明

5.hadoop常用的端口號(hào),mapreduce過程發(fā)生了幾次排序

6.yarn提交job的流程

7.yarn的調(diào)度器選擇,工作中怎么選擇調(diào)度器的

8.hadoop的優(yōu)化

9.zookeeper的選舉機(jī)制

hive框架

10.hive的架構(gòu)以及hive是怎么解析成mr的,說下即可

11.hive和數(shù)據(jù)庫的比較,有哪些區(qū)別

從數(shù)據(jù)的存儲(chǔ),底層的原理,語法的不同,分析業(yè)務(wù)的不同,具體的業(yè)務(wù)場(chǎng)景以及各自的優(yōu)化(就說了這些,其他的沒有問我了)

12.hive的優(yōu)化,分區(qū),分桶

13.4個(gè)排序的區(qū)別

14.hive工作中常用的函數(shù)

15.怎么自定義udf函數(shù)

16.hive導(dǎo)入數(shù)據(jù)的幾種方式

17.hive導(dǎo)出數(shù)據(jù)的幾種方式

flume框架

1.flume的組件

2.flume怎么采集數(shù)據(jù)的

3.flume怎么自定義攔截器

4.flume的數(shù)據(jù)積壓,回答分區(qū)和提交拉取批數(shù)(實(shí)際工作中怎么提高拉取數(shù)的,舉例說明)

5.flume如何支持?jǐn)帱c(diǎn)續(xù)傳

flume最新的版本有tail sources (你要去了解配置的過程)

kafka框架

1.kafka消息不丟失機(jī)制

這個(gè)問題從兩個(gè)方面講一般沒問題 1.從kafka0.8版本和kafka0.10版本講各自偏移量的一個(gè)位置 2.kafka的ack機(jī)制

2.kafka副本機(jī)制

3.項(xiàng)目中kafka的topic設(shè)置

4.kafka掛掉怎么解決

5.kafka分區(qū)策略

6.kafka重平衡機(jī)制

hbase框架

1.hbase機(jī)構(gòu)必須了解

2.hbase的讀寫流程

3.rowkey的設(shè)計(jì)(項(xiàng)目中如何設(shè)計(jì),為什么要這樣設(shè)計(jì))

4.hbase是怎么將數(shù)據(jù)保存到hdfs的

具體是怎么刷寫到hdfs的

5.hbase的二級(jí)索引是怎么實(shí)現(xiàn)的

6.hbase的小文件太多怎么處理的

7.hbase的高水位機(jī)制

scala語言

1.scala中class與case class區(qū)別

2.scala的柯里化

3.scala閉包如何理解的

4.scala高階函數(shù)(必須會(huì),這塊問的最多)

spark框架

1.spark作業(yè)提交流程

2.spark中的rdd特點(diǎn),說下你分別是怎么理解的

3.spark的部署模式

4.寬依賴和窄依賴

5.spark的shuffle與hadoop的shuffle有什么區(qū)別

6.saprk廣播變量

7.spark的調(diào)優(yōu)(調(diào)優(yōu)結(jié)合工作中的項(xiàng)目來說)

8.saprksql與hivesql有什么區(qū)別

9.sparkstreaming消費(fèi)kafka的兩種api

10.saprkstreaming：

你在工作中消費(fèi)kafka數(shù)據(jù)如何保證數(shù)據(jù)的不丟失和只消費(fèi)一次(這塊工作中無法保證數(shù)據(jù)的重復(fù)消費(fèi))

重復(fù)消費(fèi):官網(wǎng)解釋是有三個(gè)條件 1.采用kafka數(shù)據(jù)源 2.采用rdd 3.冪等性或者事務(wù)約束事務(wù)是把提交偏移量和寫數(shù)據(jù)搞成事務(wù),做到兩個(gè)成功才算成功,這個(gè)是我之前看spark官網(wǎng)看到的,說出這個(gè)就不會(huì)再問你了

11.手寫saprk的wordcount程序

12.saprk提交作業(yè)的參數(shù)有哪些,工作中如何設(shè)置參數(shù)的

java技術(shù)面試知識(shí)點(diǎn)

1.hashmap和hashtab的區(qū)別

2.多線程用過嗎,用過多線程的三方框架嗎,多線程實(shí)現(xiàn)的方式

3.gc回收算法,每個(gè)算法的場(chǎng)景,各自由什么優(yōu)點(diǎn)與缺點(diǎn)

4.jvm是怎么實(shí)現(xiàn)跨平臺(tái)的

5.jvm調(diào)優(yōu)

6.手寫冒泡排序,歸并排序,快速排序,選擇排序以及希爾排序(具體可以百度十大排序算法,這個(gè)必須要會(huì))

7.手寫單例模式的懶漢和惡漢模式

8.項(xiàng)目中有沒有高并發(fā)場(chǎng)景,如果有怎么做的,沒有的話談?wù)勀銓?duì)高并發(fā)的一個(gè)理解

9.還有其他的源碼就不會(huì)問了,因?yàn)槲抑肮ぷ魇墙佑|源碼比較多,基本上都是基于源碼的開發(fā),所以問的多

10.關(guān)于集合的線程安全看看

項(xiàng)目面試

1.數(shù)據(jù)量多大

2.數(shù)據(jù)的峰值多少

3.項(xiàng)目的難點(diǎn)這塊簡(jiǎn)歷一定要體現(xiàn),建議直接百度護(hù)著谷歌去搜索什么技術(shù)的項(xiàng)目難點(diǎn),試著把你的項(xiàng)目運(yùn)用上去

4.集群的配置情況,你如果說你會(huì)saprk 集群的內(nèi)存必須要去了解的,因?yàn)閟park涉及到調(diào)優(yōu),你不了解內(nèi)存啥的沒有人會(huì)信你的調(diào)優(yōu)的

5.你不了解的技術(shù)千萬不要寫上去,不然你會(huì)很難受的,盡量挑選自己掌握特別好的,關(guān)于怎么轉(zhuǎn)到大數(shù)據(jù)的,這點(diǎn)非常重要,如果說你之前實(shí)習(xí)做的java轉(zhuǎn)到大數(shù)據(jù)的,面試官會(huì)問你java的知識(shí)點(diǎn),因?yàn)槟沩?xiàng)目沒有寫java,面試官會(huì)認(rèn)為你怕問java,一般什么不會(huì)就問哪個(gè)

6.你怎么轉(zhuǎn)到大數(shù)據(jù)這個(gè)行業(yè)的,這個(gè)關(guān)系到是否會(huì)問你java的問題,建議自己想個(gè)理由

7.關(guān)于簡(jiǎn)歷問題:簡(jiǎn)歷上的每個(gè)項(xiàng)目建議多想幾個(gè)項(xiàng)目難點(diǎn),因?yàn)檎嬲_發(fā)過程中是不可能沒有遇到問題的(這個(gè)合理的話會(huì)有加分項(xiàng)的)

8.項(xiàng)目的架構(gòu)以及流程圖必須要會(huì)畫

9.技巧:

1.一般面試官問你很多理論,項(xiàng)目問的特別少的話,說明他知道你是什么情況,說明你只要符合要求就能入職

2.如果面試官一直問項(xiàng)目就說明,他們這個(gè)項(xiàng)目很急或者是急著找人,一進(jìn)去就能干活的這種,這時(shí)就要問你項(xiàng)目的細(xì)節(jié),判斷你是否真的做過,是否來了后能馬上開始做項(xiàng)目

·················END·················

你好，我是峰哥，一個(gè)騷氣的肌肉男。

二本車輛工程轉(zhuǎn)型大數(shù)據(jù)開發(fā)，拿過66個(gè)大數(shù)據(jù)offer。

畢業(yè)一年，完全靠自己在上海買房，點(diǎn)此看我2020年總結(jié)。

同時(shí)，我獨(dú)自窮游過15個(gè)國(guó)家，60座城市，還是一位擁有國(guó)家教練資格證的健美選手。

不定時(shí)在朋友圈更新健身、旅行、技術(shù)感悟，歡迎添加我的微信?Fawn0504?一起交流進(jìn)步。

深圳公司大數(shù)據(jù)面試題匯總