Zeppelin 實(shí)踐 | 如何在 Zeppelin 里定制 Python環(huán)境
對(duì)于Python開(kāi)發(fā)人員來(lái)說(shuō)，定制Python環(huán)境是一個(gè)必不可少的步驟。特別是對(duì)于多租戶(hù)來(lái)說(shuō)，大家在同一個(gè)集群里，但對(duì)Python環(huán)境有不同的需求：可能大家要用的Python版本不一樣，也有可能大家要用的第三方庫(kù)不一樣。今天就給大家介紹下如何在Zeppelin里定制Python環(huán)境。這篇文章講的是在hadoop yarn集群里實(shí)現(xiàn)Python的多租戶(hù)開(kāi)發(fā)，每個(gè)人如何定制自己的Python 環(huán)境。本文的例子都可以在下面這個(gè)鏈接找到，你可以把note下載到本地重現(xiàn)本文講的內(nèi)容。
http://zeppelin-notebook.com/#/notebook/2G7RDR415
另外本文的所講的這個(gè)特性還沒(méi)有正式發(fā)布，如果想嘗試，請(qǐng)掃描加入Zeppelin釘釘群（34038239）或者掃描加入這個(gè)Flink on Zeppelin釘釘群，下載最新版的Zeppelin。
Step 1. 用Conda 定制Python環(huán)境
Zeppelin本身集成了Shell Interpreter，所以你可以用Shell Interpreter 來(lái)創(chuàng)建Conda環(huán)境，不過(guò)首先你需要安裝以下工具
miniconda https://docs.conda.io/en/latest/miniconda.html
conda-pack https://conda.github.io/conda-pack/
mamba https://github.com/mamba-org/mamba
Step 2. 配置 Python Interpreter
Zeppelin 的 Interpreter有不同的運(yùn)行模式，比如Shared，Isolated （https://www.yuque.com/jeffzhangjianfeng/ggi5ys/uls6am），這里推薦大家用Per Note Isolated，這樣每個(gè)Note 就有自己獨(dú)立的Python Interpreter，你可以為每個(gè)Note配置不同的Python Interpreter.
有3個(gè)配置選項(xiàng)需要配置：
zeppelin.interpreter.launcher 設(shè)為 yarn，這樣你的Python Interpreter就會(huì)運(yùn)行在Yarn container 里
zeppelin.yarn.dist.archives 設(shè)為 Step 1 上傳到hdfs上的路徑，注意后面有個(gè)#environment，這個(gè)是yarn的語(yǔ)法，yarn會(huì)在yarn container里把這個(gè)tar包解壓到文件夾 environment
zeppelin.interpreter.conda.env.name 就是上面那個(gè)environment 文件夾，Zeppelin 會(huì)在這個(gè)文件夾里做一些初始化工作，否則這個(gè)conda env沒(méi)法在yarn環(huán)境下正常工作
Step 3. 使用 Python Interpreter
接下來(lái)你就可以使用這個(gè)定制了上面這個(gè)Python環(huán)境的Python Interpreter，比如，下面2個(gè)例子里，一個(gè)用了Matplotlib，一個(gè)用了Plotnine
另外社區(qū)也實(shí)現(xiàn)了如何在PySpark里實(shí)現(xiàn)類(lèi)似的功能，具體使用方法會(huì)發(fā)在另外一篇文章里，大家敬請(qǐng)期待。
----------------- 招聘-----------------
開(kāi)宗明義，我們認(rèn)為大數(shù)據(jù)上半場(chǎng)戰(zhàn)斗已經(jīng)結(jié)束，上半場(chǎng)戰(zhàn)斗主要是底層引擎之爭(zhēng)，目前已經(jīng)趨于穩(wěn)定。大數(shù)據(jù)的下半場(chǎng)戰(zhàn)斗將發(fā)生在引擎之上的平臺(tái)層。
如果你是有經(jīng)驗(yàn)的大數(shù)據(jù)工程師，可能會(huì)有下面這3個(gè)痛點(diǎn)： 1. 缺少一個(gè)真正的可以提高工程師開(kāi)發(fā)效率的平臺(tái)。通常你需要在本地開(kāi)發(fā)，然后打包上傳代碼，切換到集群環(huán)境里跑你的代碼，如果出現(xiàn)錯(cuò)誤，需要重新打包上傳，整個(gè)過(guò)程效率低下，從開(kāi)發(fā)到生產(chǎn)環(huán)境的過(guò)渡不夠smooth。
2. 與上下游整合效率低下。大數(shù)據(jù)不是一個(gè)孤立的領(lǐng)域，通常需要結(jié)合上下游，上游是數(shù)據(jù)源，下游是BI，AI應(yīng)用，現(xiàn)在大部分情況你需要在各種工具之間做切換以及數(shù)據(jù)交換才能完成整個(gè)端到端的解決方案。
3. 對(duì)接各種引擎成本太高。通常情況下，一個(gè)企業(yè)內(nèi)有多種引擎來(lái)應(yīng)對(duì)各種不同場(chǎng)景，你需要對(duì)接各種引擎，而每種引擎的對(duì)接方式又是千差萬(wàn)別，導(dǎo)致引擎對(duì)接成本太高。
我們是阿里云的大數(shù)據(jù)開(kāi)放平臺(tái)組，立志于打造一款革命性的大數(shù)據(jù)開(kāi)發(fā)平臺(tái)產(chǎn)品來(lái)解決上面的問(wèn)題。如果你有志于為大數(shù)據(jù)領(lǐng)域做出一些小小的貢獻(xiàn)，歡迎加入我們。
崗位要求
? 基本功扎實(shí)，有學(xué)習(xí)的熱情和態(tài)度，有很強(qiáng)的解決問(wèn)題能力。有快速學(xué)習(xí)新框架，看源碼的能力。
? 熟悉Java，Python等開(kāi)發(fā)語(yǔ)言，具備扎實(shí)的計(jì)算機(jī)理論基礎(chǔ),
? 具有良好的軟件架構(gòu)設(shè)計(jì)能力和寫(xiě)可讀性高的代碼能力
? 有大數(shù)據(jù)研發(fā)經(jīng)驗(yàn)者。例如利用大數(shù)據(jù)框架（Hadoop，Spark，F(xiàn)link 等等）工具構(gòu)建過(guò)大數(shù)據(jù)產(chǎn)品或者ETL，大數(shù)據(jù)分析等，并且需要理解主流引擎的內(nèi)部工作機(jī)制。
? 不僅有技術(shù)的深度，也有做產(chǎn)品的熱情和sense。
? 有數(shù)據(jù)分析經(jīng)驗(yàn)，機(jī)器學(xué)習(xí)經(jīng)驗(yàn)者加分
? 有開(kāi)源貢獻(xiàn)經(jīng)驗(yàn)者加分
這是一次難得的機(jī)會(huì)，希望我們有機(jī)會(huì)一起來(lái)做一個(gè)偉大的產(chǎn)品。
有意者請(qǐng)發(fā)送簡(jiǎn)歷到 [email protected]公司地址：浦東張江人工智能島