獨(dú)家 | 一文揭開(kāi)領(lǐng)英機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施的面紗-領(lǐng)英機(jī)器學(xué)習(xí)架構(gòu)和技術(shù)概覽
作者：Jesus Rodriguez 翻譯：王闖（Chuck）
校對(duì)：歐陽(yáng)錦
本文約1700字，建議閱讀5分鐘 本文介紹了全球知名職業(yè)社交平臺(tái)領(lǐng)英（LinkedIn）背后的大規(guī)模機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施，從中我們得以一窺硅谷互聯(lián)網(wǎng)大廠的機(jī)器學(xué)習(xí)架構(gòu)和工程技術(shù)實(shí)踐前沿。
標(biāo)簽：機(jī)器學(xué)習(xí)、架構(gòu)、TensorFlow、領(lǐng)英、LinkedIn
?
盡管領(lǐng)英機(jī)器學(xué)習(xí)技術(shù)棧中的?多數(shù)技術(shù)都是眾所周知的，但仍有?些新的貢獻(xiàn)值得進(jìn)?步探索：
Ambry：領(lǐng)英的Ambry是?個(gè)分布式不可變blob存儲(chǔ)系統(tǒng)，它具有高可?性，非常易于擴(kuò)展，經(jīng)過(guò)優(yōu)化能夠提供下至KB、上至GB??的不可變對(duì)象，具備高吞吐和低延遲特性，并?持從客戶(hù)端到存儲(chǔ)層的相互傳輸。該系統(tǒng)已經(jīng)被部署在跨多個(gè)數(shù)據(jù)中?，能在主動(dòng)-主動(dòng)設(shè)置（active-active setup）模式下?作，存儲(chǔ)成本大大降低。
TonY：TensorFlow on YARN(TonY)是?個(gè)原?運(yùn)行在Apache Hadoop上的TensorFlow框架。TonY?持將單節(jié)點(diǎn)或分布式TensorFlow訓(xùn)練作為Hadoop應(yīng)?程序運(yùn)行。
PhotonML：Photon ML是?個(gè)基于Apache Spark的機(jī)器學(xué)習(xí)庫(kù)。?前，Photon ML?持訓(xùn)練不同類(lèi)型的?義線性模型（GLM）和?義線性混合模型（GLMMs/GLMix），如：邏輯回歸、線性回歸和泊松回歸。
Hadoop 上的 TensorFlow
?
上個(gè)?，領(lǐng)英?程團(tuán)隊(duì)在YARN(TonY)框架上開(kāi)源了其TensorFlow的第?個(gè)版本。該版本的?標(biāo)是使TensorFlow程序能夠在分布式Y(jié)ARN集群上運(yùn)行。雖然TensorFlow?作流已經(jīng)在 Apache Spark等基礎(chǔ)設(shè)施上得到?泛?持，但YARN仍然在很?程度上被機(jī)器學(xué)習(xí)社區(qū)所忽視。TonY能夠通過(guò)處理資源協(xié)商和容器環(huán)境設(shè)置等任務(wù)，對(duì)在Hadoop上運(yùn)行的TensorFlow作業(yè)提供一流的支持。
圖片來(lái)源：
?https://engineering.linkedin.com/blog/2018/09/open-sourcing-tony--native-support-of-tensorflow-on-hadoop
圖片來(lái)源：
https://engineering.linkedin.com/blog/2018/09/open-sourcing-tony--native-support-of-tensorflow-on-hadoop
?
編輯：王菁
校對(duì)：林亦霖
譯者簡(jiǎn)介
王闖（Chuck），臺(tái)灣清華大學(xué)資訊工程碩士。曾任奧浦諾管理咨詢(xún)公司數(shù)據(jù)分析主管，現(xiàn)任尼爾森市場(chǎng)研究公司數(shù)據(jù)科學(xué)經(jīng)理。很榮幸有機(jī)會(huì)通過(guò)數(shù)據(jù)派THU微信公眾平臺(tái)和各位老師、同學(xué)以及同行前輩們交流學(xué)習(xí)。
翻譯組招募信息
工作內(nèi)容：需要一顆細(xì)致的心，將選取好的外文文章翻譯成流暢的中文。如果你是數(shù)據(jù)科學(xué)/統(tǒng)計(jì)學(xué)/計(jì)算機(jī)類(lèi)的留學(xué)生，或在海外從事相關(guān)工作，或?qū)ψ约和庹Z(yǔ)水平有信心的朋友歡迎加入翻譯小組。
你能得到：定期的翻譯培訓(xùn)提高志愿者的翻譯水平，提高對(duì)于數(shù)據(jù)科學(xué)前沿的認(rèn)知，海外的朋友可以和國(guó)內(nèi)技術(shù)應(yīng)用發(fā)展保持聯(lián)系，THU數(shù)據(jù)派產(chǎn)學(xué)研的背景為志愿者帶來(lái)好的發(fā)展機(jī)遇。
其他福利：來(lái)自于名企的數(shù)據(jù)科學(xué)工作者，北大清華以及海外等名校學(xué)生他們都將成為你在翻譯小組的伙伴。
點(diǎn)擊文末“閱讀原文”加入數(shù)據(jù)派團(tuán)隊(duì)~
轉(zhuǎn)載須知
如需轉(zhuǎn)載，請(qǐng)?jiān)陂_(kāi)篇顯著位置注明作者和出處（轉(zhuǎn)自：數(shù)據(jù)派ID：DatapiTHU），并在文章結(jié)尾放置數(shù)據(jù)派醒目二維碼。有原創(chuàng)標(biāo)識(shí)文章，請(qǐng)發(fā)送【文章名稱(chēng)-待授權(quán)公眾號(hào)名稱(chēng)及ID】至聯(lián)系郵箱，申請(qǐng)白名單授權(quán)并按要求編輯。
發(fā)布后請(qǐng)將鏈接反饋至聯(lián)系郵箱（見(jiàn)下方）。未經(jīng)許可的轉(zhuǎn)載以及改編者，我們將依法追究其法律責(zé)任。
點(diǎn)擊“閱讀原文”擁抱組織