那些在背后悄悄努力，然后驚艷所有人的小事
點(diǎn)擊查看小易悄悄話
“做了多年的數(shù)據(jù)分析，還會一直繼續(xù)下去”
易觀成立數(shù)年來雖然有業(yè)務(wù)線的不同，但始終在滿足用戶需求，圍繞著數(shù)據(jù)分析這一條路來走。也經(jīng)歷了幫助企業(yè)從發(fā)現(xiàn)問題-量化問題-解決問題的完整閉環(huán)過程。
2020年10月23日，為了更好的滿足用戶需求，易觀品牌拆分為易觀分析和易觀數(shù)科，易觀分析聚焦數(shù)字用戶洞察，易觀數(shù)科專注智能用戶運(yùn)營。
有時候我們常常在想，與其說我們是用產(chǎn)品和服務(wù)的形式在幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)驅(qū)動，不如說我們是在賦予用戶一種能力，一種數(shù)據(jù)分析的能力，讓他們能夠更快的邁入數(shù)據(jù)的門檻，通過數(shù)據(jù)驅(qū)動重構(gòu)企業(yè)的競爭力。這也是踐行易觀讓數(shù)據(jù)能力平民化的使命。
現(xiàn)在，很多行業(yè)和企業(yè)都面臨著數(shù)字化轉(zhuǎn)型，易觀也在用自己的力量和生態(tài)的方式持續(xù)賦能給更多的行業(yè)和企業(yè)。在數(shù)字化的大潮中，我們所做的可能是星星之火，但相信星星之火可以燎原。
“開放Argo，賦能初創(chuàng)團(tuán)隊(duì)數(shù)字化轉(zhuǎn)型”
為什么要做免費(fèi)版的Argo? 這是很多人會問我們的一個問題。
記得之前數(shù)據(jù)分析師的小伙伴有分享他過往和創(chuàng)業(yè)經(jīng)歷的所見所聞，發(fā)現(xiàn)企業(yè)數(shù)字化做的最好的還是頭部的公司，而像中小型企業(yè)和轉(zhuǎn)型期的企業(yè)來講，數(shù)字化的水平并不高，這也是易觀作為一家數(shù)據(jù)服務(wù)公司來講最大的價值。
確實(shí)，數(shù)字化時代無論企業(yè)大小都需要時刻關(guān)注用戶與產(chǎn)品的精細(xì)化運(yùn)營，然而許多剛起步的企業(yè)或創(chuàng)新團(tuán)隊(duì)都面臨著預(yù)算緊張、數(shù)據(jù)量小的尷尬境地，我們希望通過開放argo的能力，幫助創(chuàng)新創(chuàng)業(yè)團(tuán)隊(duì)實(shí)現(xiàn)數(shù)字化，陪伴大家一起成長。
值得一提的是，argo這款產(chǎn)品是方舟產(chǎn)品團(tuán)隊(duì)自下而上推動起來的，公司內(nèi)部一致認(rèn)同，全票通過。在正式產(chǎn)品發(fā)布后，也受到了市場很熱烈的反響。
不過事事沒有一帆風(fēng)順，在越來越多用戶開始下載argo的同時，我們也迎來了用戶部署上的一連串問題：
安裝到install ambari.sh mysql出錯怎么辦？
如何判斷一臺機(jī)器是否可以部署Argo呢？
上報數(shù)據(jù)的端口如何修改？
安裝過程中“集群分發(fā)失敗報錯”如何處理？
易觀方舟社區(qū)部分問題
想要做成一件事的確不容易。當(dāng)時接收到如此多客戶問題的我們，還是有些興奮的，因?yàn)橥瑫r面臨如此多客戶的疑問，證明這款產(chǎn)品對于他們來講有價值。
所以當(dāng)時我們立刻投身于“智能客服”的工作，一個又一個，一遍又一遍的解答客戶的問題，幫助他們成功使用argo。同時收集用戶反饋的共性和痛點(diǎn)問題，不斷地沉淀內(nèi)容和文檔，提供更加豐富詳實(shí)的FAQ，使用戶通俗易懂。
另一方面，為了降低用戶的使用門檻，我們組成了虛擬的技術(shù)小組，研發(fā)鏡像文件，讓用戶只需要點(diǎn)一下就能夠成功部署argo，無需操作。讓用戶最快半小時的時間就能夠?qū)崿F(xiàn)數(shù)據(jù)驅(qū)動。
當(dāng)時經(jīng)常會感嘆，“智能客服”的工作很無聊，還沒有成長。但每當(dāng)看到用戶成功部署、回數(shù)、搭建看板、數(shù)據(jù)應(yīng)用等過程中，又在慶幸自己參與到一項(xiàng)偉大的工作中。
賦能是雙向的，在Argo使用過程中我們收獲了很多意外的驚喜。
有的用戶的產(chǎn)品版本升級在沒有社區(qū)幫助的情況下，自行完成并主動撰寫了升級文檔分享在argo社區(qū)，同時也有很多用戶在深入使用產(chǎn)品后，提出了改進(jìn)建議......
回想現(xiàn)在，Argo已經(jīng)積累數(shù)百家使用者，涉及金融、零售、醫(yī)療、教育、游戲、電商、汽車等多個領(lǐng)域，開放的 Argo 社區(qū)中，薈聚了數(shù)千位開發(fā)者和數(shù)據(jù)從業(yè)者。這些都是我們一磚一瓦積累起來的，但是還沒有結(jié)束，數(shù)據(jù)能力平民化的路上我們會陪伴更多用戶一起成長。
“賦能開發(fā)者，Apache DolinphinScheduler背后的開源精神”
2017 年，易觀在運(yùn)營自己 6.8Pb 大小、6.02 億月活、每天近萬個調(diào)度任務(wù)的大數(shù)據(jù)平臺時，受到 ETL 復(fù)雜的依賴關(guān)系、平臺易用性、可維護(hù)性及二次開發(fā)等方面掣肘，易觀的技術(shù)團(tuán)隊(duì)渴望找到一個具有以下功能的數(shù)據(jù)調(diào)度工具：
“
·易于使用和維護(hù)，開發(fā)人員可以通過非常簡單的拖拽操作構(gòu)建 ETL 過程。不僅對于ETL 開發(fā)人員，無法編寫代碼的人也可以使用此工具進(jìn)行 ETL 操作，例如分析師；
·解決“復(fù)雜任務(wù)依賴”問題，并且可以實(shí)時監(jiān)視ETL運(yùn)行狀態(tài)；
·支持多租戶；
·支持許多任務(wù)類型：Shell，MR，Spark，F(xiàn)link，SQL（Mysql，Postgresql，Hive，Sparksql，Clickhouse等），DataX，Sqoop，Python，Sub_Process，Procedure 等；
·支持 HA 和線性可擴(kuò)展性。
輾轉(zhuǎn)嘗試后，發(fā)現(xiàn)現(xiàn)有的開源項(xiàng)目都沒能夠達(dá)到我們的要求，因此技術(shù)團(tuán)隊(duì)決定自行開發(fā)這個工具。在確定了開源目標(biāo)后，開源的種子就種在了每一位項(xiàng)目成員的心中，它是易觀踐行數(shù)據(jù)能力平民化的使命，也是所有人的共識和承諾。
要采用模塊化的設(shè)計，這樣才能便于開源后的協(xié)同開發(fā)；要選用開源的技術(shù)組件，這樣才能便于開源后讓更多的開發(fā)者參與進(jìn)來；大道至簡，一定要做到開箱即用，我們調(diào)度的名字就叫 EasyScheduler.....
就這樣，伴隨著每一位的手舞足蹈，熱情澎湃和唇槍舌劍，2017 年 12 月在北京市朝陽區(qū)恒通商務(wù)園B12棟3層辦公室里，拉開了 EasyScheduler 的序幕。
開源的種子雖已種下，但只有破土而出，才能扎根于大地。ASF 作為全球最大的開源基金會，一直致力于開源軟件生態(tài)的營造，讓軟件技術(shù)能夠在全球共享，這是ASF 無比耀眼的魅力所在。
我們要扎根 ASF，我們要進(jìn)入到全球最大的開源組織，讓我們的項(xiàng)目在全球共享，于是我們決定正式探索 Apache 開源孵化之路這是一個 0 到 1 的問題，這是一個需要拿到入場券資格的問題，那么如何才能夠進(jìn)入 Apache 呢？一個項(xiàng)目如果希望進(jìn)入到 Apache 孵化器，至少需要 1 名 Champion 和 2 名 mentor。所以我們的第一個難題就是如何找到 champion 和mentor。
ASF 孵化器擁有導(dǎo)師 200 多位，然而當(dāng)時活躍的中國導(dǎo)師不超過 5 位，ALC Beijing 也沒有成立，我們只能四處詢問，八方求援，經(jīng)歷了無數(shù)次的嘗試，甚至出現(xiàn)了一絲絲的動搖， 但是我們馬上就想到團(tuán)隊(duì)每一個人的付出和努力、想到那些默默支持我們前行的用戶、想到一開始就種在我們心中的開源之夢， 我們堅信有信念就一定有遠(yuǎn)方，有夢想就一定有希望，我們堅信彩虹一定會出現(xiàn)，最終我們幸運(yùn)地迎來了我們的 champion 和 mentor。
至今仍清晰記得初見吳晟老師的場景：吳晟老師用了將近一下午的時間給我們普及了 Apache 孵化器的一些標(biāo)準(zhǔn)和 Apache Way，我們也從最開始的喜悅興奮變?yōu)榱四了肌?/span>
第二個迎頭重?fù)艟褪?Apache 的 license 協(xié)議遵從，我們需要檢查所有的依賴是否符合 license 許可，否則就需要修改，于是又經(jīng)過了幾個月的重構(gòu)和升級。這里還有一個小插曲，我們在申請進(jìn)入 Apache 孵化器過程當(dāng)中，發(fā)現(xiàn) Easy Scheduler 不是全球唯一的名字，于是又進(jìn)行了投票最終選中了 DolphinScheduler。
所幸我們一直堅定著信念，天道酬勤，當(dāng)美國時間 2019 年 8 月 29 號 DolphinScheduler 全票通過正式成為 Apache 孵化器項(xiàng)目的時候， 每個人都洋溢著開心的笑容，但是我們又很快的冷靜下來，真正的 Apache Way 也許才剛剛開始。
第一次的 Apache release，是孵化過程中很重要的一個里程碑。DS 用了4個月的時間發(fā)出了第一個 Apache release，一個很大的原因就是起初代碼層面上關(guān)注較多，而Apache對于license和商標(biāo)有著近乎嚴(yán)苛的要求，在 release 的時候會進(jìn)行非常仔細(xì)地檢查， 字體的版權(quán)或者某個前端組件使用的 license 不合規(guī)范都會結(jié)束本次的發(fā)版投票。
Apache DolphinScheduler 已經(jīng)切實(shí)幫助到了IBM、騰訊、中國平安、美團(tuán)、360、招商銀行、科大訊飛、聯(lián)通、多點(diǎn)、芒果tv、雪球等眾多用戶落地實(shí)際應(yīng)用場景，真正享受到數(shù)據(jù)價值。
目前，易觀累計服務(wù)2000+家客戶
argo社區(qū)中，薈聚了近2000位開發(fā)者和數(shù)據(jù)從業(yè)者
Apache DolphinScheduler有400+團(tuán)隊(duì)和1000+個人用戶在使用
當(dāng)然，實(shí)際遠(yuǎn)不止這個數(shù)字，且一直在增長中
他們說，
數(shù)據(jù)分析這件事，會一直做下去
讓數(shù)據(jù)能力平民化的路上，
期待你的加入
END
歡迎評論區(qū)分享你身邊
或聽過的感動你的「一件小事」？
一起溫暖這個寒冬吧~
●易觀|聚集一批優(yōu)秀的人，做成一件有意義的事
●探秘|支撐月活6億用戶兩級的易觀數(shù)科SDK團(tuán)隊(duì)
●在易觀數(shù)科，遇見更好的自己
●易觀數(shù)科|快速迭代能否真正提升效率？
???更多招聘詳情，請點(diǎn)擊“閱讀原文”
點(diǎn)個“在看”，小可愛永遠(yuǎn)18歲~
