從0到1搭建自助分析平臺

一、什么是自助分析平臺

自助分析平臺是構(gòu)建在大數(shù)據(jù)平臺之上的，依托于大數(shù)據(jù)平臺的數(shù)據(jù)研發(fā)能力，通過統(tǒng)一的數(shù)據(jù)服務(wù)，實現(xiàn)對數(shù)據(jù)查詢、分析的統(tǒng)一管理，為企業(yè)業(yè)務(wù)分析提供高效的數(shù)據(jù)決策支持，同時也避免數(shù)據(jù)工程師陷入繁雜的提數(shù)需求中。自助分析平臺是有計算機基礎(chǔ)的業(yè)務(wù)人員能夠快速上手的前端產(chǎn)品，既要有大數(shù)據(jù)的處理性能，有需要有簡單好用的可視化分析能力，只有讓業(yè)務(wù)人員能夠快速掌握使用方法，和公司的業(yè)務(wù)結(jié)合起來，自助分析平臺才有價值。其實，一直以來，各大公司的數(shù)據(jù)分析平臺都只有一個目標(biāo)——干掉Excel。

二、自助分析平臺該有哪些模塊

上面已經(jīng)介紹了，自助分析平臺是用來查詢數(shù)據(jù)，探索數(shù)據(jù)的，需要具備Excel已有的功能，還要比Excel做的更好。

• 支持多數(shù)據(jù)源接入

自助分析平臺要能夠支持多種數(shù)據(jù)源、不同數(shù)據(jù)類型文件的接入，能夠讓數(shù)據(jù)工程師和業(yè)務(wù)人員快速的把數(shù)據(jù)導(dǎo)入到自助分析平臺中。需要支持傳統(tǒng)的關(guān)系型數(shù)據(jù)庫、Hive、文件導(dǎo)入（Excel、CSV、TXT等）。

• 多維度分析

能夠?qū)?dǎo)入的數(shù)據(jù)進行快速查詢、過濾、聚合、排序、關(guān)聯(lián)等動態(tài)操作。比如業(yè)務(wù)人員已經(jīng)有一些用戶基本信息，它能夠通過導(dǎo)入用戶名，通過用戶名關(guān)聯(lián)到對應(yīng)的用戶分析數(shù)據(jù)。并能夠?qū)Σ煌愋偷挠脩暨M行分組聚合操作。以上所有的操作需要實現(xiàn)拖拽式，不需要讓業(yè)務(wù)人員寫一行代碼。

• 豐富的可視化

需要支持常用的可視化圖形，如餅狀圖、環(huán)圖、同軸曲線圖、柱狀圖、散點圖等，用戶需要綁定自己導(dǎo)入或者通過平臺清洗好的數(shù)據(jù)，既可以快速的生產(chǎn)對應(yīng)的分析圖表，制作可視化報告。

• 權(quán)限管控

自助分析平臺是對公司所有的業(yè)務(wù)人員使用的，需要有對應(yīng)的權(quán)限管控。比如A用戶制作的數(shù)據(jù)圖表，B用戶是不能夠查看的，只有A賦權(quán)給B后才能查看。自助分析平臺中的數(shù)據(jù)也要進行權(quán)限管控，比如敏感數(shù)據(jù)不能開放所有用戶，下載數(shù)據(jù)需要有流程審批等等。

• 高性能

數(shù)據(jù)分析查詢要快、自助分析要快、可視化要快。很多自助分析平臺最終變成了數(shù)據(jù)下載平臺，其中很大一部分原因就是不夠快，雖說大數(shù)據(jù)了比Excel快多了，但是實際業(yè)務(wù)探索中，很多時候數(shù)據(jù)量就是百萬以內(nèi)的，要是還沒有Excel快的話，人家為什么要用你的平臺呢？所以，不管是數(shù)據(jù)量大，還是數(shù)據(jù)量小，都要快！在技術(shù)上是否要考慮大數(shù)據(jù)量和中小數(shù)據(jù)量使用不能的查詢計算引擎呢？

三、自助分析平臺架構(gòu)

• 自助分析引擎

對于超大數(shù)據(jù)量的復(fù)雜查詢分析，我們可以使用Spark提交任務(wù)的方式來實現(xiàn)自助分析。對于中小數(shù)據(jù)量的數(shù)據(jù)我們使用MPP數(shù)據(jù)庫實現(xiàn)快速查詢。

• 可視化

我們可以使用echarts支撐多種類型圖表展示，或者使用superset等開源自助分析項目進行展示。

• 權(quán)限
  

為做到相互隔離和數(shù)據(jù)安全，后臺管控系統(tǒng)通過條件限制控制數(shù)據(jù)的授權(quán)，對手機號、身份證號、郵箱等敏感信息管控端采用加密算法防止數(shù)據(jù)泄露。

四、總結(jié)

實際中業(yè)務(wù)人員和IT團隊對于自助分析平臺的搭建都有自己的想法，也想通過數(shù)據(jù)來給公司去做一些事情，所以在建立自助分析平臺時，可以和業(yè)務(wù)人員不斷的溝通，先定一些主題數(shù)據(jù)，做成果展示，和業(yè)務(wù)人員以及領(lǐng)導(dǎo)分享，讓其參與評價和建議，不斷優(yōu)化和改善，當(dāng)相關(guān)人員都有參與感時，自助分析平臺才會持久發(fā)展。

最后，還是要提醒一下，自助分析平臺的目的是“干掉Excel”，讓所有的分析結(jié)果存儲在線上，千萬不要讓其淪為數(shù)據(jù)下載平臺。