推薦一個(gè)用心的公眾號(hào)
自我介紹
歡迎大家關(guān)注曉陽(yáng)的數(shù)據(jù)小站,號(hào)主是一名興趣廣泛的程序員,經(jīng)歷過(guò)大數(shù)據(jù)發(fā)展的各個(gè)階段,主要分享大數(shù)據(jù)的技術(shù)文章與大數(shù)據(jù)的科普視頻,喜歡跟大家聊一聊日常數(shù)據(jù)工作的各種事情。雖然曉陽(yáng)從2020年才開始寫技術(shù)文章,但每周的堅(jiān)持,已經(jīng)形成了體系化的分享思路。日常會(huì)跟讀者分享數(shù)據(jù)技術(shù)的相關(guān)見(jiàn)解,包括數(shù)據(jù)思維、數(shù)據(jù)治理、數(shù)據(jù)倉(cāng)庫(kù)及數(shù)據(jù)架構(gòu)多個(gè)系列,有時(shí)間也寫一寫日常工作中的點(diǎn)點(diǎn)滴滴。
精彩文章分享
《數(shù)據(jù)資產(chǎn)治理概要:用數(shù)據(jù)來(lái)治理數(shù)據(jù)》
毛主席說(shuō):“研究任何過(guò)程,如果是存在著兩個(gè)以上矛盾的復(fù)雜過(guò)程的話,就要用全力找出它的主要矛盾,捉住了這個(gè)主要矛盾,一切問(wèn)題就迎刃而解了。”
對(duì)于數(shù)據(jù)治理而言,矛盾就是:“有限的機(jī)器資源與存儲(chǔ)計(jì)算的無(wú)限增長(zhǎng)之間的矛盾”。
因?yàn)榇嬖谥饕?,因而“?shù)據(jù)治理”在被提出10多年后,依然是目前數(shù)據(jù)領(lǐng)域的熱門問(wèn)題。解決的方法也很簡(jiǎn)單,就是盡量限制存儲(chǔ)計(jì)算的增長(zhǎng),不論是通過(guò)技術(shù)手段,比如數(shù)據(jù)壓縮、列式存儲(chǔ),還是通過(guò)方法論,比如維度建模、存儲(chǔ)健康分,都能夠延緩數(shù)據(jù)增長(zhǎng)的困境。
《數(shù)據(jù)倉(cāng)庫(kù)有坑怎么辦,如何從0到1來(lái)填坑》
“填坑”是一個(gè)新人剛加入團(tuán)隊(duì),或者是接手一個(gè)新業(yè)務(wù),所以經(jīng)常需要面對(duì)的事情。
“坑”的出現(xiàn),與歷史業(yè)務(wù)的發(fā)展,密切相關(guān)。通常體現(xiàn)在:業(yè)務(wù)快速變動(dòng)、人員快速流動(dòng)、系統(tǒng)化建設(shè)能力弱、強(qiáng)行上馬面子工程等情況。雖然數(shù)據(jù)開發(fā)人員能夠意識(shí)到數(shù)據(jù)倉(cāng)庫(kù)規(guī)范性的重要,但迫于日常的數(shù)據(jù)開發(fā)壓力,往往只能匆忙的制訂一份規(guī)范,在實(shí)際開發(fā)過(guò)過(guò)程中,往往又無(wú)法完全照搬落實(shí),因此形成了一個(gè)“不成熟”的數(shù)據(jù)倉(cāng)庫(kù)體系。
但是!我們不能坐以待斃,面對(duì)“理想”與“現(xiàn)實(shí)”的差距,我們必須有一套成熟的應(yīng)對(duì)方法,才能在紛亂的業(yè)務(wù)中,找到不變的哪條主線。
往期系列文章
數(shù)據(jù)思維系列
中臺(tái)難,前臺(tái)更難,為什么支持業(yè)務(wù)這么難
技術(shù)人的進(jìn)階之路:如何想清楚技術(shù)主管的職責(zé)
數(shù)據(jù)的Sense,離不開數(shù)據(jù)分析思維
數(shù)據(jù)倉(cāng)庫(kù)系列
數(shù)據(jù)倉(cāng)庫(kù)有坑怎么辦,如何從0到1來(lái)填坑
探索流批一體結(jié)構(gòu)下的實(shí)時(shí)數(shù)倉(cāng)
系統(tǒng)的設(shè)計(jì)一個(gè)指標(biāo)體系
數(shù)據(jù)治理系列
數(shù)據(jù)資產(chǎn)治理概要:用數(shù)據(jù)來(lái)治理數(shù)據(jù)
如何用科學(xué)的方法,保障數(shù)據(jù)準(zhǔn)確性
數(shù)據(jù)分析系列
大數(shù)據(jù)、統(tǒng)計(jì)學(xué)與機(jī)器學(xué)習(xí)是怎樣的關(guān)系
