系列 | 漫談數(shù)倉第三篇NO.3 『數(shù)據(jù)魔法』ETL
? ETL同步之道 [ Sqoop、DataX、Kettle、Canal、StreamSets ]
? ETL之技術棧 [ 重工具 vs 開發(fā)語言 ]
? ETL加載策略 [ Merge、Delta、拉鏈 ]
ETL，是英文 Extract-Transform-Load 的縮寫，用來描述將數(shù)據(jù)從來源端經(jīng)過抽取(extract)、轉換(transform)、加載(load)至目的端的過程。
數(shù)據(jù)同步之道
01. sqoop
Sqoop，SQL-to-Hadoop 即 “SQL到Hadoop和Hadoop到SQL”。
是Apache開源的一款在Hadoop和關系數(shù)據(jù)庫服務器之間傳輸數(shù)據(jù)的工具。主要用于在Hadoop與關系型數(shù)據(jù)庫之間進行數(shù)據(jù)轉移，可以將一個關系型數(shù)據(jù)庫（MySQL ,Oracle等）中的數(shù)據(jù)導入到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導出到關系型數(shù)據(jù)庫中。
sqoop命令的本質是轉化為MapReduce程序。sqoop分為導入（import）和導出（export），策略分為table和query，模式分為增量和全量。
命令簡單示例：
02. DataX
github地址：https://github.com/alibaba/DataX
支持數(shù)據(jù)源：
DataX本身作為離線數(shù)據(jù)同步框架，采用Framework + plugin架構構建。將數(shù)據(jù)源讀取和寫入抽象成為Reader+Writer插件，納入到整個同步框架中。
目前已到datax3.0框架設計：
datax使用示例，核心就是編寫json配置文件job：
03. kettle
Kettle，中文名：水壺，是一款國外免費開源的、可視化的、功能強大的ETL工具，純java編寫，可以在Windows、Linux、Unix上運行，數(shù)據(jù)抽取高效穩(wěn)定。
Kettle家族目前包括4個產(chǎn)品：Spoon、Pan、CHEF、Kitchen。
Kettle的最大特點：
免費開源：基于Java免費開源軟件
易配置：可跨平臺，綠色無需安裝
不同數(shù)據(jù)庫：ETL工具集，可管理不同數(shù)據(jù)庫的數(shù)據(jù)
兩種腳本文件：transformation和job，transformation完成針對數(shù)據(jù)的基礎轉換，job則完成整個工作流的控制
圖形界面設計：托拉拽，無需寫代碼
定時功能：在Job下的start模塊，有一個定時功能，可以每日，每周等方式進行定時
福利：需要Kettle資源教程視頻的同學，公眾號后臺回復關鍵字：kettle，即可獲取哦~
04. canal
canal是阿里巴巴旗下的一款開源項目，純Java開發(fā)。基于數(shù)據(jù)庫增量日志解析，提供增量數(shù)據(jù)實時訂閱和消費，目前主要支持了MySQL，也支持mariaDB。
很多大型的互聯(lián)網(wǎng)項目生產(chǎn)環(huán)境中使用，包括阿里、美團等都有廣泛的應用，是一個非常成熟的數(shù)據(jù)庫同步方案，基礎的使用只需要進行簡單的配置即可。
github地址：https://github.com/alibaba/canal
當前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x
canal是通過模擬成為mysql 的slave的方式，監(jiān)聽mysql 的binlog日志來獲取數(shù)據(jù)，binlog設置為row模式以后，不僅能獲取到執(zhí)行的每一個增刪改的腳本，同時還能獲取到修改前和修改后的數(shù)據(jù)，基于這個特性，canal就能高性能的獲取到mysql數(shù)據(jù)數(shù)據(jù)的變更。
05. StreamSets
Streamsets是一個大數(shù)據(jù)實時采集ETL工具，可以實現(xiàn)不寫一行代碼完成數(shù)據(jù)的采集和流轉。通過拖拽式的可視化界面，實現(xiàn)數(shù)據(jù)管道(Pipelines)的設計和定時任務調度。
數(shù)據(jù)源支持MySQL、Oracle等結構化和半/非結構化，目標源支持HDFS、Hive、Hbase、Kudu、Solr、Elasticserach等。創(chuàng)建一個Pipelines管道需要配置數(shù)據(jù)源(Origins)、操作(Processors)、目的地(Destinations)三部分。
Streamsets的強大之處：
拖拽式可視化界面操作，No coding required 可實現(xiàn)不寫一行代碼
強大整合力，100+ Ready-to-Use Origins and Destinations，支持100+數(shù)據(jù)源和目標源
可視化內置調度監(jiān)控，實時觀測數(shù)據(jù)流和數(shù)據(jù)質量
二、ETL之技術棧
2.1 工具
重工具，kettle、DataStage、Informatica 三大工具依舊牢牢穩(wěn)固傳統(tǒng)數(shù)倉三大主力位置。kettle與時俱進，在大數(shù)據(jù)數(shù)倉，如一些互聯(lián)網(wǎng)公司也有在使用kettle。
工具本文不再多做介紹。
2.2 語言
開發(fā)語言，傳統(tǒng)數(shù)倉一般SQL/Shell為主，互聯(lián)網(wǎng)數(shù)倉又對Python、Java、Scala提出了新的要求。
不管是傳統(tǒng)數(shù)倉，還是基于Hadoop生態(tài)的構建的(hive、spark、flink)數(shù)倉，SQL雖然戲碼在下降，但依然是重頭戲。強大的存儲過程，更是屹立不倒，這么多年都在熠熠生輝。
善于發(fā)現(xiàn)的你，一定會發(fā)現(xiàn)，在大數(shù)據(jù)生態(tài)，不管哪種數(shù)據(jù)處理框架，總有一天都會孵化出強大SQL的支持。如Hive SQL，Spark SQL，Blink SQL 等。此時，你或許會得出一個結論：
SQL是最好的語言！（不接受反駁。。）
對于SQL，基本技能也是必備技能。
各種join、嵌套/標量子查詢，強大的分析/窗口函數(shù)，變化無窮的正則表達式，層次查詢，擴展分組，MODEL，遞歸with，多維分析，排列組合，行列互轉，json解析，執(zhí)行計劃，四大類型(dql、dml、ddl、dcl)等，依然需要每個etl·er熟悉掌握。
SQLjoin，left/rignt/full join，每一個join都是暗藏韻理，on和where也不容小覷。
分析函數(shù) 簡捷高效，4類30+個分析/窗口函數(shù)最全總結，感興趣的同學請移步：SQL分析函數(shù)，看這一篇就夠了 （點擊鏈接即可）。
SQL開發(fā)規(guī)范和執(zhí)行計劃也需要每個erl·er在實際實踐中不斷加強、提煉、升級。
SQL開發(fā)規(guī)范 示例：
如果你還在傳統(tǒng)數(shù)倉領域，如果你還想將薪比薪，建議趕緊開始學Java、scala，擁抱大數(shù)據(jù)生態(tài)Hadoop/Spark/Flink，機會總是垂青有準備的人。
三、ETL加載策略
數(shù)據(jù)集成加載策略，按類型可包括快照、流水、增量、全量、拉鏈等。
01. 增量
有些表巨大，我們需要選擇增量策略，新增delta數(shù)據(jù)需要和存量數(shù)據(jù)merge合并。欣賞并學習兩種處理方式，直接上圖，可斟酌體會：
（如果看圖不能理解，來數(shù)倉ers群里，加入高手如云，我們一起探討！加小助微：iom1128，備注：ETL）
Merge方式（一）
圖片來源于《阿里巴巴大數(shù)據(jù)之路》
Merge方式（二）
1）只有新增數(shù)據(jù)
2）新增+刪除
圖片來源于《美團技術》
02. 全量
每天一個全量表，也可一個分區(qū)一個全量。
03. 拉鏈
拉鏈表，記錄數(shù)據(jù)生命周期，記錄一條數(shù)據(jù)生命周期的開始和結束。
建議在設計拉鏈表的時候不僅要有開始時間和結束時間，最好再加一個生命狀態(tài)字段，如chain_status：有效 active、失效 expired、歷史 history。
回想一下前面文章介紹的緩慢變化維，可類比SCD的TYPE2，有異曲同工之處
全量拉鏈，或許會存在性能問題，故建議根據(jù)實際業(yè)務場景中進行取舍，可只和最近一個時間周期(eg:1個月)的進行拉鏈處理。
四、結束語
學思想，數(shù)據(jù)思維；
學Java，走大數(shù)據(jù)；
學實時，不怕被淘汰！