最近很火的 ClickHouse 是什么？
點(diǎn)擊上方藍(lán)色“程序猿DD”，選擇“設(shè)為星標(biāo)”
回復(fù)“資源”獲取獨(dú)家整理的學(xué)習(xí)資料！
ClickHouse 是 Yandex（俄羅斯最大的搜索引擎）開源的一個用于實時數(shù)據(jù)分析的基于列存儲的數(shù)據(jù)庫，其處理數(shù)據(jù)的速度比傳統(tǒng)方法快 100-1000 倍。
ClickHouse 的性能超過了目前市場上可比的面向列的 DBMS，每秒鐘每臺服務(wù)器每秒處理數(shù)億至十億多行和數(shù)十千兆字節(jié)的數(shù)據(jù)。
# ClickHouse 是什么？
ClickHouse 是一個用于聯(lián)機(jī)分析（OLAP）的列式數(shù)據(jù)庫管理系統(tǒng)（DBMS）。
我們首先理清一些基礎(chǔ)概念：
OLTP：是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，主要操作增刪改查，強(qiáng)調(diào)事務(wù)一致性，比如銀行系統(tǒng)、電商系統(tǒng)。
OLAP：是倉庫型數(shù)據(jù)庫，主要是讀取數(shù)據(jù)，做復(fù)雜數(shù)據(jù)分析，側(cè)重技術(shù)決策支持，提供直觀簡單的結(jié)果。
接著我們用圖示，來理解一下列式數(shù)據(jù)庫和行式數(shù)據(jù)庫區(qū)別，在傳統(tǒng)的行式數(shù)據(jù)庫系統(tǒng)中（MySQL、Postgres 和 MS SQL Server），數(shù)據(jù)按如下順序存儲：
在列式數(shù)據(jù)庫系統(tǒng)中（ClickHouse），數(shù)據(jù)按如下的順序存儲：
兩者在存儲方式上對比：
以上是 ClickHouse 基本介紹，更多可以查閱官方手冊：
https://clickhouse.tech/docs/zh/# 業(yè)務(wù)問題
業(yè)務(wù)端現(xiàn)有存儲在 MySQL 中，5000 萬數(shù)據(jù)量的大表及兩個輔表，單次聯(lián)表查詢開銷在 3min+，執(zhí)行效率極低。
經(jīng)過索引優(yōu)化、水平分表、邏輯優(yōu)化，成效較低，因此決定借助 ClickHouse 來解決此問題。
最終通過優(yōu)化，查詢時間降低至 1s 內(nèi)，查詢效率提升 200 倍！希望通過本文，可以幫助大家快速掌握這一利器，并能在實踐中少走彎路。
# ClickHouse 實踐
①M(fèi)ac 下的 Clickhouse 安裝
我是通過 Docker 安裝，也可以下載 CK 編譯安裝，相對麻煩一些。參考鏈接：
https://blog.csdn.net/qq_24993831/article/details/103715194②數(shù)據(jù)遷移：從 MySQL 到 ClickHouse
ClickHouse 支持 MySQL 大多數(shù)語法，遷移成本低，目前有五種遷移方案：
create table engin mysql，映射方案數(shù)據(jù)還是在 MySQL。
insert into select from，先建表，在導(dǎo)入。
create table as select from，建表同時導(dǎo)入。
csv 離線導(dǎo)入。
streamsets。
參考鏈接：
https://anjia0532.github.io/2019/07/17/mysql-to-clickhouse/CREATE?TABLE?[IF?NOT?EXISTS]?[db.]table_name?ENGINE?=?Mergetree?AS?SELECT?*?FROM?mysql('host:port',?'db',?'database',?'user',?'password')③性能測試對比
性能測試對比如下圖：
④數(shù)據(jù)同步方案
臨時表如下：
圖片來源：攜程
新建 Temp 中間表，將 MySQL 數(shù)據(jù)全量同步到 ClickHouse 內(nèi) Temp 表，再替換原 ClickHouse 中的表，適用數(shù)據(jù)量適度，增量和變量頻繁的場景。
開源的同步軟件推薦 Synch，如下圖：
Synch 原理是通過 MySQL 的 Binlog 日志，獲取 SQL 語句，再通過消息隊列消費(fèi) Task。
⑤ClickHouse 為什么快？
有如下幾點(diǎn)：
只需要讀取要計算的列數(shù)據(jù)，而非行式的整行數(shù)據(jù)讀取，降低 IO cost。
同列同類型，有十倍壓縮提升，進(jìn)一步降低 IO。
Clickhouse 根據(jù)不同存儲場景，做個性化搜索算法。
# 遇到的坑
①ClickHouse 與 MySQL 數(shù)據(jù)類型差異性
用 MySQL 的語句查詢，發(fā)現(xiàn)報錯：
解決方案：LEFT JOIN B b ON toUInt32(h.id) = toUInt32(ec.post_id)，中轉(zhuǎn)一下，統(tǒng)一無符號類型關(guān)聯(lián)
②刪除或更新是異步執(zhí)行，只保證最終一致性
查詢 CK 手冊發(fā)現(xiàn)，即便對數(shù)據(jù)一致性支持最好的 Mergetree，也只是保證最終一致性：
如果對數(shù)據(jù)一致性要求較高，推薦大家做全量同步來解決。
# 總結(jié)
通過 ClickHouse 實踐，完美的解決了 MySQL 查詢瓶頸，20 億行以下數(shù)據(jù)量級查詢，90% 都可以在 1s 內(nèi)給到結(jié)果，隨著數(shù)據(jù)量增加，ClickHouse 同樣也支持集群，大家如果感興趣，可以積極嘗試！
作者：起個帥的名
來源：https://juejin.im/post/6863283398727860238
往期推薦
掃一掃，關(guān)注我
一起學(xué)習(xí)，一起進(jìn)步
每周贈書，福利不斷
﹀
﹀
﹀
深度內(nèi)容
推薦加入
最近熱門內(nèi)容回顧? ?#技術(shù)人系列
