一個比傳統(tǒng)數(shù)據(jù)庫快 100-1000 倍的數(shù)據(jù)庫

點擊關(guān)注公眾號，Java干貨及時送達

一、ClickHouse 是什么？

ClickHouse：是一個用于聯(lián)機分析(OLAP)的列式數(shù)據(jù)庫管理系統(tǒng)(DBMS)

我們首先理清一些基礎(chǔ)概念

• OLTP：是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，主要操作增刪改查，強調(diào)事務(wù)一致性，比如銀行系統(tǒng)、電商系統(tǒng)

• OLAP：是倉庫型數(shù)據(jù)庫，主要是讀取數(shù)據(jù)，做復(fù)雜數(shù)據(jù)分析，側(cè)重技術(shù)決策支持，提供直觀簡單的結(jié)果

接著我們用圖示，來理解一下列式數(shù)據(jù)庫和行式數(shù)據(jù)庫區(qū)別

在傳統(tǒng)的行式數(shù)據(jù)庫系統(tǒng)中（MySQL、Postgres和MS SQL Server），數(shù)據(jù)按如下順序存儲：

在列式數(shù)據(jù)庫系統(tǒng)中（ClickHouse），數(shù)據(jù)按如下的順序存儲：

兩者在存儲方式上對比：

以上是ClickHouse基本介紹，更多可以查閱官方手冊

二、業(yè)務(wù)問題

業(yè)務(wù)端現(xiàn)有存儲在Mysql中，5000萬數(shù)據(jù)量的大表及兩個輔表，單次聯(lián)表查詢開銷在3min+，執(zhí)行效率極低。經(jīng)過索引優(yōu)化、水平分表、邏輯優(yōu)化，成效較低，因此決定借助ClickHouse來解決此問題

最終通過優(yōu)化，查詢時間降低至1s內(nèi)，查詢效率提升200倍！

希望通過本文，可以幫助大家快速掌握這一利器，并能在實踐中少走彎路。

三、ClickHouse實踐

1.Mac下的Clickhouse安裝

我是通過docker安裝，查看教程。也可以下載CK編譯安裝，相對麻煩一些。

2.數(shù)據(jù)遷移：從Mysql到ClickHouse

ClickHouse支持Mysql大多數(shù)語法，遷移成本低，目前有五種遷移方案：

• create table engin mysql，映射方案數(shù)據(jù)還是在Mysql

• insert into select from，先建表，在導入

• create table as select from，建表同時導入

• csv離線導入

• streamsets

選擇第三種方案做數(shù)據(jù)遷移：

CREATE TABLE [IF NOT EXISTS] [db.]table_name ENGINE = Mergetree AS SELECT * FROM mysql('host:port', 'db', 'database', 'user', 'password')

3.性能測試對比

4.數(shù)據(jù)同步方案

臨時表

新建temp中間表，將Mysql數(shù)據(jù)全量同步到ClickHouse內(nèi)temp表，再替換原ClickHouse中的表，適用數(shù)據(jù)量適度，增量和變量頻繁的場景

synch

開源的同步軟件推薦：synch原理是通過Mysql的binlog日志，獲取sql語句，再通過消息隊列消費task

5.ClickHouse為什么快？

• 只需要讀取要計算的列數(shù)據(jù)，而非行式的整行數(shù)據(jù)讀取，降低IO cost

• 同列同類型，有十倍壓縮提升，進一步降低IO

• clickhouse根據(jù)不同存儲場景，做個性化搜索算法

四、遇到的坑

1.ClickHouse與mysql數(shù)據(jù)類型差異性

用Mysql的語句查詢，發(fā)現(xiàn)報錯：

解決方案：LEFT JOIN B b ON toUInt32(h.id) = toUInt32(ec.post_id)，中轉(zhuǎn)一下，統(tǒng)一無符號類型關(guān)聯(lián)

2.刪除或更新是異步執(zhí)行，只保證最終一致性

查詢CK手冊發(fā)現(xiàn)，即便對數(shù)據(jù)一致性支持最好的Mergetree，也只是保證最終一致性：

如果對數(shù)據(jù)一致性要求較高，推薦大家做全量同步來解決

五、總結(jié)

通過ClickHouse實踐，完美的解決了Mysql查詢瓶頸，20億行以下數(shù)據(jù)量級查詢，90%都可以在1s內(nèi)給到結(jié)果，隨著數(shù)據(jù)量增加，ClickHouse同樣也支持集群，大家如果感興趣，可以積極嘗試 : )

參考資料：

ClickHouse官方手冊 CK

ClickHouse在攜程酒店應(yīng)用 蔡岳毅

ClickHouse引擎怎么選 Roin123

往
期
推
薦
1、Intellij IDEA這樣 配置注釋模板，讓你瞬間高出一個逼格！
2、Spring+SpringMVC+Mybatis實現(xiàn)校園二手交易平臺【實戰(zhàn)項目】
3、基于SpringBoot的迷你商城系統(tǒng)，附源碼！
4、把Redis當作隊列來用，真的合適嗎？
5、驚呆了，Spring Boot居然這么耗內(nèi)存！你知道嗎？
6、全網(wǎng)最全 Java 日志框架適配方案！還有誰不會？
7、Spring中毒太深，離開Spring我居然連最基本的接口都不會寫了
點分享
點收藏
點點贊
點在看