為啥查詢那么慢？看完你就明白了！

上一篇：3600萬(wàn)中國(guó)人在抖音“上清華”

1. MySQL查詢慢是什么體驗(yàn)？

大多數(shù)互聯(lián)網(wǎng)應(yīng)用場(chǎng)景都是讀多寫少，業(yè)務(wù)邏輯更多分布在寫上。對(duì)讀的要求大概就是要快。那么都有什么原因會(huì)導(dǎo)致我們完成一次出色的慢查詢呢？

1.1 索引

在數(shù)據(jù)量不是很大時(shí)，大多慢查詢可以用索引解決，大多慢查詢也因?yàn)樗饕缓侠矶a(chǎn)生。

MySQL 索引基于 B+ 樹，這句話相信面試都背爛了，接著就可以問(wèn)最左前綴索引、 B+ 樹和各種樹了。

說(shuō)到最左前綴，實(shí)際就是組合索引的使用規(guī)則，使用合理組合索引可以有效的提高查詢速度，為什么呢？

因?yàn)樗饕峦啤Ｈ绻樵儣l件包含在了組合索引中，比如存在組合索引（a,b)，查詢到滿足 a 的記錄后會(huì)直接在索引內(nèi)部判斷 b 是否滿足，減少回表次數(shù)。同時(shí)，如果查詢的列恰好包含在組合索引中，即為覆蓋索引，無(wú)需回表。索引規(guī)則估計(jì)都知道，實(shí)際開發(fā)中也會(huì)創(chuàng)建和使用。問(wèn)題可能更多的是：為什么建了索引還慢？

1.1.1 什么原因?qū)е滤饕?/span>

建了索引還慢，多半是索引失效（未使用），可用 explain 分析。索引失效常見原因有 :

1. where 中使用 != 或 <> 或 or 或表達(dá)式或函數(shù)（左側(cè)）
2. like 語(yǔ)句 % 開頭
3. 字符串未加’’
4. 索引字段區(qū)分度過(guò)低，如性別
5. 未匹配最左前綴

1.1.2 這些原因?yàn)槭裁磳?dǎo)致索引失效

函數(shù)操作

隱式轉(zhuǎn)換

• 隱式類型轉(zhuǎn)換對(duì)于 JOOQ 這種框架來(lái)說(shuō)一般倒不會(huì)出現(xiàn)。
• 隱式字符編碼轉(zhuǎn)換在連表查詢時(shí)倒可能出現(xiàn)，即連表字段的類型相同但字符編
  碼不同。

破壞了有序性

1.1.3 性別字段為什么不要加索引

為什么索引區(qū)分度低的字段不要加索引。盲猜效率低，效率的確低，有時(shí)甚至?xí)扔跊](méi)加。

1.1.4 有什么好用且簡(jiǎn)單的索引方法

• 索引下推：性別字段不適合建索引，但確實(shí)存在查詢場(chǎng)景怎么辦？如果是多條
  件查詢，可以建立聯(lián)合索引利用該特性優(yōu)化。
• 覆蓋索引：也是聯(lián)合索引，查詢需要的信息在索引里已經(jīng)包含了，就不會(huì)再回
  表了。
• 前綴索引：對(duì)于字符串，可以只在前 N 位添加索引，避免不必要的開支。假如
  的確需要如關(guān)鍵字查詢，那交給更合適的如 ES 或許更好。
• 不要對(duì)索引字段做函數(shù)操作
• 對(duì)于確定的、寫多讀少的表或者頻繁更新的字段都應(yīng)該考慮索引的維護(hù)成本。

1.1.5 如何評(píng)價(jià) MySQL 選錯(cuò)了索引

• 信息統(tǒng)計(jì)不準(zhǔn)確：可以使用 analyze table x重新分析。
• 優(yōu)化器誤判：可以 force index強(qiáng)制指定。或修改語(yǔ)句引導(dǎo)優(yōu)化器，增加或刪除索引繞過(guò)。

1.2 等MDL鎖

1.3 等 flush

1.4 等行鎖

1.5 當(dāng)前讀

1.6 大表場(chǎng)景

1.6.1 分庫(kù)分表

方案

• 如果磁盤或網(wǎng)絡(luò)有 IO 瓶頸，那就要分庫(kù)和垂直分表。
• 如果是 CPU 瓶頸，即查詢效率偏低，水平分表。

水平即切分?jǐn)?shù)據(jù)，分散原有數(shù)據(jù)到更多的庫(kù)表中。

垂直即按照業(yè)務(wù)對(duì)庫(kù)，按字段對(duì)表切分。

問(wèn)題

• 唯一 ID 方法很多，DB 自增、Snowflake、號(hào)段、一大波GUID算法等。
• 非 partition key 查詢常用映射法解決，映射表用到覆蓋索引的話還是很快的。
  或者可以和其他 DB 組合。
• 擴(kuò)容要根據(jù)分片時(shí)的策略確定，范圍分片的話就很簡(jiǎn)單，而隨機(jī)取模分片就要
  遷移數(shù)據(jù)了。也可以用范圍 + 取模的模式分片，先取模再范圍，可以避免一定
  程度的數(shù)據(jù)遷移。

1.6.2 讀寫分離

為什么要讀寫分離

問(wèn)題

• 過(guò)期讀，也就是主從延時(shí)問(wèn)題，這個(gè)對(duì)于。
• 分配機(jī)制，是走主還是從庫(kù)。可以直接代碼中根據(jù)語(yǔ)句類型切換或者使用中
  間件。

1.7 小結(jié)

2. 如何評(píng)價(jià) ElasticSearch

GET yourIndex/_search 
{ 
 "from" : 0, "size" : 10, 
 "query" : { 
        "match_phrase" : { 
            "log" : "xxx"       
        } 
    } 
}

2.2 ES 的結(jié)構(gòu)

1. GET /_cat/health?v&pretty：查看集群健康狀態(tài)
2. GET /_cat/shards?v ：查看分片狀態(tài)
3. GET yourindex/_mapping   :index mapping結(jié)構(gòu)
4. GET yourindex/_settings   :index setting結(jié)構(gòu)
5. GET /_cat/indices?v   :查看當(dāng)前節(jié)點(diǎn)所有索引信息

"******": { 
    "mappings": { 
      "doc": { 
        "properties": { 
          "appname": { 
            "type": "text", 
            "fields": { 
              "keyword": { 
                "type": "keyword", 
                "ignore_above": 256  
              } 
            }

2.3 ES 查詢?yōu)槭裁纯欤?/span>

2.3.1 分詞后檢索

POST yourindex/_analyze 
 { 
   "field":"yourfield", 
   "text":"我可真是個(gè)機(jī)靈鬼"   
}

2.4.2 組合查詢

1. ES + MySQL

2. ES + HBASE

3. HBASE

下圖是一個(gè) HBASE 實(shí)際的表模型結(jié)構(gòu)。

Row key 是主鍵，按照字典序排序。TimeStamp 是版本號(hào)。info 和 area 都是列簇（column Family），列簇將表進(jìn)行橫向切割。name、age 叫做列，屬于某一個(gè)列簇，可進(jìn)行動(dòng)態(tài)添加。Cell 是具體的 Value 。

3.2 OLTP 和 OLAP

• OLTP是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)的主要應(yīng)用，主要是基本的、日常的事務(wù)處理。
• OLAP是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的主要應(yīng)用，支持復(fù)雜分析，側(cè)重決策支持，提供直觀
  易懂的查詢結(jié)果。

4. 總結(jié)

參考

看完這篇文章，你有什么收獲？歡迎在留言區(qū)與10w+Java開發(fā)者一起討論~