要了35K, 面試官:數(shù)據(jù)量很大,查詢很慢,有什么優(yōu)化方案?
點(diǎn)擊“開發(fā)者技術(shù)前線”,選擇“星標(biāo)??”
在看|星標(biāo)|留言, 真愛

準(zhǔn)備工作
表名:order_history 描述:某個(gè)業(yè)務(wù)的訂單歷史表 主要字段:unsigned int id,tinyint(4) int type 字段情況:該表一共37個(gè)字段,不包含text等大型數(shù)據(jù),最大為varchar(500),id字段為索引,且為遞增。 數(shù)據(jù)量:5709294 MySQL版本:5.7.16 線下找一張百萬級(jí)的測(cè)試表可不容易,如果需要自己測(cè)試的話,可以寫shell腳本什么的插入數(shù)據(jù)進(jìn)行測(cè)試。以下的 sql 所有語句執(zhí)行的環(huán)境沒有發(fā)生改變,下面是基本測(cè)試結(jié)果:
select count(*) from orders_history;
8903 ms 8323 ms 8401 ms
一般分頁查詢
SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset
第一個(gè)參數(shù)指定第一個(gè)返回記錄行的偏移量,注意從 0開始第二個(gè)參數(shù)指定返回記錄行的最大數(shù)目 如果只給定一個(gè)參數(shù):它表示返回最大的記錄行數(shù)目 第二個(gè)參數(shù)為 -1 表示檢索從某一個(gè)偏移量到記錄集的結(jié)束所有的記錄行 初始記錄行的偏移量是 0(而不是 1)
select * from orders_history where type=8 limit 1000,10;
offset: 1000開始之后的10條數(shù)據(jù),也就是第1001條到第1010條數(shù)據(jù)(1001 <= id <= 1010)。select * from orders_history where type=8 order by id limit 10000,10;
3040 ms 3063 ms 3018 ms
select * from orders_history where type=8 limit 10000,1;
select * from orders_history where type=8 limit 10000,10;
select * from orders_history where type=8 limit 10000,100;
select * from orders_history where type=8 limit 10000,1000;
select * from orders_history where type=8 limit 10000,10000;
查詢1條記錄:3072ms 3092ms 3002ms 查詢10條記錄:3081ms 3077ms 3032ms 查詢100條記錄:3118ms 3200ms 3128ms 查詢1000條記錄:3412ms 3468ms 3394ms 查詢10000條記錄:3749ms 3802ms 3696ms
select * from orders_history where type=8 limit 100,100;
select * from orders_history where type=8 limit 1000,100;
select * from orders_history where type=8 limit 10000,100;
select * from orders_history where type=8 limit 100000,100;
select * from orders_history where type=8 limit 1000000,100;
查詢100偏移:25ms 24ms 24ms 查詢1000偏移:78ms 76ms 77ms 查詢10000偏移:3092ms 3212ms 3128ms 查詢100000偏移:3878ms 3812ms 3798ms 查詢1000000偏移:14608ms 14062ms 14700ms
使用子查詢優(yōu)化
select * from orders_history where type=8 limit 100000,1;
select id from orders_history where type=8 limit 100000,1;
select * from orders_history where type=8 and
id>=(select id from orders_history where type=8 limit 100000,1)
limit 100;
select * from orders_history where type=8 limit 100000,100;
第1條語句:3674ms 第2條語句:1315ms 第3條語句:1327ms 第4條語句:3710ms
比較第1條語句和第2條語句:使用 select id 代替 select * 速度增加了3倍 比較第2條語句和第3條語句:速度相差幾十毫秒 比較第3條語句和第4條語句:得益于 select id 速度增加,第3條語句查詢速度增加了3倍
使用 id 限定優(yōu)化
select * from orders_history where type=2
and id between 1000000 and 1000100 limit 100;
select * from orders_history where id >= 1000001 limit 100;
select * from orders_history where id in
(select order_id from trade_2 where goods = 'pen')
limit 100;
使用臨時(shí)表優(yōu)化
關(guān)于數(shù)據(jù)表的id說明
服放棄收購(gòu)速匯金國(guó)際公司(MoneyGram International Inc)的計(jì)劃。
-END- 前線推出學(xué)習(xí)交流一定要備注:研究/工作方向+地點(diǎn)+學(xué)校/公司+昵稱(如JAVA+上海+上交+卡卡),根據(jù)格式備注,可更快被通過且邀請(qǐng)進(jìn)群 掃碼加小編微信,進(jìn)群和大佬們零距離
后臺(tái)回復(fù)“電子書” “資料” 領(lǐng)取一份干貨,數(shù)百面試手冊(cè)等你 開發(fā)者技術(shù)前線 ,匯集技術(shù)前線快訊和關(guān)注行業(yè)趨勢(shì),大廠干貨,是開發(fā)者經(jīng)歷和成長(zhǎng)的優(yōu)秀指南。



評(píng)論
圖片
表情
