面試:數(shù)據(jù)量很大,分頁(yè)查詢很慢,有什么優(yōu)化方案?

準(zhǔn)備工作
表名:order_history 描述:某個(gè)業(yè)務(wù)的訂單歷史表 主要字段:unsigned int id,tinyint(4) int type 字段情況:該表一共37個(gè)字段,不包含text等大型數(shù)據(jù),最大為varchar(500),id字段為索引,且為遞增。 數(shù)據(jù)量:5709294 MySQL版本:5.7.16 線下找一張百萬(wàn)級(jí)的測(cè)試表可不容易,如果需要自己測(cè)試的話,可以寫shell腳本什么的插入數(shù)據(jù)進(jìn)行測(cè)試。以下的 sql 所有語(yǔ)句執(zhí)行的環(huán)境沒有發(fā)生改變,下面是基本測(cè)試結(jié)果:
select?count(*)?from?orders_history;
8903 ms 8323 ms 8401 ms
一般分頁(yè)查詢
SELECT?*?FROM?table?LIMIT?[offset,]?rows?|?rows?OFFSET?offset
第一個(gè)參數(shù)指定第一個(gè)返回記錄行的偏移量,注意從 0開始第二個(gè)參數(shù)指定返回記錄行的最大數(shù)目 如果只給定一個(gè)參數(shù):它表示返回最大的記錄行數(shù)目 第二個(gè)參數(shù)為 -1 表示檢索從某一個(gè)偏移量到記錄集的結(jié)束所有的記錄行 初始記錄行的偏移量是 0(而不是 1)
select?*?from?orders_history?where?type=8?limit?1000,10;
offset: 1000開始之后的10條數(shù)據(jù),也就是第1001條到第1010條數(shù)據(jù)(1001 <= id <= 1010)。select?*?from?orders_history?where?type=8?order?by?id?limit?10000,10;
3040 ms 3063 ms 3018 ms
select?*?from?orders_history?where?type=8?limit?10000,1;
select?*?from?orders_history?where?type=8?limit?10000,10;
select?*?from?orders_history?where?type=8?limit?10000,100;
select?*?from?orders_history?where?type=8?limit?10000,1000;
select?*?from?orders_history?where?type=8?limit?10000,10000;
查詢1條記錄:3072ms 3092ms 3002ms 查詢10條記錄:3081ms 3077ms 3032ms 查詢100條記錄:3118ms 3200ms 3128ms 查詢1000條記錄:3412ms 3468ms 3394ms 查詢10000條記錄:3749ms 3802ms 3696ms
select?*?from?orders_history?where?type=8?limit?100,100;
select?*?from?orders_history?where?type=8?limit?1000,100;
select?*?from?orders_history?where?type=8?limit?10000,100;
select?*?from?orders_history?where?type=8?limit?100000,100;
select?*?from?orders_history?where?type=8?limit?1000000,100;
查詢100偏移:25ms 24ms 24ms 查詢1000偏移:78ms 76ms 77ms 查詢10000偏移:3092ms 3212ms 3128ms 查詢100000偏移:3878ms 3812ms 3798ms 查詢1000000偏移:14608ms 14062ms 14700ms
使用子查詢優(yōu)化
select?*?from?orders_history?where?type=8?limit?100000,1;
select?id?from?orders_history?where?type=8?limit?100000,1;
select?*?from?orders_history?where?type=8?and
id>=(select?id?from?orders_history?where?type=8?limit?100000,1)
limit?100;
select?*?from?orders_history?where?type=8?limit?100000,100;
第1條語(yǔ)句:3674ms 第2條語(yǔ)句:1315ms 第3條語(yǔ)句:1327ms 第4條語(yǔ)句:3710ms
比較第1條語(yǔ)句和第2條語(yǔ)句:使用 select id 代替 select * 速度增加了3倍 比較第2條語(yǔ)句和第3條語(yǔ)句:速度相差幾十毫秒 比較第3條語(yǔ)句和第4條語(yǔ)句:得益于 select id 速度增加,第3條語(yǔ)句查詢速度增加了3倍
使用 id 限定優(yōu)化
select?*?from?orders_history?where?type=2
and?id?between?1000000?and?1000100?limit?100;
select?*?from?orders_history?where?id?>=?1000001?limit?100;
select?*?from?orders_history?where?id?in
(select?order_id?from?trade_2?where?goods?=?'pen')
limit?100;
使用臨時(shí)表優(yōu)化
關(guān)于數(shù)據(jù)表的id說(shuō)明
往期推薦


評(píng)論
圖片
表情
