因?yàn)橐粭lSQL，我差點(diǎn)被祭天......
點(diǎn)擊上方“程序員大白”，選擇“星標(biāo)”公眾號(hào)
重磅干貨，第一時(shí)間送達(dá)
來自：鄙人薛某
作者：很懶的程序員
上周四午休時(shí)分，我正在工位上小憩，睡夢(mèng)中仿佛看到了自己拿著李白在榮耀峽谷里大殺四方的情景，就在我剛拿完五殺準(zhǔn)備帶領(lǐng)隊(duì)友推對(duì)面水晶的時(shí)候，一句慌亂急促的“糟了”把我從睡夢(mèng)中驚醒......
反常的 SQL 語句
我瞇開朦朧的雙眼，才發(fā)現(xiàn)剛才的發(fā)聲來源于我的組長(zhǎng)莊哥，看到他在緊張的點(diǎn)開日志系統(tǒng)查看日志，我預(yù)感到有什么不妙的事情發(fā)生。
仔細(xì)一問才知道，原來就在我瞇眼的期間，線上數(shù)據(jù)庫服務(wù)器的 CPU 被打滿，同時(shí)觸發(fā)了生產(chǎn)數(shù)據(jù)庫只讀延遲的限定時(shí)間并且發(fā)出告警，而且告警的過程持續(xù)了半個(gè)小時(shí)。
這讓我倒吸了一口涼氣，因?yàn)槲覀兘M做的系統(tǒng)很多都用的是同一個(gè)數(shù)據(jù)庫服務(wù)器，日用戶活躍量有好幾十萬，如果服務(wù)器崩潰了將會(huì)使所有的系統(tǒng)服務(wù)都不可用。
于是我們趕緊通過 SQL 日志進(jìn)行問題查找，最后排查出來是因?yàn)橐粡?SQL 的高量查詢沒有走索引導(dǎo)致。
日志列表顯示，這條 SQL 語句的掃描行數(shù)達(dá)到了上百萬，基本就是全表掃描的情況，而且半個(gè)小時(shí)的時(shí)間查詢了達(dá)上萬次，每條 SQL 查詢的耗時(shí)都在 3000ms 以上。
我的天啊，難怪服務(wù)器會(huì) CPU 打滿，這么一條耗時(shí)的 SQL 語句查詢量這么大，數(shù)據(jù)庫的資源當(dāng)然是直接就崩潰了。
臨時(shí)處理
當(dāng)然，因?yàn)槭俏易约簩懙?SQL，所以我一看就知道這條語句是有問題的。
根據(jù)我的代碼處理，這條 SQL 的調(diào)用還少了個(gè)重要的參數(shù) user_fruit_id，這個(gè)參數(shù)沒有傳的話是不應(yīng)該走這條 SQL 查詢的。
KEY `idx_userfruitid_type` (`user_fruit_id`,`task_type`,`receive_start_time`,`receive_end_time`) USING BTREE
雖然定位到了 SQL 語句，但是線上的問題刻不容緩，總不可能找出 Bug 改完再上線吧。
所以，我們只能做了一個(gè)臨時(shí)處理，就是在原來的表上多加了一個(gè)聯(lián)合索引，其實(shí)就是去掉了 user_fruit_id 字段，讓這些高量的查詢都能走新的索引。
就像下面這樣：
KEY `idx_task_type_receive_start_time` (`task_type`,`receive_start_time`,`receive_end_time`,`created_time`) USING BTREE
加上索引后，SQL 的掃描行數(shù)就大幅度的降低了，重啟實(shí)例后就又能正常運(yùn)行了。
最左匹配原則
那么為什么最左側(cè)的字段沒傳索引就不生效了，這是因?yàn)?MySQL 的聯(lián)合索引是基于“最左匹配原則”匹配的。
我們都知道，索引的底層是 B+ 樹結(jié)構(gòu)，聯(lián)合索引的結(jié)構(gòu)也是 B+ 樹，只不過鍵值數(shù)量不是一個(gè)，而是多個(gè)，構(gòu)建一顆 B+ 樹只能根據(jù)一個(gè)值來構(gòu)建，因此數(shù)據(jù)庫依據(jù)聯(lián)合索引最左的字段來構(gòu)建 B+ 樹。
圖片來源于林曉斌老師的《MySQL 實(shí)戰(zhàn) 45 講》課程
當(dāng)我們?cè)?where 條件中查找 name 為“張三”的所有記錄的時(shí)候，可以快速定位到 ID4，并且查出所有包含“張三”的記錄。
而如果要查找“張三，10”這一條特定的數(shù)據(jù)，就可以用 name = "張三" and age = 10 獲取。
因?yàn)槁?lián)合索引的鍵值對(duì)是兩個(gè)，所以只要前面的 name 確定的情況下就可以進(jìn)一步定位到具體的 age 記錄。
但是如果你的查詢條件只有 age 的話，那么索引就不會(huì)生效，因?yàn)闆]有匹配最左邊的字段，后面所有的索引字段都不會(huì)生效。
所以我之前寫的 SQL 語句才會(huì)因?yàn)樯倭俗钭筮叺?user_fruit_id 字段而走了全表掃描的查詢方式。
正常來說，假設(shè)一個(gè)聯(lián)合索引設(shè)計(jì)成(a，b)這樣的結(jié)構(gòu)的話，那么用 a and b 作為條件，或者 a 單獨(dú)作為查詢條件都會(huì)走索引，這種情況下我們就不要再為 a 字段單獨(dú)設(shè)計(jì)索引了。
但如果查詢條件里面只有 b 的語句，是無法使用(a，b)這個(gè)聯(lián)合索引的，這時(shí)候你不得不維護(hù)另外一個(gè)索引，也就是說你需要同時(shí)維護(hù)(a，b)、(b) 這兩個(gè)索引。
找出 Bug
雖然臨時(shí)做了處理，但問題并不算解決，很明顯是系統(tǒng)出現(xiàn)了 Bug 才會(huì)有走這樣的查詢條件。
因?yàn)槭俏易约簩懙拇a，所以知道是哪條 SQL 后我就馬上定位到了代碼里的具體方法，后來才發(fā)現(xiàn)是因?yàn)槲覍?duì) user_fruit_id 字段的判空處理不生效所致。
public class GardenUserTaskListReq implements Serializable {
private static final long serialVersionUID = -9161295541482297498L;
@ApiModelProperty(notes = "水果id")
@NotNull(message = "水果id不能為空")
private Long userFruitId;
/**以下省略*/
.....................
}
雖然加上該注解來做非空校驗(yàn)，但我卻沒有在參數(shù)加上另一個(gè)注解 @Validated。
除此之外，因?yàn)?user_fruit_id 這個(gè)字段是另一張表的主鍵，我在代碼里也沒有對(duì)這張表是否存在這個(gè) id 做查詢判斷。
不得不說，這真是個(gè)低級(jí)錯(cuò)誤，說真的，我對(duì)這個(gè)原因真是感到嘀笑皆非，再怎么說也工作幾年了，怎么還犯一些新手級(jí)別的錯(cuò)誤呢，這臉打得真是讓我相當(dāng)慚愧。
總結(jié)
雖然是低級(jí)錯(cuò)誤，但造成的后果也算挺嚴(yán)重了，這次事件也讓我更加的警醒，在以后的開發(fā)工作中必須要遵守該有的原則，大概有這么幾點(diǎn)：
①不能相信調(diào)用端。重要的參數(shù)都要先做驗(yàn)證，即使是非空值也需要做驗(yàn)證，不符合條件的就要直接返回或拋異常，不能參與業(yè)務(wù) SQL 的查詢，否則頻繁的訪問也會(huì)對(duì)服務(wù)造成負(fù)擔(dān)。
②SQL 語句要先做性能查詢。對(duì)于數(shù)據(jù)量大的表，建好索引后，所有的 SQL 查詢語句要用 explain 檢測(cè)性能，并且根據(jù)結(jié)果來進(jìn)一步優(yōu)化索引。
③代碼必須要 Review。之前我沒有放太大的精力在代碼的 Review 上，雖說跟迭代排期的緊湊也有關(guān)系，但不管怎么說，Bug 確實(shí)是我的疏忽造成的，尤其是像空值這種細(xì)小的錯(cuò)誤在 Java 里可以說家常便飯。
千里之堤毀于蟻穴，有時(shí)一個(gè)小 Bug 很容易就引發(fā)整個(gè)系統(tǒng)的崩盤，這一次的問題也讓我更加深刻的認(rèn)識(shí)到了 Review 代碼的重要性，不管業(yè)務(wù)開發(fā)的工作量有多麻煩，這一步操作絕對(duì)不能忽視。
推薦閱讀
國產(chǎn)小眾瀏覽器因屏蔽視頻廣告，被索賠100萬（后續(xù)）
年輕人“不講武德”：因看黃片上癮，把網(wǎng)站和786名女主播起訴了
關(guān)于程序員大白
程序員大白是一群哈工大，東北大學(xué)，西湖大學(xué)和上海交通大學(xué)的碩士博士運(yùn)營維護(hù)的號(hào)，大家樂于分享高質(zhì)量文章，喜歡總結(jié)知識(shí)，歡迎關(guān)注[程序員大白]，大家一起學(xué)習(xí)進(jìn)步！