MySQL 中的 INSERT 是怎么加鎖的?
閱讀本文大概需要 12?分鐘。
來自:https://www.aneasystone.com/archives/2018/06/insert-locks-via-mysql-source-code.html
加了插入意向鎖后,插入數(shù)據(jù)之前,此時執(zhí)行了 select...lock in share mode 語句(沒有取到待插入的值),然后插入了數(shù)據(jù),下一次再執(zhí)行 select...lock in share mode(不會跟插入意向鎖沖突),發(fā)現(xiàn)多了一條數(shù)據(jù),于是又產(chǎn)生了幻讀。會出現(xiàn)這種情況嗎?
select...lock in share mode?語句,很顯然會在記錄間隙之間加上 GAP 鎖,而?insert?語句首先會對記錄加插入意向鎖,插入意向鎖和 GAP 鎖沖突,所以不存在幻讀;如果先執(zhí)行?insert語句后執(zhí)行?select...lock in share mode?語句,由于?insert?語句在插入記錄之后,會對記錄加 X 鎖,它會阻止?select...lock in share mode?對記錄加 S 鎖,所以也不存在幻讀。兩種情況如下所示:

insert?語句會先在插入間隙上加上插入意向鎖,然后開始寫數(shù)據(jù),寫完數(shù)據(jù)之后再對記錄加上 X 記錄鎖。insert?語句加插入意向鎖之后,寫數(shù)據(jù)之前,執(zhí)行了?select...lock in share mode?語句,這個時候 GAP 鎖和插入意向鎖是不沖突的,查詢出來的記錄數(shù)為 0,然后?insert?語句寫數(shù)據(jù),加 X 記錄鎖,因為記錄鎖和 GAP 鎖也是不沖突的,所以insert?成功插入了一條數(shù)據(jù),這個時候如果事務(wù)提交,select...lock in share mode語句再次執(zhí)行查詢出來的記錄數(shù)就是 1,豈不是就出現(xiàn)了幻讀?insert?語句的執(zhí)行分成兩個階段,INSERT 1 加插入意向鎖,還沒寫數(shù)據(jù),INSERT 2 寫數(shù)據(jù),加記錄鎖):
一、INSERT 加鎖的困惑
insert?的加鎖過程是這樣說的(這應(yīng)該是網(wǎng)絡(luò)上介紹 MySQL 加鎖機制被引用最多的文檔,估計也是被誤解最多的文檔):INSERT sets an exclusive lock on the inserted row. This lock is an index-record lock, not a next-key lock (that is, there is no gap lock) and does not prevent other sessions from inserting into the gap before the inserted row. Prior to inserting the row, a type of gap lock called an insert intention gap lock is set. This lock signals the intent to insert in such a way that multiple transactions inserting into the same index gap need not wait for each other if they are not inserting at the same position within the gap. Suppose that there are index records with values of 4 and 7. Separate transactions that attempt to insert values of 5 and 6 each lock the gap between 4 and 7 with insert intention locks prior to obtaining the exclusive lock on the inserted row, but do not block each other because the rows are nonconflicting. If a duplicate-key error occurs, a shared lock on the duplicate index record is set. This use of a shared lock can result in deadlock should there be multiple sessions trying to insert the same row if another session already has an exclusive lock. This can occur if another session deletes the row.
insert?會對插入的這條記錄加排他記錄鎖,在加記錄鎖之前還會加一種 GAP 鎖,叫做插入意向鎖,如果出現(xiàn)唯一鍵沖突,還會加一個共享記錄鎖。這和我之前的理解是完全一樣的,那么究竟是怎么回事呢?難道 MySQL 的 RR 真的會出現(xiàn)幻讀現(xiàn)象?二、編譯 MySQL 源碼

D:\mysql-5.6.40?目錄,在編譯之前,還需要再安裝幾個必要軟件:CMake:CMake 本身并不是編譯工具,它是通過編寫一種平臺無關(guān)的 CMakeList.txt 文件來定制編譯流程的,然后再根據(jù)目標用戶的平臺進一步生成所需的本地化 Makefile 和工程文件,如 Unix 的 Makefile 或 Windows 的 Visual Studio 工程; Bison:MySQL 在執(zhí)行 SQL 語句時,必然要對 SQL 語句進行解析,一般來說語法解析器會包含兩個模塊:詞法分析和語法規(guī)則。詞法分析和語法規(guī)則模塊有兩個較成熟的開源工具 Flex 和 Bison 分別用來解決這兩個問題。MySQL 出于性能和靈活考慮,選擇了自己完成詞法解析部分,語法規(guī)則部分使用了 Bison,所以這里我們還要先安裝 Bison。Bison 的默認安裝路徑為? C:\Program Files\GnuWin32,但是千萬不要這樣,一定要記得選擇一個不帶空格的目錄,譬如?C:\GnuWin32?要不然在后面使用 Visual Studio 編譯 MySQL 時會卡死;Visual Studio:沒什么好說的,Windows 環(huán)境下估計沒有比它更好的開發(fā)工具了吧。
D:\mysql-5.6.40>?mkdir?project
D:\mysql-5.6.40>?cd?project
D:\mysql-5.6.40\project>?cmake?-G?"Visual?Studio?11?2012?Win64"?..
-G?參數(shù)用于指定生成哪種類型的工程文件,這里是 Visual Studio 2012,可以直接輸入?cmake -G?查看支持的工程類型。如果沒問題,會在 project 目錄下生成一堆文件,其中 MySQL.sln 就是我們要用的工程文件,使用 Visual Studio 打開它。首先是? sql\sql_locale.cc?文件,看名字就知道這個文件用于國際化與本土化,這個文件里有各個國家的語言字符,但是這個文件卻是 ANSI 編碼,所以要將其改成 Unicode 編碼;打開? sql\mysqld.cc?文件的第 5239 行,將?DBUG_ASSERT(0)?改成?DBUG_ASSERT(1),要不然調(diào)試時會觸發(fā)斷言;
--console,這樣可以在控制臺里查看打印的調(diào)試信息:
圖片client\Debug\mysql.exe?這個文件是對應(yīng)的 MySQL 的客戶端,可以直接雙擊運行,默認使用的用戶為?ODBC@localhost,如果要以 root 用戶登錄,可以執(zhí)行?mysql.exe -u root,不需要密碼。三、調(diào)試 INSERT 加鎖流程
>?use?test;
>?create?table?t(id?int?NOT?NULL?AUTO_INCREMENT?,?PRIMARY?KEY?(id));
>?insert?into?t(id)?values(1),(10),(20),(50);
insert into t(id) value(30),另一個會話執(zhí)行select * from t where id = 30 lock in share mode。很顯然,如果我們能在?insert?語句加插入意向鎖之后寫數(shù)據(jù)之前下個斷點,再在另一個會話中執(zhí)行?select?就可以模擬出這種場景了。insert?語句是在哪加插入意向鎖的。第一次看 MySQL 源碼可能會有些不知所措,調(diào)著調(diào)著就會迷失在深深的調(diào)用層級中,我們看?insert?語句的調(diào)用堆棧,一開始時還比較容易理解,從?mysql_parse?->?mysql_execute_command?->?mysql_insert?->?write_record?->handler::ha_write_row?->?innobase::write_row?->?row_insert_for_mysql,這里就進入 InnoDb 引擎了。lock_rec_insert_check_and_lock?這里:if?(lock_rec_other_has_conflicting(
????????static_cast(
????????????LOCK_X?|?LOCK_GAP?|?LOCK_INSERT_INTENTION),
????????block,?next_rec_heap_no,?trx))?{
?
????/*?Note?that?we?may?get?DB_SUCCESS?also?here!?*/
????trx_mutex_enter(trx);
?
????err?=?lock_rec_enqueue_waiting(
????????LOCK_X?|?LOCK_GAP?|?LOCK_INSERT_INTENTION,
????????block,?next_rec_heap_no,?index,?thr);
?
????trx_mutex_exit(trx);
}?else?{
????err?=?DB_SUCCESS;
}
lock_rec_add_to_queue(沒有鎖沖突) 或者?lock_rec_enqueue_waiting(有鎖沖突,需要等待其他事務(wù)釋放鎖) 來實現(xiàn)的,于是在這兩個函數(shù)上下斷點,執(zhí)行一條?insert?語句,依然沒有斷下來,說明?insert?語句沒有加任何鎖!insert?加鎖的實驗,執(zhí)行?insert?之后,如果沒有任何沖突,在?show engine innodb status?命令中是看不到任何鎖的,這是因為?insert?加的是隱式鎖。什么是隱式鎖?隱式鎖的意思就是沒有鎖!insert?語句時,什么鎖都不會加。這就有點意思了,如果?insert?什么鎖都不加,那么如果其他事務(wù)執(zhí)行?select ... lock in share mode,它是如何阻止其他事務(wù)加鎖的呢?select?時的流程,如果?select?需要加鎖,則會走:sel_set_rec_lock?->lock_clust_rec_read_check_and_lock?->?lock_rec_convert_impl_to_expl,lock_rec_convert_impl_to_expl?函數(shù)的核心代碼如下:impl_trx?=?trx_rw_is_active(trx_id,?NULL);
?
if?(impl_trx?!=?NULL
????&&?!lock_rec_has_expl(LOCK_X?|?LOCK_REC_NOT_GAP,?block,
??????????????heap_no,?impl_trx))?{
????ulint????type_mode?=?(LOCK_REC?|?LOCK_X
?????????????????|?LOCK_REC_NOT_GAP);
?
????lock_rec_add_to_queue(
????????type_mode,?block,?heap_no,?index,
????????impl_trx,?FALSE);
}
lock_rec_convert_impl_to_expl?之后的?lock_rec_lock?函數(shù)來加的。執(zhí)行? insert?語句,判斷是否有和插入意向鎖沖突的鎖,如果有,加插入意向鎖,進入鎖等待;如果沒有,直接寫數(shù)據(jù),不加任何鎖;執(zhí)行? select ... lock in share mode?語句,判斷記錄上是否存在活躍的事務(wù),如果存在,則為?insert?事務(wù)創(chuàng)建一個排他記錄鎖,并將自己加入到鎖等待隊列;
insert?語句時,從判斷是否有鎖沖突,到寫數(shù)據(jù),這兩個操作之間還是有時間差的,如果在這之間執(zhí)行?select ... lock in share mode?語句,由于此時記錄還不存在,所以也不存在活躍事務(wù),不會觸發(fā)隱式鎖轉(zhuǎn)換,這條語句會返回 0 條記錄,并加上 GAP 鎖;而?insert?語句繼續(xù)寫數(shù)據(jù),不加任何鎖,在?insert?事務(wù)提交之后,select ... lock in share mode?就能查到 1 條記錄,這豈不是還有幻讀問題嗎?lock_rec_insert_check_and_lock?檢查完鎖沖突之后下個斷點,然后在另一個事務(wù)中執(zhí)行?select ... lock in share mode,如果它能成功返回 0 條記錄,加上 GAP 鎖,說明就存在幻讀。不過事實上,這條 SQL 語句執(zhí)行的時候卡住了,并不會返回 0 條記錄。從?show engine innodb status?的?TRANSACTIONS?里我們看不到任何行鎖沖突的信息,但是我們從?RW-LATCH INFO?中卻可以看出一些端倪:-------------
RW-LATCH?INFO
-------------
RW-LOCK:?000002C97F62FC70
Locked:?thread?10304?file?D:\mysql-5.6.40\storage\innobase\btr\btr0cur.cc?line?879??S-LOCK
RW-LOCK:?000002C976A3B998
Locked:?thread?10304?file?D:\mysql-5.6.40\storage\innobase\btr\btr0cur.cc?line?256??S-LOCK
Locked:?thread?10304?file?d:\mysql-5.6.40\storage\innobase\include\btr0pcur.ic?line?518??S-LOCK
Locked:?thread?2820?file?D:\mysql-5.6.40\storage\innobase\btr\btr0cur.cc?line?256??S-LOCK
Locked:?thread?2820?file?D:\mysql-5.6.40\storage\innobase\row\row0ins.cc?line?2339??S-LOCK
RW-LOCK:?000002C976A3B8A8??Waiters?for?the?lock?exist
Locked:?thread?2820?file?D:\mysql-5.6.40\storage\innobase\btr\btr0cur.cc?line?256??X-LOCK
Total?number?of?rw-locks?16434
OS?WAIT?ARRAY?INFO:?reservation?count?10
--Thread?10304?has?waited?at?btr0cur.cc?line?256?for?26.00?seconds?the?semaphore:
S-lock?on?RW-latch?at?000002C976A3B8A8?created?in?file?buf0buf.cc?line?1069
a?writer?(thread?id?2820)?has?reserved?it?in?mode??exclusive
number?of?readers?0,?waiters?flag?1,?lock_word:?0
Last?time?read?locked?in?file?btr0cur.cc?line?256
Last?time?write?locked?in?file?D:\mysql-5.6.40\storage\innobase\btr\btr0cur.cc?line?256
OS?WAIT?ARRAY?INFO:?signal?count?8
Mutex?spin?waits?44,?rounds?336,?OS?waits?7
RW-shared?spins?3,?rounds?90,?OS?waits?3
RW-excl?spins?0,?rounds?0,?OS?waits?0
Spin?rounds?per?wait:?7.64?mutex,?30.00?RW-shared,?0.00?RW-excl
Thread 10304 has waited at btr0cur.cc line 256 for 26.00 seconds the semaphore,這里的 Thread 10304 就是我們正在執(zhí)行?select?語句的線程,它卡在了?btr0cur.cc?的 256 行,我們查看 Thread 10304 的堆棧:
圖片btr0cur.cc?的 256 行位于?btr_cur_latch_leaves?函數(shù),如下所示,通過?btr_block_get來加鎖,看起來像是在訪問 InnoDb B+ 樹的葉子節(jié)點時卡住了:case?BTR_MODIFY_LEAF:
????mode?=?latch_mode?==?BTR_SEARCH_LEAF???RW_S_LATCH?:?RW_X_LATCH;
????get_block?=?btr_block_get(
????????space,?zip_size,?page_no,?mode,?cursor->index,?mtr);
select?語句的調(diào)用堆棧:ha_innobase::index_read?->?row_search_for_mysql?->btr_pcur_open_at_index_side?->?btr_cur_latch_leaves,從調(diào)用堆棧可以看出?select ... lock in share mode?語句在訪問索引,那么為什么訪問索引會被卡住呢?Locked: thread 2820 file D:\mysql-5.6.40\storage\innobase\btr\btr0cur.cc line 256 X-LOCK,所以這個鎖是線程 2820 加上的,加鎖的位置也在?btr0cur.cc?的 256 行,查看函數(shù)引用,很快我們就查到這個鎖是在執(zhí)行?insert?時加上的,函數(shù)堆棧為:row_ins_clust_index_entry_low?->btr_cur_search_to_nth_level?->?btr_cur_latch_leaves。row_ins_clust_index_entry_low?函數(shù)(無關(guān)代碼已省略):UNIV_INTERN
dberr_t
row_ins_clust_index_entry_low(
/*==========================*/
????ulint????????flags,????/*!in:?undo?logging?and?locking?flags?*/
????ulint????????mode,????/*!in:?BTR_MODIFY_LEAF?or?BTR_MODIFY_TREE,
????????????????depending?on?whether?we?wish?optimistic?or
????????????????pessimistic?descent?down?the?index?tree?*/
????dict_index_t*????index,????/*!in:?clustered?index?*/
????ulint????????n_uniq,????/*!in:?0?or?index->n_uniq?*/
????dtuple_t*????entry,????/*!in/out:?index?entry?to?insert?*/
????ulint????????n_ext,????/*!in:?number?of?externally?stored?columns?*/
????que_thr_t*????thr)????/*!in:?query?thread?*/
{
????/*?開啟一個?mini-transaction?*/
????mtr_start(&mtr);
?????
????/*?調(diào)用?btr_cur_latch_leaves?->?btr_block_get?加?RW_X_LATCH?*/
????btr_cur_search_to_nth_level(index,?0,?entry,?PAGE_CUR_LE,?mode,
????????????????????&cursor,?0,?__FILE__,?__LINE__,?&mtr);
?????
????if?(mode?!=?BTR_MODIFY_TREE)?{
????????/*?不需要修改?BTR_TREE,樂觀插入?*/
????????err?=?btr_cur_optimistic_insert(
????????????flags,?&cursor,?&offsets,?&offsets_heap,
????????????entry,?&insert_rec,?&big_rec,
????????????n_ext,?thr,?&mtr);
????}?else?{
????????/*?需要修改?BTR_TREE,先樂觀插入,樂觀插入失敗則進行悲觀插入?*/
????????err?=?btr_cur_optimistic_insert(
????????????flags,?&cursor,
????????????&offsets,?&offsets_heap,
????????????entry,?&insert_rec,?&big_rec,
????????????n_ext,?thr,?&mtr);
????????if?(err?==?DB_FAIL)?{
????????????err?=?btr_cur_pessimistic_insert(
????????????????flags,?&cursor,
????????????????&offsets,?&offsets_heap,
????????????????entry,?&insert_rec,?&big_rec,
????????????????n_ext,?thr,?&mtr);
????????}
????}
?????
????/*?提交?mini-transaction?*/
????mtr_commit(&mtr);
}
insert?語句的關(guān)鍵,可以發(fā)現(xiàn)執(zhí)行插入操作的前后分別有一行代碼:mtr_start()?和?mtr_commit()。這被稱為?迷你事務(wù)(mini-transaction),既然叫做事務(wù),那這個函數(shù)的操作肯定是原子性的,事實上確實如此,insert?會在檢查鎖沖突和寫數(shù)據(jù)之前,會對記錄所在的頁加一個 RW-X-LATCH 鎖,執(zhí)行完寫數(shù)據(jù)之后再釋放該鎖(實際上寫數(shù)據(jù)的操作就是寫 redo log(重做日志),將臟頁加入 flush list,這個后面有時間再深入分析了)。insert?的執(zhí)行過程中就會加多個 mini-transaction。修改一個頁需要獲得該頁的 X-LATCH; 訪問一個頁需要獲得該頁的 S-LATCH 或 X-LATCH; 持有該頁的 LATCH 直到修改或者訪問該頁的操作完成。
insert?和?select ... lock in share mode?不會發(fā)生幻讀。整個流程如下:執(zhí)行? insert?語句,對要操作的頁加 RW-X-LATCH,然后判斷是否有和插入意向鎖沖突的鎖,如果有,加插入意向鎖,進入鎖等待;如果沒有,直接寫數(shù)據(jù),不加任何鎖,結(jié)束后釋放 RW-X-LATCH;執(zhí)行? select ... lock in share mode?語句,對要操作的頁加 RW-S-LATCH,如果頁面上存在 RW-X-LATCH 會被阻塞,沒有的話則判斷記錄上是否存在活躍的事務(wù),如果存在,則為?insert?事務(wù)創(chuàng)建一個排他記錄鎖,并將自己加入到鎖等待隊列,最后也會釋放 RW-S-LATCH;
推薦閱讀:
內(nèi)容包含Java基礎(chǔ)、JavaWeb、MySQL性能優(yōu)化、JVM、鎖、百萬并發(fā)、消息隊列、高性能緩存、反射、Spring全家桶原理、微服務(wù)、Zookeeper、數(shù)據(jù)結(jié)構(gòu)、限流熔斷降級......等技術(shù)棧!
?戳閱讀原文領(lǐng)取!? ? ? ? ? ? ? ??? ??? ? ? ? ? ? ? ? ? ?朕已閱?

