MyBatis 批量插入數(shù)據(jù)的 3 種方法！
作者 | 王磊
來源 | Java中文社群（ID：javacn666）
轉(zhuǎn)載請聯(lián)系授權(quán)（微信ID：GG_Stone
批量插入功能是我們?nèi)粘９ぷ髦斜容^常見的業(yè)務(wù)功能之一，之前我也寫過一篇關(guān)于《MyBatis Plus 批量數(shù)據(jù)插入功能，yyds！》的文章，但評論區(qū)的反饋不是很好，主要有兩個問題：第一，對 MyBatis Plus（下文簡稱 MP）的批量插入功能很多人都有誤解，認(rèn)為 MP 也是使用循環(huán)單次插入數(shù)據(jù)的，所以性能并沒有提升；第二，對于原生批量插入的方法其實也是有坑的，但鮮有人知。
所以綜合以上情況，磊哥決定再來一個 MyBatis 批量插入的匯總篇，同時對 3 種實現(xiàn)方法做一個性能測試，以及相應(yīng)的原理分析。
先來簡單說一下 3 種批量插入功能分別是：
循環(huán)單次插入； MP 批量插入功能； 原生批量插入功能。
準(zhǔn)備工作
開始之前我們先來創(chuàng)建數(shù)據(jù)庫和測試數(shù)據(jù)，執(zhí)行的 SQL 腳本如下：
--?----------------------------
--?創(chuàng)建數(shù)據(jù)庫
--?----------------------------
SET?NAMES?utf8mb4;
SET?FOREIGN_KEY_CHECKS?=?0;
DROP?DATABASE?IF?EXISTS?`testdb`;
CREATE?DATABASE?`testdb`;
USE?`testdb`;
--?----------------------------
--?創(chuàng)建?user?表
--?----------------------------
DROP?TABLE?IF?EXISTS?`user`;
CREATE?TABLE?`user`??(
??`id`?int(11)?NOT?NULL?AUTO_INCREMENT,
??`name`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_bin?NULL?DEFAULT?NULL,
??`password`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_bin?NULL?DEFAULT?NULL,
??`createtime`?datetime?NULL?DEFAULT?CURRENT_TIMESTAMP,
??PRIMARY?KEY?(`id`)?USING?BTREE
)?ENGINE?=?InnoDB?AUTO_INCREMENT?=?6?CHARACTER?SET?=?utf8mb4?COLLATE?=?utf8mb4_bin?ROW_FORMAT?=?Dynamic;
--?----------------------------
--?添加測試數(shù)據(jù)
--?----------------------------
INSERT?INTO?`user`?VALUES?(1,?'趙云',?'123456',?'2021-09-10?18:11:16');
INSERT?INTO?`user`?VALUES?(2,?'張飛',?'123456',?'2021-09-10?18:11:28');
INSERT?INTO?`user`?VALUES?(3,?'關(guān)羽',?'123456',?'2021-09-10?18:11:34');
INSERT?INTO?`user`?VALUES?(4,?'劉備',?'123456',?'2021-09-10?18:11:41');
INSERT?INTO?`user`?VALUES?(5,?'曹操',?'123456',?'2021-09-10?18:12:02');
SET?FOREIGN_KEY_CHECKS?=?1;
數(shù)據(jù)庫的最終效果如下：
1.循環(huán)單次插入
接下來我們將使用 Spring Boot 項目，批量插入 10W 條數(shù)據(jù)來分別測試各個方法的執(zhí)行時間。
循環(huán)單次插入的（測試）核心代碼如下：
import?com.example.demo.model.User;
import?com.example.demo.service.impl.UserServiceImpl;
import?org.junit.jupiter.api.Test;
import?org.springframework.beans.factory.annotation.Autowired;
import?org.springframework.boot.test.context.SpringBootTest;
@SpringBootTest
class?UserControllerTest?{
????//?最大循環(huán)次數(shù)
????private?static?final?int?MAXCOUNT?=?100000;
????@Autowired
????private?UserServiceImpl?userService;
????/**
?????*?循環(huán)單次插入
?????*/
????@Test
????void?save()?{
????????long?stime?=?System.currentTimeMillis();?//?統(tǒng)計開始時間
????????for?(int?i?=?0;?i?????????????User?user?=?new?User();
????????????user.setName("test:"?+?i);
????????????user.setPassword("123456");
????????????userService.save(user);
????????}
????????long?etime?=?System.currentTimeMillis();?//?統(tǒng)計結(jié)束時間
????????System.out.println("執(zhí)行時間："?+?(etime?-?stime));
????}
}
運行以上程序，花費了 88574 毫秒，如下圖所示：
2.MP 批量插入
MP 批量插入功能核心實現(xiàn)類有三個：UserController（控制器）、UserServiceImpl（業(yè)務(wù)邏輯實現(xiàn)類）、UserMapper（數(shù)據(jù)庫映射類），它們的調(diào)用流程如下:
注意此方法實現(xiàn)需要先添加 MP 框架，打開 pom.xml 文件添加如下內(nèi)容：
<dependency>
????<groupId>com.baomidougroupId>
????<artifactId>mybatis-plus-boot-starterartifactId>
????<version>mybatis-plus-latest-versionversion>
dependency>
注意：mybatis-plus-latest-version 表示 MP 框架的最新版本號，可訪問 https://mvnrepository.com/artifact/com.baomidou/mybatis-plus-boot-starter 查詢最新版本號，但在使用的時候記得一定要將上面的 “mybatis-plus-latest-version”替換成換成具體的版本號，如 3.4.3 才能正常的引入框架。
更多 MP 框架的介紹請移步它的官網(wǎng)：https://baomidou.com/guide/
① 控制器實現(xiàn)
import?com.example.demo.model.User;
import?com.example.demo.service.impl.UserServiceImpl;
import?org.springframework.beans.factory.annotation.Autowired;
import?org.springframework.web.bind.annotation.RequestMapping;
import?org.springframework.web.bind.annotation.RestController;
import?java.util.ArrayList;
import?java.util.List;
@RestController
@RequestMapping("/u")
public?class?UserController?{
????@Autowired
????private?UserServiceImpl?userService;
????/**
?????*?批量插入（自定義）
?????*/
????@RequestMapping("/mysavebatch")
????public?boolean?mySaveBatch(){
????????List?list?=?new?ArrayList<>();
????????//?待添加（用戶）數(shù)據(jù)
????????for?(int?i?=?0;?i?1000;?i++)?{
????????????User?user?=?new?User();
????????????user.setName("test:"+i);
????????????user.setPassword("123456");
????????????list.add(user);
????????}
????????return?userService.saveBatchCustom(list);
????}
}
② 業(yè)務(wù)邏輯層實現(xiàn)
import?com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import?com.example.demo.mapper.UserMapper;
import?com.example.demo.model.User;
import?com.example.demo.service.UserService;
import?org.springframework.beans.factory.annotation.Autowired;
import?org.springframework.stereotype.Service;
import?java.util.List;
@Service
public?class?UserServiceImpl?extends?ServiceImpl<UserMapper,User>
????????implements?UserService?{
????@Autowired
????private?UserMapper?userMapper;
????public?boolean?saveBatchCustom(List?list) {
????????return?userMapper.saveBatchCustom(list);
????}
}
③ 數(shù)據(jù)持久層實現(xiàn)
import?com.baomidou.mybatisplus.core.mapper.BaseMapper;
import?com.example.demo.model.User;
import?org.apache.ibatis.annotations.Mapper;
import?java.util.List;
@Mapper
public?interface?UserMapper?extends?BaseMapper<User>{
????boolean?saveBatchCustom(List?list) ;
}
經(jīng)過以上代碼實現(xiàn)，我們就可以使用 MP 來實現(xiàn)數(shù)據(jù)的批量插入功能了，但本篇除了具體的實現(xiàn)代碼之外，我們還要知道每種方法的執(zhí)行效率，所以接下來我們來編寫 MP 的測試代碼。
MP 性能測試
import?com.example.demo.model.User;
import?com.example.demo.service.impl.UserServiceImpl;
import?org.junit.jupiter.api.Test;
import?org.springframework.beans.factory.annotation.Autowired;
import?org.springframework.boot.test.context.SpringBootTest;
import?java.util.ArrayList;
import?java.util.List;
@SpringBootTest
class?UserControllerTest?{
????//?最大循環(huán)次數(shù)
????private?static?final?int?MAXCOUNT?=?100000;
????@Autowired
????private?UserServiceImpl?userService;
????/**
?????*?MP?批量插入
?????*/
????@Test
????void?saveBatch()?{
????????long?stime?=?System.currentTimeMillis();?//?統(tǒng)計開始時間
????????List?list?=?new?ArrayList<>();
????????for?(int?i?=?0;?i?????????????User?user?=?new?User();
????????????user.setName("test:"?+?i);
????????????user.setPassword("123456");
????????????list.add(user);
????????}
????????//?MP?批量插入
????????userService.saveBatch(list);
????????long?etime?=?System.currentTimeMillis();?//?統(tǒng)計結(jié)束時間
????????System.out.println("執(zhí)行時間："?+?(etime?-?stime));
????}
}
以上程序的執(zhí)行總共花費了 6088 毫秒，如下圖所示：
從上述結(jié)果可知，使用 MP 的批量插入功能（插入數(shù)據(jù) 10W 條），它的性能比循環(huán)單次插入的性能提升了 14.5 倍。
MP 源碼分析
從 MP 和循環(huán)單次插入的執(zhí)行時間我們可以看出，使用 MP 并不是像有些朋友認(rèn)為的那樣，還是循環(huán)單次執(zhí)行的，為了更清楚的說明此問題，我們查看了 MP 的源碼。
MP 的核心實現(xiàn)代碼是 saveBatch 方法，此方法的源碼如下：
我們繼續(xù)跟進(jìn) saveBatch 的重載方法：
從上述源碼可以看出，MP 是將要執(zhí)行的數(shù)據(jù)分成 N 份，每份 1000 條，每滿 1000 條就會執(zhí)行一次批量插入，所以它的性能要比循環(huán)單次插入的性能高很多。
那為什么要分批執(zhí)行，而不是一次執(zhí)行？別著急，當(dāng)我們看了第 3 種實現(xiàn)方法之后我們就明白了。
3.原生批量插入
原生批量插入方法是依靠 MyBatis 中的 foreach 標(biāo)簽，將數(shù)據(jù)拼接成一條原生的 insert 語句一次性執(zhí)行的，核心實現(xiàn)代碼如下。
① 業(yè)務(wù)邏輯層擴(kuò)展
在 UserServiceImpl 添加 saveBatchByNative 方法，實現(xiàn)代碼如下：
import?com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import?com.example.demo.mapper.UserMapper;
import?com.example.demo.model.User;
import?com.example.demo.service.UserService;
import?org.springframework.beans.factory.annotation.Autowired;
import?org.springframework.stereotype.Service;
import?java.util.List;
@Service
public?class?UserServiceImpl?extends?ServiceImpl<UserMapper,?User>
????????implements?UserService?{
????@Autowired
????private?UserMapper?userMapper;
????public?boolean?saveBatchByNative(List?list) ?{
????????return?userMapper.saveBatchByNative(list);
????}
}
② 數(shù)據(jù)持久層擴(kuò)展
在 UserMapper 添加 saveBatchByNative 方法，實現(xiàn)代碼如下：
import?com.baomidou.mybatisplus.core.mapper.BaseMapper;
import?com.example.demo.model.User;
import?org.apache.ibatis.annotations.Mapper;
import?java.util.List;
@Mapper
public?interface?UserMapper?extends?BaseMapper<User>?{
????boolean?saveBatchByNative(List?list) ;
}
③ 添加 UserMapper.xml
創(chuàng)建 UserMapper.xml 文件，使用 foreach 標(biāo)簽拼接 SQL，具體實現(xiàn)代碼如下：
"1.0"?encoding="UTF-8"?>
"-//mybatis.org//DTD?Mapper?3.0//EN"?"http://mybatis.org/dtd/mybatis-3-mapper.dtd">
"com.example.demo.mapper.UserMapper">
????"saveBatchByNative">
????????INSERT?INTO?`USER`(`NAME`,`PASSWORD`)?VALUES
????????"list"?separator=","?item="item">
????????????(#{item.name},#{item.password})
????????
????
經(jīng)過以上步驟，我們原生的批量插入功能就實現(xiàn)的差不多了，接下來我們使用單元測試來查看一下此方法的執(zhí)行效率。
原生批量插入性能測試
import?com.example.demo.model.User;
import?com.example.demo.service.impl.UserServiceImpl;
import?org.junit.jupiter.api.Test;
import?org.springframework.beans.factory.annotation.Autowired;
import?org.springframework.boot.test.context.SpringBootTest;
import?java.util.ArrayList;
import?java.util.List;
@SpringBootTest
class?UserControllerTest?{
????//?最大循環(huán)次數(shù)
????private?static?final?int?MAXCOUNT?=?100000;
????@Autowired
????private?UserServiceImpl?userService;
????
????/**
?????*?原生自己拼接?SQL，批量插入
?????*/
????@Test
????void?saveBatchByNative()?{
????????long?stime?=?System.currentTimeMillis();?//?統(tǒng)計開始時間
????????List?list?=?new?ArrayList<>();
????????for?(int?i?=?0;?i?????????????User?user?=?new?User();
????????????user.setName("test:"?+?i);
????????????user.setPassword("123456");
????????????list.add(user);
????????}
????????//?批量插入
????????userService.saveBatchByNative(list);
????????long?etime?=?System.currentTimeMillis();?//?統(tǒng)計結(jié)束時間
????????System.out.println("執(zhí)行時間："?+?(etime?-?stime));
????}
}
然而，當(dāng)我們運行程序時卻發(fā)生了以下情況：
納尼？程序的執(zhí)行竟然報錯了。
缺點分析
從上述報錯信息可以看出，當(dāng)我們使用原生方法將 10W 條數(shù)據(jù)拼接成一個 SQL 執(zhí)行時，由于拼接的 SQL 過大（4.56M）從而導(dǎo)致程序執(zhí)行報錯，因為默認(rèn)情況下 MySQL 可以執(zhí)行的最大 SQL（大小）為 4M，所以程序就報錯了。
這就是原生批量插入方法的缺點，也是為什么 MP 需要分批執(zhí)行的原因，就是為了防止程序在執(zhí)行時，因為觸發(fā)了數(shù)據(jù)庫的最大執(zhí)行 SQL 而導(dǎo)致程序執(zhí)行報錯。
解決方案
當(dāng)然我們也可以通過設(shè)置 MySQL 的最大執(zhí)行 SQL 來解決報錯的問題，設(shè)置命令如下：
--?設(shè)置最大執(zhí)行?SQL?為?10M
set?global?max_allowed_packet=10*1024*1024;
如下圖所示：
注意：以上命令需要在 MySQL 連接的客戶端中執(zhí)行。
但以上解決方案仍是治標(biāo)不治本，因為我們無法預(yù)測程序中最大的執(zhí)行 SQL 到底有多大，那么最普世的方法就是分配執(zhí)行批量插入的方法了（也就是像 MP 實現(xiàn)的那樣）。
當(dāng)我們將 MySQL 的最大執(zhí)行 SQL 設(shè)置為 10M 之后，運行以上單元測試代碼，執(zhí)行的結(jié)果如下：
總結(jié)
本文我們介紹了 MyBatis 批量插入的 3 種方法，其中循環(huán)單次插入的性能最低，也是最不可取的；使用 MyBatis 拼接原生 SQL 一次性插入的方法性能最高，但此方法可能會導(dǎo)致程序執(zhí)行報錯（觸發(fā)了數(shù)據(jù)庫最大執(zhí)行 SQL 大小的限制），所以綜合以上情況，可以考慮使用 MP 的批量插入功能。
往期推薦