MyBatis原生批量插入的坑與解決方案！
作者 | 王磊
來源 | Java中文社群（ID：javacn666）
轉(zhuǎn)載請(qǐng)聯(lián)系授權(quán)（微信ID：GG_Stone）
前面的文章咱們講了 MyBatis 批量插入的 3 種方法：循環(huán)單次插入、MyBatis Plus 批量插入、MyBatis 原生批量插入，詳情請(qǐng)點(diǎn)擊《MyBatis 批量插入數(shù)據(jù)的 3 種方法！》。
但之前的文章也有不完美之處，原因在于：使用 「循環(huán)單次插入」的性能太低，使用「MyBatis Plus 批量插入」性能還行，但要額外的引入 MyBatis Plus 框架，使用「MyBatis 原生批量插入」性能最好，但在插入大量數(shù)據(jù)時(shí)會(huì)導(dǎo)致程序報(bào)錯(cuò)，那么，今天咱們就會(huì)提供一個(gè)更優(yōu)的解決方案。
原生批量插入的“坑”
首先，我們來看一下 MyBatis 原生批量插入中的坑，當(dāng)我們批量插入 10 萬條數(shù)據(jù)時(shí)，實(shí)現(xiàn)代碼如下：
import?com.example.demo.model.User;
import?com.example.demo.service.impl.UserServiceImpl;
import?org.junit.jupiter.api.Test;
import?org.springframework.beans.factory.annotation.Autowired;
import?org.springframework.boot.test.context.SpringBootTest;
import?java.util.ArrayList;
import?java.util.List;
@SpringBootTest
class?UserControllerTest?{
????//?最大循環(huán)次數(shù)
????private?static?final?int?MAXCOUNT?=?100000;
????@Autowired
????private?UserServiceImpl?userService;
????
????/**
?????*?原生自己拼接?SQL，批量插入
?????*/
????@Test
????void?saveBatchByNative()?{
????????long?stime?=?System.currentTimeMillis();?//?統(tǒng)計(jì)開始時(shí)間
????????List?list?=?new?ArrayList<>();
????????for?(int?i?=?0;?i?????????????User?user?=?new?User();
????????????user.setName("test:"?+?i);
????????????user.setPassword("123456");
????????????list.add(user);
????????}
????????//?批量插入
????????userService.saveBatchByNative(list);
????????long?etime?=?System.currentTimeMillis();?//?統(tǒng)計(jì)結(jié)束時(shí)間
????????System.out.println("執(zhí)行時(shí)間："?+?(etime?-?stime));
????}
}
核心文件 UserMapper.xml 中的實(shí)現(xiàn)代碼如下：
mapper?PUBLIC?"-//mybatis.org//DTD?Mapper?3.0//EN"?"http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper?namespace="com.example.demo.mapper.UserMapper">
????<insert?id="saveBatchByNative">
????????INSERT?INTO?`USER`(`NAME`,`PASSWORD`)?VALUES
????????<foreach?collection="list"?separator=","?item="item">
????????????(#{item.name},#{item.password})
????????foreach>
????insert>
mapper>
當(dāng)我們開心地運(yùn)行以上程序時(shí)，就出現(xiàn)了以下的一幕：
沃，程序竟然報(bào)錯(cuò)了！
這是因?yàn)槭褂?MyBatis 原生批量插入拼接的插入 SQL 大小是 4.56M，而默認(rèn)情況下 MySQL 可以執(zhí)行的最大 SQL 為 4M，那么在程序執(zhí)行時(shí)就會(huì)報(bào)錯(cuò)了。
解決方案
以上的問題就是因?yàn)榕坎迦霑r(shí)拼接的?SQL?文件太大了，所以導(dǎo)致?MySQL?的執(zhí)行報(bào)錯(cuò)了。那么我們第一時(shí)間想到的解決方案就是將大文件分成?N?個(gè)小文件，這樣就不會(huì)因?yàn)?SQL?太大而導(dǎo)致執(zhí)行報(bào)錯(cuò)了。也就是說，我們可以將待插入的?List?集合分隔為多個(gè)小?List?來執(zhí)行批量插入的操作，而這個(gè)操作過程就叫做?List?分片。
有了處理思路之后，接下來就是實(shí)操了，那如何對(duì)集合進(jìn)行分片操作呢？
分片操作的實(shí)現(xiàn)方式有很多種，這個(gè)我們后文再講，接下來我們使用最簡(jiǎn)單的方式，也就是 Google 提供的 Guava 框架來實(shí)現(xiàn)分片的功能。
分片 Demo 實(shí)戰(zhàn)
要實(shí)現(xiàn)分片功能，第一步我們先要添加 Guava 框架的支持，在 pom.xml 中添加以下引用：
??com.google.guava
??guava
??31.0.1-jre
接下來我們寫一個(gè)小小的 demo，將以下 7 個(gè)人名分為 3 組（每組最多 3 個(gè)），實(shí)現(xiàn)代碼如下：
import?com.google.common.collect.Lists;
import?java.util.Arrays;
import?java.util.List;
/**
?*?Guava?分片
?*/
public?class?PartitionByGuavaExample?{
????//?原集合
????private?static?final?List?OLD_LIST?=?Arrays.asList(
????????????"唐僧,悟空,八戒,沙僧,曹操,劉備,孫權(quán)".split(","));
????public?static?void?main(String[]?args)?{
????????//?集合分片
????????List>?newList?=?Lists.partition(OLD_LIST,?3);
????????//?打印分片集合
????????newList.forEach(i?->?{
????????????System.out.println("集合長(zhǎng)度："?+?i.size());
????????});
????}
}
以上程序的執(zhí)行結(jié)果如下：
從上述結(jié)果可以看出，我們只需要使用 Guava 提供的 Lists.partition 方法就可以很輕松的將一個(gè)集合進(jìn)行分片了。
原生批量插入分片實(shí)現(xiàn)
那接下來，就是改造我們的 MyBatis 批量插入代碼了，具體實(shí)現(xiàn)如下：
@Test
void?saveBatchByNativePartition()?{
????long?stime?=?System.currentTimeMillis();?//?統(tǒng)計(jì)開始時(shí)間
????List?list?=?new?ArrayList<>();
????//?構(gòu)建插入數(shù)據(jù)
????for?(int?i?=?0;?i?????????User?user?=?new?User();
????????user.setName("test:"?+?i);
????????user.setPassword("123456");
????????list.add(user);
????}
????//?分片批量插入
????int?count?=?(int)?Math.ceil(MAXCOUNT?/?1000.0);?//?分為?n?份，每份?1000?條
????List>?listPartition?=?Lists.partition(list,?count);
????//?分片批量插入
????for?(List?item?:?listPartition)?{
????????userService.saveBatchByNative(item);
????}
????long?etime?=?System.currentTimeMillis();?//?統(tǒng)計(jì)結(jié)束時(shí)間
????System.out.println("執(zhí)行時(shí)間："?+?(etime?-?stime));
}
執(zhí)行以上程序，最終的執(zhí)行結(jié)果如下：
從上圖可以看出，之前批量插入時(shí)的異常報(bào)錯(cuò)不見了，并且此實(shí)現(xiàn)方式的執(zhí)行效率竟比 MyBatis Plus 的批量插入的執(zhí)行效率要高，MyBatis Plus 批量插入 10W 條數(shù)據(jù)的執(zhí)行時(shí)間如下：
總結(jié)
本文我們演示了 MyBatis 原生批量插入時(shí)的問題：可能會(huì)因?yàn)椴迦氲臄?shù)據(jù)太多從而導(dǎo)致運(yùn)行失敗，我們可以通過分片的方式來解決此問題，分片批量插入的實(shí)現(xiàn)步驟如下：
計(jì)算出分片的數(shù)量（分為 N 批）； 使用 Lists.partition 方法將集合進(jìn)行分片（分為 N 個(gè)集合）； 循環(huán)將分片的集合進(jìn)行批量插入的操作。
往期推薦
MyBatis 批量插入數(shù)據(jù)的 3 種方法！
MyBatis Plus 批量數(shù)據(jù)插入功能，yyds！
如何給SpringBoot配置輕松加密？