<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          MyBatis 批量插入數(shù)據(jù)的 3 種方法!

          共 1967字,需瀏覽 4分鐘

           ·

          2021-10-21 08:02

          ?

          ?先來簡單說一下 3 種批量插入功能分別是:

          1. 循環(huán)單次插入;
          2. MP 批量插入功能;
          3. 原生批量插入功能。

          ?

          準(zhǔn)備工作

          開始之前我們先來創(chuàng)建數(shù)據(jù)庫和測試數(shù)據(jù),執(zhí)行的 SQL 腳本如下:

          --?----------------------------
          --?創(chuàng)建數(shù)據(jù)庫
          --?----------------------------
          SET?NAMES?utf8mb4;
          SET?FOREIGN_KEY_CHECKS?=?0;
          DROP?DATABASE?IF?EXISTS?`testdb`;
          CREATE?DATABASE?`testdb`;
          USE?`testdb`;

          --?----------------------------
          --?創(chuàng)建?user?表
          --?----------------------------
          DROP?TABLE?IF?EXISTS?`user`;
          CREATE?TABLE?`user`??(
          ??`id`?int(11)?NOT?NULL?AUTO_INCREMENT,
          ??`name`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_bin?NULL?DEFAULT?NULL,
          ??`password`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_bin?NULL?DEFAULT?NULL,
          ??`createtime`?datetime?NULL?DEFAULT?CURRENT_TIMESTAMP,
          ??PRIMARY?KEY?(`id`)?USING?BTREE
          )?ENGINE?=?InnoDB?AUTO_INCREMENT?=?6?CHARACTER?SET?=?utf8mb4?COLLATE?=?utf8mb4_bin?ROW_FORMAT?=?Dynamic;

          --?----------------------------
          --?添加測試數(shù)據(jù)
          --?----------------------------
          INSERT?INTO?`user`?VALUES?(1,?'趙云',?'123456',?'2021-09-10?18:11:16');
          INSERT?INTO?`user`?VALUES?(2,?'張飛',?'123456',?'2021-09-10?18:11:28');
          INSERT?INTO?`user`?VALUES?(3,?'關(guān)羽',?'123456',?'2021-09-10?18:11:34');
          INSERT?INTO?`user`?VALUES?(4,?'劉備',?'123456',?'2021-09-10?18:11:41');
          INSERT?INTO?`user`?VALUES?(5,?'曹操',?'123456',?'2021-09-10?18:12:02');

          SET?FOREIGN_KEY_CHECKS?=?1;

          數(shù)據(jù)庫的最終效果如下:

          1.循環(huán)單次插入

          接下來我們將使用 Spring Boot 項(xiàng)目,批量插入 10W 條數(shù)據(jù)來分別測試各個方法的執(zhí)行時間。
          循環(huán)單次插入的(測試)核心代碼如下:

          import?com.example.demo.model.User;
          import?com.example.demo.service.impl.UserServiceImpl;
          import?org.junit.jupiter.api.Test;
          import?org.springframework.beans.factory.annotation.Autowired;
          import?org.springframework.boot.test.context.SpringBootTest;

          @SpringBootTest
          class?UserControllerTest?{

          ????//?最大循環(huán)次數(shù)
          ????private?static?final?int?MAXCOUNT?=?100000;

          ????@Autowired
          ????private?UserServiceImpl?userService;

          ????/**
          ?????*?循環(huán)單次插入
          ?????*/

          ????@Test
          ????void?save()?{
          ????????long?stime?=?System.currentTimeMillis();?//?統(tǒng)計(jì)開始時間
          ????????for?(int?i?=?0;?i?????????????User?user?=?new?User();
          ????????????user.setName("test:"?+?i);
          ????????????user.setPassword("123456");
          ????????????userService.save(user);
          ????????}
          ????????long?etime?=?System.currentTimeMillis();?//?統(tǒng)計(jì)結(jié)束時間
          ????????System.out.println("執(zhí)行時間:"?+?(etime?-?stime));
          ????}
          }

          運(yùn)行以上程序,花費(fèi)了 88574 毫秒,如下圖所示:

          ?

          2.MP 批量插入

          MP 批量插入功能核心實(shí)現(xiàn)類有三個:UserController(控制器)、UserServiceImpl(業(yè)務(wù)邏輯實(shí)現(xiàn)類)、UserMapper(數(shù)據(jù)庫映射類),它們的調(diào)用流程如下:

          注意此方法實(shí)現(xiàn)需要先添加 MP 框架,打開 pom.xml 文件添加如下內(nèi)容:

          <dependency>
          ????<groupId>com.baomidougroupId>

          ????<artifactId>mybatis-plus-boot-starterartifactId>
          ????<version>mybatis-plus-latest-versionversion>
          dependency>

          注意:mybatis-plus-latest-version 表示 MP 框架的最新版本號,可訪問 https://mvnrepository.com/artifact/com.baomidou/mybatis-plus-boot-starter 查詢最新版本號,但在使用的時候記得一定要將上面的 “mybatis-plus-latest-version”替換成換成具體的版本號,如 3.4.3 才能正常的引入框架。
          更多 MP 框架的介紹請移步它的官網(wǎng):https://baomidou.com/guide/

          ① 控制器實(shí)現(xiàn)

          import?com.example.demo.model.User;
          import?com.example.demo.service.impl.UserServiceImpl;
          import?org.springframework.beans.factory.annotation.Autowired;
          import?org.springframework.web.bind.annotation.RequestMapping;
          import?org.springframework.web.bind.annotation.RestController;

          import?java.util.ArrayList;
          import?java.util.List;

          @RestController
          @RequestMapping("/u")
          public?class?UserController?{

          ????@Autowired
          ????private?UserServiceImpl?userService;

          ????/**
          ?????*?批量插入(自定義)
          ?????*/

          ????@RequestMapping("/mysavebatch")
          ????public?boolean?mySaveBatch(){
          ????????List?list?=?new?ArrayList<>();
          ????????//?待添加(用戶)數(shù)據(jù)
          ????????for?(int?i?=?0;?i?1000
          ;?i++)?{
          ????????????User?user?=?new?User();
          ????????????user.setName("test:"+i);
          ????????????user.setPassword("123456");
          ????????????list.add(user);
          ????????}
          ????????return?userService.saveBatchCustom(list);
          ????}
          }

          ② 業(yè)務(wù)邏輯層實(shí)現(xiàn)

          import?com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
          import?com.example.demo.mapper.UserMapper;
          import?com.example.demo.model.User;
          import?com.example.demo.service.UserService;
          import?org.springframework.beans.factory.annotation.Autowired;
          import?org.springframework.stereotype.Service;
          import?java.util.List;

          @Service
          public?class?UserServiceImpl?extends?ServiceImpl<UserMapper,User>
          ????????implements?UserService?
          {

          ????@Autowired
          ????private?UserMapper?userMapper;

          ????public?boolean?saveBatchCustom(List?list){
          ????????return?userMapper.saveBatchCustom(list);
          ????}
          }

          ③ 數(shù)據(jù)持久層實(shí)現(xiàn)

          import?com.baomidou.mybatisplus.core.mapper.BaseMapper;
          import?com.example.demo.model.User;
          import?org.apache.ibatis.annotations.Mapper;

          import?java.util.List;

          @Mapper
          public?interface?UserMapper?extends?BaseMapper<User>{

          ????boolean?saveBatchCustom(List?list);
          }

          經(jīng)過以上代碼實(shí)現(xiàn),我們就可以使用 MP 來實(shí)現(xiàn)數(shù)據(jù)的批量插入功能了,但本篇除了具體的實(shí)現(xiàn)代碼之外,我們還要知道每種方法的執(zhí)行效率,所以接下來我們來編寫 MP 的測試代碼。

          MP 性能測試

          import?com.example.demo.model.User;
          import?com.example.demo.service.impl.UserServiceImpl;
          import?org.junit.jupiter.api.Test;
          import?org.springframework.beans.factory.annotation.Autowired;
          import?org.springframework.boot.test.context.SpringBootTest;

          import?java.util.ArrayList;
          import?java.util.List;

          @SpringBootTest
          class?UserControllerTest?{

          ????//?最大循環(huán)次數(shù)
          ????private?static?final?int?MAXCOUNT?=?100000;

          ????@Autowired
          ????private?UserServiceImpl?userService;

          ????/**
          ?????*?MP?批量插入
          ?????*/

          ????@Test
          ????void?saveBatch()?{
          ????????long?stime?=?System.currentTimeMillis();?//?統(tǒng)計(jì)開始時間
          ????????List?list?=?new?ArrayList<>();
          ????????for?(int?i?=?0;?i?????????????User?user?=?new?User();
          ????????????user.setName("test:"?+?i);
          ????????????user.setPassword("123456");
          ????????????list.add(user);
          ????????}
          ????????//?MP?批量插入
          ????????userService.saveBatch(list);
          ????????long?etime?=?System.currentTimeMillis();?//?統(tǒng)計(jì)結(jié)束時間
          ????????System.out.println("執(zhí)行時間:"?+?(etime?-?stime));
          ????}
          }

          以上程序的執(zhí)行總共花費(fèi)了 6088 毫秒,如下圖所示:

          從上述結(jié)果可知,使用 MP 的批量插入功能(插入數(shù)據(jù) 10W 條),它的性能比循環(huán)單次插入的性能提升了 14.5 倍。

          MP 源碼分析

          從 MP 和循環(huán)單次插入的執(zhí)行時間我們可以看出,使用 MP 并不是像有些朋友認(rèn)為的那樣,還是循環(huán)單次執(zhí)行的,為了更清楚的說明此問題,我們查看了 MP 的源碼。
          MP 的核心實(shí)現(xiàn)代碼是 saveBatch 方法,此方法的源碼如下:

          我們繼續(xù)跟進(jìn) saveBatch 的重載方法:

          從上述源碼可以看出,MP 是將要執(zhí)行的數(shù)據(jù)分成 N 份,每份 1000 條,每滿 1000 條就會執(zhí)行一次批量插入,所以它的性能要比循環(huán)單次插入的性能高很多。
          那為什么要分批執(zhí)行,而不是一次執(zhí)行?別著急,當(dāng)我們看了第 3 種實(shí)現(xiàn)方法之后我們就明白了。

          ?

          3.原生批量插入

          原生批量插入方法是依靠 MyBatis 中的 foreach 標(biāo)簽,將數(shù)據(jù)拼接成一條原生的 insert 語句一次性執(zhí)行的,核心實(shí)現(xiàn)代碼如下。

          ① 業(yè)務(wù)邏輯層擴(kuò)展

          在 UserServiceImpl 添加 saveBatchByNative 方法,實(shí)現(xiàn)代碼如下:

          import?com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
          import?com.example.demo.mapper.UserMapper;
          import?com.example.demo.model.User;
          import?com.example.demo.service.UserService;
          import?org.springframework.beans.factory.annotation.Autowired;
          import?org.springframework.stereotype.Service;

          import?java.util.List;

          @Service
          public?class?UserServiceImpl?extends?ServiceImpl<UserMapper,?User>
          ????????implements?UserService?
          {

          ????@Autowired
          ????private?UserMapper?userMapper;

          ????public?boolean?saveBatchByNative(List?list)?{
          ????????return?userMapper.saveBatchByNative(list);
          ????}

          }

          ② 數(shù)據(jù)持久層擴(kuò)展

          在 UserMapper 添加 saveBatchByNative 方法,實(shí)現(xiàn)代碼如下:

          import?com.baomidou.mybatisplus.core.mapper.BaseMapper;
          import?com.example.demo.model.User;
          import?org.apache.ibatis.annotations.Mapper;

          import?java.util.List;

          @Mapper
          public?interface?UserMapper?extends?BaseMapper<User>?{

          ????boolean?saveBatchByNative(List?list);
          }

          ③ 添加 UserMapper.xml

          創(chuàng)建 UserMapper.xml 文件,使用 foreach 標(biāo)簽拼接 SQL,具體實(shí)現(xiàn)代碼如下:

          "1.0"?encoding="UTF-8"?>
          "-//mybatis.org//DTD?Mapper?3.0//EN"?"http://mybatis.org/dtd/mybatis-3-mapper.dtd">
          "com.example.demo.mapper.UserMapper">
          ????"saveBatchByNative">
          ????????INSERT?INTO?`USER`(`NAME`,`PASSWORD`)?VALUES
          ????????"list"?separator=","?item="item">
          ????????????(#{item.name},#{item.password})
          ????????
          ????

          經(jīng)過以上步驟,我們原生的批量插入功能就實(shí)現(xiàn)的差不多了,接下來我們使用單元測試來查看一下此方法的執(zhí)行效率。

          原生批量插入性能測試

          import?com.example.demo.model.User;
          import?com.example.demo.service.impl.UserServiceImpl;
          import?org.junit.jupiter.api.Test;
          import?org.springframework.beans.factory.annotation.Autowired;
          import?org.springframework.boot.test.context.SpringBootTest;

          import?java.util.ArrayList;
          import?java.util.List;

          @SpringBootTest
          class?UserControllerTest?{

          ????//?最大循環(huán)次數(shù)
          ????private?static?final?int?MAXCOUNT?=?100000;

          ????@Autowired
          ????private?UserServiceImpl?userService;
          ????
          ????/**
          ?????*?原生自己拼接?SQL,批量插入
          ?????*/

          ????@Test
          ????void?saveBatchByNative()?{
          ????????long?stime?=?System.currentTimeMillis();?//?統(tǒng)計(jì)開始時間
          ????????List?list?=?new?ArrayList<>();
          ????????for?(int?i?=?0;?i?????????????User?user?=?new?User();
          ????????????user.setName("test:"?+?i);
          ????????????user.setPassword("123456");
          ????????????list.add(user);
          ????????}
          ????????//?批量插入
          ????????userService.saveBatchByNative(list);
          ????????long?etime?=?System.currentTimeMillis();?//?統(tǒng)計(jì)結(jié)束時間
          ????????System.out.println("執(zhí)行時間:"?+?(etime?-?stime));
          ????}
          }

          然而,當(dāng)我們運(yùn)行程序時卻發(fā)生了以下情況:

          納尼?程序的執(zhí)行竟然報錯了。

          缺點(diǎn)分析

          從上述報錯信息可以看出,當(dāng)我們使用原生方法將 10W 條數(shù)據(jù)拼接成一個 SQL 執(zhí)行時,由于拼接的 SQL 過大(4.56M)從而導(dǎo)致程序執(zhí)行報錯,因?yàn)槟J(rèn)情況下 MySQL 可以執(zhí)行的最大 SQL(大小)為 4M,所以程序就報錯了。
          這就是原生批量插入方法的缺點(diǎn),也是為什么 MP 需要分批執(zhí)行的原因,就是為了防止程序在執(zhí)行時,因?yàn)橛|發(fā)了數(shù)據(jù)庫的最大執(zhí)行 SQL 而導(dǎo)致程序執(zhí)行報錯。

          解決方案

          當(dāng)然我們也可以通過設(shè)置 MySQL 的最大執(zhí)行 SQL 來解決報錯的問題,設(shè)置命令如下:

          --?設(shè)置最大執(zhí)行?SQL?為?10M
          set?global?max_allowed_packet=10*1024*1024;

          如下圖所示:

          注意:以上命令需要在 MySQL 連接的客戶端中執(zhí)行。
          但以上解決方案仍是治標(biāo)不治本,因?yàn)槲覀儫o法預(yù)測程序中最大的執(zhí)行 SQL 到底有多大,那么最普世的方法就是分配執(zhí)行批量插入的方法了(也就是像 MP 實(shí)現(xiàn)的那樣)。
          當(dāng)我們將 MySQL 的最大執(zhí)行 SQL 設(shè)置為 10M 之后,運(yùn)行以上單元測試代碼,執(zhí)行的結(jié)果如下:

          總結(jié)

          本文我們介紹了 MyBatis 批量插入的 3 種方法,其中循環(huán)單次插入的性能最低,也是最不可取的;使用 MyBatis 拼接原生 SQL 一次性插入的方法性能最高,但此方法可能會導(dǎo)致程序執(zhí)行報錯(觸發(fā)了數(shù)據(jù)庫最大執(zhí)行 SQL 大小的限制),所以綜合以上情況,可以考慮使用 MP 的批量插入功能。

          有道無術(shù),術(shù)可成;有術(shù)無道,止于術(shù)

          歡迎大家關(guān)注Java之道公眾號


          好文章,我在看??

          瀏覽 60
          點(diǎn)贊
          評論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點(diǎn)贊
          評論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  操鼻视频素材网站直接 | 国产人伦子伦一级A片下载 | 加勒比综合在线 | 国产免费操逼片 | 一级片在线播放电影 |