<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          MySQL 批量插入,如何不插入重復(fù)數(shù)據(jù)?

          共 2611字,需瀏覽 6分鐘

           ·

          2021-05-10 19:11

          點擊上方“碼農(nóng)突圍”,馬上關(guān)注
          這里是碼農(nóng)充電第一站,回復(fù)“666”,獲取一份專屬大禮包
          真愛,請設(shè)置“星標(biāo)”或點個“在看”
          作者:telami
          來源:https://www.telami.cn/

          溫故而知新

          知識這個東西,看來真的要溫故而知新,一直不用,都要忘記了。
          業(yè)務(wù)很簡單:需要批量插入一些數(shù)據(jù),數(shù)據(jù)來源可能是其他數(shù)據(jù)庫的表,也可能是一個外部excel的導(dǎo)入。
          那么問題來了,是不是每次插入之前都要查一遍,看看重不重復(fù),在代碼里篩選一下數(shù)據(jù),重復(fù)的就過濾掉呢?
          向大數(shù)據(jù)數(shù)據(jù)庫中插入值時,還要判斷插入是否重復(fù),然后插入。如何提高效率?
          看來這個問題不止我一個人苦惱過。
          解決的辦法有很多種,不同的場景解決方案也不一樣,數(shù)據(jù)量很小的情況下,怎么搞都行,但是數(shù)據(jù)量很大的時候,這就不是一個簡單的問題了。
          幾百萬的數(shù)據(jù),不可能查出來去重處理!
          說一下我Google到的解決方案。

          1、insert ignore into

          當(dāng)插入數(shù)據(jù)時,如出現(xiàn)錯誤時,如重復(fù)數(shù)據(jù),將不返回錯誤,只以警告形式返回。所以使用ignore請確保語句本身沒有問題,否則也會被忽略掉。例如:
          INSERT IGNORE INTO user (name) VALUES ('telami'
          這種方法很簡便,但是有一種可能,就是插入不是因為重復(fù)數(shù)據(jù)報錯,而是因為其他原因報錯的,也同樣被忽略了~

          2、on duplicate key update

          當(dāng)primary或者unique重復(fù)時,則執(zhí)行update語句,如update后為無用語句,如id=id,則同1功能相同,但錯誤不會被忽略掉。
          例如,為了實現(xiàn)name重復(fù)的數(shù)據(jù)插入不報錯,可使用一下語句:
          INSERT INTO user (name) VALUES ('telami') ON duplicate KEY UPDATE id = id 
          這種方法有個前提條件,就是,需要插入的約束,需要是主鍵或者唯一約束(在你的業(yè)務(wù)中那個要作為唯一的判斷就將那個字段設(shè)置為唯一約束也就是unique key)。

          3、insert … select … where not exist

          根據(jù)select的條件判斷是否插入,可以不光通過primary 和unique來判斷,也可通過其它條件。例如:
          INSERT INTO user (name) SELECT 'telami' FROM dual WHERE NOT EXISTS (SELECT id FROM user WHERE id = 1) 
          這種方法其實就是使用了mysql的一個臨時表的方式,但是里面使用到了子查詢,效率也會有一點點影響,如果能使用上面的就不使用這個。

          4、replace into

          如果存在primary or unique相同的記錄,則先刪除掉。再插入新記錄。
          REPLACE INTO user SELECT 1, 'telami' FROM books 
          這種方法就是不管原來有沒有相同的記錄,都會先刪除掉然后再插入。

          實踐

          選擇的是第二種方式
          <insert id="batchSaveUser" parameterType="list">
              insert into user (id,username,mobile_number)
              values
              <foreach collection="list" item="item" index="index" separator=",">
                  (
                      #{item.id},
                      #{item.username},
                      #{item.mobileNumber}
                  )
              </foreach>
              ON duplicate KEY UPDATE id = id
          </insert>
          這里用的是Mybatis,批量插入的一個操作,mobile_number已經(jīng)加了唯一約束。這樣在批量插入時,如果存在手機(jī)號相同的話,是不會再插入了的。
          - END -

          最近熱文

          ? 尼瑪,Github上最邪惡的開源項目了!未滿18或者女孩子勿進(jìn)哦~
          ? 永別了,91網(wǎng)站!宣布永久關(guān)閉
          ?  騰訊員工曬出薪資:真實 985 畢業(yè)薪資,大家看我還有救嗎?網(wǎng)友:日薪?
          ?  再見深圳!我要去成都搞IT了!

          瀏覽 34
          點贊
          評論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點贊
          評論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  91免费视频久久久 | 色婷婷丁香激情五月电影 | 日韩无码高清视频看看看看 | 国产9在线观看黄A片免费 | 国产无码喷水 |