<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          【04期】分庫(kù)分表之后,id 主鍵如何處理?

          共 2397字,需瀏覽 5分鐘

           ·

          2020-07-28 12:41

          程序員的成長(zhǎng)之路
          互聯(lián)網(wǎng)/程序員/技術(shù)/資料共享?
          關(guān)注


          閱讀本文大概需要 6 分鐘。

          來(lái)自:java面試題精選

          問(wèn):分庫(kù)分表之后,id 主鍵如何處理?

          面試官心理分析

          其實(shí)這是分庫(kù)分表之后你必然要面對(duì)的一個(gè)問(wèn)題,就是 id 咋生成?因?yàn)橐欠殖啥鄠€(gè)表之后,每個(gè)表都是從 1 開(kāi)始累加,那肯定不對(duì)啊,需要一個(gè)全局唯一的 id 來(lái)支持。所以這都是你實(shí)際生產(chǎn)環(huán)境中必須考慮的問(wèn)題。

          面試題剖析

          基于數(shù)據(jù)庫(kù)的實(shí)現(xiàn)方案

          數(shù)據(jù)庫(kù)自增 id

          這個(gè)就是說(shuō)你的系統(tǒng)里每次得到一個(gè) id,都是往一個(gè)庫(kù)的一個(gè)表里插入一條沒(méi)什么業(yè)務(wù)含義的數(shù)據(jù),然后獲取一個(gè)數(shù)據(jù)庫(kù)自增的一個(gè) id。拿到這個(gè) id 之后再往對(duì)應(yīng)的分庫(kù)分表里去寫(xiě)入。
          這個(gè)方案的好處就是方便簡(jiǎn)單,誰(shuí)都會(huì)用;缺點(diǎn)就是單庫(kù)生成自增 id,要是高并發(fā)的話(huà),就會(huì)有瓶頸的;如果你硬是要改進(jìn)一下,那么就專(zhuān)門(mén)開(kāi)一個(gè)服務(wù)出來(lái),這個(gè)服務(wù)每次就拿到當(dāng)前 id 最大值,然后自己遞增幾個(gè) id,一次性返回一批 id,然后再把當(dāng)前最大 id 值修改成遞增幾個(gè) id 之后的一個(gè)值;但是無(wú)論如何都是基于單個(gè)數(shù)據(jù)庫(kù)。
          適合的場(chǎng)景:你分庫(kù)分表就倆原因,要不就是單庫(kù)并發(fā)太高,要不就是單庫(kù)數(shù)據(jù)量太大;除非是你并發(fā)不高,但是數(shù)據(jù)量太大導(dǎo)致的分庫(kù)分表擴(kuò)容,你可以用這個(gè)方案,因?yàn)榭赡苊棵胱罡卟l(fā)最多就幾百,那么就走單獨(dú)的一個(gè)庫(kù)和表生成自增主鍵即可。

          設(shè)置數(shù)據(jù)庫(kù) sequence 或者表自增字段步長(zhǎng)

          可以通過(guò)設(shè)置數(shù)據(jù)庫(kù) sequence 或者表的自增字段步長(zhǎng)來(lái)進(jìn)行水平伸縮。
          比如說(shuō),現(xiàn)在有 8 個(gè)服務(wù)節(jié)點(diǎn),每個(gè)服務(wù)節(jié)點(diǎn)使用一個(gè) sequence 功能來(lái)產(chǎn)生 ID,每個(gè) sequence 的起始 ID 不同,并且依次遞增,步長(zhǎng)都是 8。
          適合的場(chǎng)景:在用戶(hù)防止產(chǎn)生的 ID 重復(fù)時(shí),這種方案實(shí)現(xiàn)起來(lái)比較簡(jiǎn)單,也能達(dá)到性能目標(biāo)。但是服務(wù)節(jié)點(diǎn)固定,步長(zhǎng)也固定,將來(lái)如果還要增加服務(wù)節(jié)點(diǎn),就不好搞了。

          UUID

          好處就是本地生成,不要基于數(shù)據(jù)庫(kù)來(lái)了;不好之處就是,UUID 太長(zhǎng)了、占用空間大,作為主鍵性能太差了;更重要的是,UUID 不具有有序性,會(huì)導(dǎo)致 B+ 樹(shù)索引在寫(xiě)的時(shí)候有過(guò)多的隨機(jī)寫(xiě)操作(連續(xù)的 ID 可以產(chǎn)生部分順序?qū)懀€有,由于在寫(xiě)的時(shí)候不能產(chǎn)生有順序的 append 操作,而需要進(jìn)行 insert 操作,將會(huì)讀取整個(gè) B+ 樹(shù)節(jié)點(diǎn)到內(nèi)存,在插入這條記錄后會(huì)將整個(gè)節(jié)點(diǎn)寫(xiě)回磁盤(pán),這種操作在記錄占用空間比較大的情況下,性能下降明顯。
          適合的場(chǎng)景:如果你是要隨機(jī)生成個(gè)什么文件名、編號(hào)之類(lèi)的,你可以用 UUID,但是作為主鍵是不能用 UUID 的。
          UUID.randomUUID().toString().replace(“-”,?“”)?->?sfsdf23423rr234sfdaf

          獲取系統(tǒng)當(dāng)前時(shí)間

          這個(gè)就是獲取當(dāng)前時(shí)間即可,但是問(wèn)題是,并發(fā)很高的時(shí)候,比如一秒并發(fā)幾千,會(huì)有重復(fù)的情況,這個(gè)是肯定不合適的?;揪筒挥每紤]了。
          適合的場(chǎng)景:一般如果用這個(gè)方案,是將當(dāng)前時(shí)間跟很多其他的業(yè)務(wù)字段拼接起來(lái),作為一個(gè) id,如果業(yè)務(wù)上你覺(jué)得可以接受,那么也是可以的。你可以將別的業(yè)務(wù)字段值跟當(dāng)前時(shí)間拼接起來(lái),組成一個(gè)全局唯一的編號(hào)。

          snowflake 算法

          snowflake 算法是 twitter 開(kāi)源的分布式 id 生成算法,采用 Scala 語(yǔ)言實(shí)現(xiàn),是把一個(gè) 64 位的 long 型的 id,1 個(gè) bit 是不用的,用其中的 41 bit 作為毫秒數(shù),用 10 bit 作為工作機(jī)器 id,12 bit 作為序列號(hào)。
          • 1 bit:不用,為啥呢?因?yàn)槎M(jìn)制里第一個(gè) bit 為如果是 1,那么都是負(fù)數(shù),但是我們生成的 id 都是正數(shù),所以第一個(gè) bit 統(tǒng)一都是 0。

          • 41 bit:表示的是時(shí)間戳,單位是毫秒。41 bit 可以表示的數(shù)字多達(dá)?2^41 - 1,也就是可以標(biāo)識(shí)?2^41 - 1?個(gè)毫秒值,換算成年就是表示69年的時(shí)間。

          • 10 bit:記錄工作機(jī)器 id,代表的是這個(gè)服務(wù)最多可以部署在 2^10臺(tái)機(jī)器上哪,也就是1024臺(tái)機(jī)器。但是 10 bit 里 5 個(gè) bit 代表機(jī)房 id,5 個(gè) bit 代表機(jī)器 id。意思就是最多代表?2^5個(gè)機(jī)房(32個(gè)機(jī)房),每個(gè)機(jī)房里可以代表?2^5?個(gè)機(jī)器(32臺(tái)機(jī)器)。

          • 12 bit:這個(gè)是用來(lái)記錄同一個(gè)毫秒內(nèi)產(chǎn)生的不同 id,12 bit 可以代表的最大正整數(shù)是?2^12 - 1 = 4096,也就是說(shuō)可以用這個(gè) 12 bit 代表的數(shù)字來(lái)區(qū)分同一個(gè)毫秒內(nèi)的 4096 個(gè)不同的 id。

          0?|?0001100?10100010?10111110?10001001?01011100?00?|?10001?|?1?1001?|?0000?00000000

          public?class?IdWorker?{

          ????private?long?workerId;
          ????private?long?datacenterId;
          ????private?long?sequence;

          ????public?IdWorker(long?workerId,?long?datacenterId,?long?sequence)?{
          ????????//?sanity?check?for?workerId
          ????????//?這兒不就檢查了一下,要求就是你傳遞進(jìn)來(lái)的機(jī)房id和機(jī)器id不能超過(guò)32,不能小于0
          ????????if?(workerId?>?maxWorkerId?||?workerId?0)?{
          ????????????throw?new?IllegalArgumentException(
          ????????????????????String.format("worker?Id?can't?be?greater?than?%d?or?less?than?0",?maxWorkerId));
          ????????}
          ????????if?(datacenterId?>?maxDatacenterId?||?datacenterId?0)?{
          ????????????throw?new?IllegalArgumentException(
          ????????????????????String.format("datacenter?Id?can't?be?greater?than?%d?or?less?than?0",?maxDatacenterId));
          ????????}
          ????????System.out.printf(
          ????????????????"worker?starting.?timestamp?left?shift?%d,?datacenter?id?bits?%d,?worker?id?bits?%d,?sequence?bits?%d,?workerid?%d",
          ????????????????timestampLeftShift,?datacenterIdBits,?workerIdBits,?sequenceBits,?workerId);

          ????????this.workerId?=?workerId;
          ????????this.datacenterId?=?datacenterId;
          ????????this.sequence?=?sequence;
          ????}

          ????private?long?twepoch?=?1288834974657L;

          ????private?long?workerIdBits?=?5L;
          ????private?long?datacenterIdBits?=?5L;

          ????//?這個(gè)是二進(jìn)制運(yùn)算,就是?5?bit最多只能有31個(gè)數(shù)字,也就是說(shuō)機(jī)器id最多只能是32以?xún)?nèi)
          ????private?long?maxWorkerId?=?-1L?^?(-1L?<
          ????//?這個(gè)是一個(gè)意思,就是?5?bit最多只能有31個(gè)數(shù)字,機(jī)房id最多只能是32以?xún)?nèi)
          ????private?long?maxDatacenterId?=?-1L?^?(-1L?<????private?long?sequenceBits?=?12L;

          ????private?long?workerIdShift?=?sequenceBits;
          ????private?long?datacenterIdShift?=?sequenceBits?+?workerIdBits;
          ????private?long?timestampLeftShift?=?sequenceBits?+?workerIdBits?+?datacenterIdBits;
          ????private?long?sequenceMask?=?-1L?^?(-1L?<
          ????private?long?lastTimestamp?=?-1L;

          ????public?long?getWorkerId()?{
          ????????return?workerId;
          ????}

          ????public?long?getDatacenterId()?{
          ????????return?datacenterId;
          ????}

          ????public?long?getTimestamp()?{
          ????????return?System.currentTimeMillis();
          ????}

          ????public?synchronized?long?nextId()?{
          ????????//?這兒就是獲取當(dāng)前時(shí)間戳,單位是毫秒
          ????????long?timestamp?=?timeGen();

          ????????if?(timestamp?????????????System.err.printf("clock?is?moving?backwards.??Rejecting?requests?until?%d.",?lastTimestamp);
          ????????????throw?new?RuntimeException(String.format(
          ????????????????????"Clock?moved?backwards.??Refusing?to?generate?id?for?%d?milliseconds",?lastTimestamp?-?timestamp));
          ????????}

          ????????if?(lastTimestamp?==?timestamp)?{
          ????????????//?這個(gè)意思是說(shuō)一個(gè)毫秒內(nèi)最多只能有4096個(gè)數(shù)字
          ????????????//?無(wú)論你傳遞多少進(jìn)來(lái),這個(gè)位運(yùn)算保證始終就是在4096這個(gè)范圍內(nèi),避免你自己傳遞個(gè)sequence超過(guò)了4096這個(gè)范圍
          ????????????sequence?=?(sequence?+?1)?&?sequenceMask;
          ????????????if?(sequence?==?0)?{
          ????????????????timestamp?=?tilNextMillis(lastTimestamp);
          ????????????}
          ????????}?else?{
          ????????????sequence?=?0;
          ????????}

          ????????//?這兒記錄一下最近一次生成id的時(shí)間戳,單位是毫秒
          ????????lastTimestamp?=?timestamp;

          ????????//?這兒就是將時(shí)間戳左移,放到 41 bit那兒;
          ????????//?將機(jī)房 id左移放到 5 bit那兒;
          ????????//?將機(jī)器id左移放到5 bit那兒;將序號(hào)放最后12 bit;
          ????????//?最后拼接起來(lái)成一個(gè)?64?bit的二進(jìn)制數(shù)字,轉(zhuǎn)換成?10?進(jìn)制就是個(gè)?long?型
          ????????return?((timestamp?-?twepoch)?<????????????????|?(workerId?<????}

          ????private?long?tilNextMillis(long?lastTimestamp)?{
          ????????long?timestamp?=?timeGen();
          ????????while?(timestamp?<=?lastTimestamp)?{
          ????????????timestamp?=?timeGen();
          ????????}
          ????????return?timestamp;
          ????}

          ????private?long?timeGen()?{
          ????????return?System.currentTimeMillis();
          ????}

          ????//?---------------測(cè)試---------------
          ????public?static?void?main(String[]?args)?{
          ????????IdWorker?worker?=?new?IdWorker(1,?1,?1);
          ????????for?(int?i?=?0;?i?30;?i++)?{
          ????????????System.out.println(worker.nextId());
          ????????}
          ????}

          }
          怎么說(shuō)呢,大概這個(gè)意思吧,就是說(shuō) 41 bit 是當(dāng)前毫秒單位的一個(gè)時(shí)間戳,就這意思;然后 5 bit 是你傳遞進(jìn)來(lái)的一個(gè)機(jī)房?id(但是最大只能是 32 以?xún)?nèi)),另外 5 bit 是你傳遞進(jìn)來(lái)的機(jī)器?id(但是最大只能是 32 以?xún)?nèi)),剩下的那個(gè) 12 bit序列號(hào),就是如果跟你上次生成 id 的時(shí)間還在一個(gè)毫秒內(nèi),那么會(huì)把順序給你累加,最多在 4096 個(gè)序號(hào)以?xún)?nèi)。
          所以你自己利用這個(gè)工具類(lèi),自己搞一個(gè)服務(wù),然后對(duì)每個(gè)機(jī)房的每個(gè)機(jī)器都初始化這么一個(gè)東西,剛開(kāi)始這個(gè)機(jī)房的這個(gè)機(jī)器的序號(hào)就是 0。然后每次接收到一個(gè)請(qǐng)求,說(shuō)這個(gè)機(jī)房的這個(gè)機(jī)器要生成一個(gè) id,你就找到對(duì)應(yīng)的 Worker 生成。
          利用這個(gè) snowflake 算法,你可以開(kāi)發(fā)自己公司的服務(wù),甚至對(duì)于機(jī)房 id 和機(jī)器 id,反正給你預(yù)留了 5 bit + 5 bit,你換成別的有業(yè)務(wù)含義的東西也可以的。
          這個(gè) snowflake 算法相對(duì)來(lái)說(shuō)還是比較靠譜的,所以你要真是搞分布式 id 生成,如果是高并發(fā)啥的,那么用這個(gè)應(yīng)該性能比較好,一般每秒幾萬(wàn)并發(fā)的場(chǎng)景,也足夠你用了。

          推薦閱讀:

          【01期】Spring,SpringMVC,SpringBoot,SpringCloud有什么區(qū)別和聯(lián)系?

          【02期】你能說(shuō)說(shuō)Spring框架中Bean的生命周期嗎?

          【03期】如何決定使用 HashMap 還是 TreeMap?

          5T技術(shù)資源大放送!包括但不限于:C/C++,Linux,Python,Java,PHP,人工智能,單片機(jī),樹(shù)莓派,等等。在公眾號(hào)內(nèi)回復(fù)「2048」,即可免費(fèi)獲?。?!

          微信掃描二維碼,關(guān)注我的公眾號(hào)

          寫(xiě)留言

          朕已閱?

          瀏覽 24
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評(píng)論
          圖片
          表情
          推薦
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  精品无码三级在线播放 | 高清无码在线观看18 | 大香蕉精彩视频 | 在线午夜| 狠狠操婷婷 |