<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          最常用的分布式 ID 解決方案,都在這里了

          共 1358字,需瀏覽 3分鐘

           ·

          2021-02-19 11:53

          往期熱門文章:
          1、用 Java 擼了一款 SSH 客戶端
          2、處理 Exception 的幾種實(shí)踐,很優(yōu)雅,被很多團(tuán)隊(duì)采納!
          3、一致性協(xié)議算法-2PC、3PC、Paxos、Raft、ZAB、NWR詳解
          4、這款I(lǐng)DEA插件刷爆了朋友圈,網(wǎng)友:一定是女朋友送的~
          5、@Autowire和@Resource注解使用的正確姿勢(shì),別再用錯(cuò)的了??!


          「一、分布式ID概念」

          說(shuō)起ID,特性就是唯一,在人的世界里,ID就是身份證,是每個(gè)人的唯一的身份標(biāo)識(shí)。在復(fù)雜的分布式系統(tǒng)中,往往也需要對(duì)大量的數(shù)據(jù)和消息進(jìn)行唯一標(biāo)識(shí)。舉個(gè)例子,數(shù)據(jù)庫(kù)的ID字段在單體的情況下可以使用自增來(lái)作為ID,但是對(duì)數(shù)據(jù)分庫(kù)分表后一定需要一個(gè)唯一的ID來(lái)標(biāo)識(shí)一條數(shù)據(jù),這個(gè)ID就是分布式ID。對(duì)于分布式ID而言,也需要具備分布式系統(tǒng)的特點(diǎn):高并發(fā),高可用,高性能等特點(diǎn)。

          「二、分布式ID實(shí)現(xiàn)方案」

          下表為一些常用方案對(duì)比:

          目前流行的分布式ID解決方案有兩種:「號(hào)段模式」「雪花算法」。
          「號(hào)段模式」依賴于數(shù)據(jù)庫(kù),但是區(qū)別于數(shù)據(jù)庫(kù)主鍵自增的模式。假設(shè)100為一個(gè)號(hào)段100,200,300,每取一次可以獲得100個(gè)ID,性能顯著提高。
          「雪花算法」是由符號(hào)位+時(shí)間戳+工作機(jī)器id+序列號(hào)組成的,如圖所示:

          符號(hào)位為0,0表示正數(shù),ID為正數(shù)。
          時(shí)間戳位不用多說(shuō),用來(lái)存放時(shí)間戳,單位是ms。
          工作機(jī)器id位用來(lái)存放機(jī)器的id,通常分為5個(gè)區(qū)域位+5個(gè)服務(wù)器標(biāo)識(shí)位。
          序號(hào)位是自增。
          • 雪花算法能存放多少數(shù)據(jù)?時(shí)間范圍:2^41 / (3652460601000) = 69年 工作進(jìn)程范圍:2^10 = 1024 序列號(hào)范圍:2^12 = 4096,表示1ms可以生成4096個(gè)ID。
          根據(jù)這個(gè)算法的邏輯,只需要將這個(gè)算法用Java語(yǔ)言實(shí)現(xiàn)出來(lái),封裝為一個(gè)工具方法,那么各個(gè)業(yè)務(wù)應(yīng)用可以直接使用該工具方法來(lái)獲取分布式ID,只需保證每個(gè)業(yè)務(wù)應(yīng)用有自己的工作機(jī)器id即可,而不需要單獨(dú)去搭建一個(gè)獲取分布式ID的應(yīng)用。下面是推特版的Snowflake算法:
          public?class?SnowFlake?{

          ????/**
          ?????*?起始的時(shí)間戳
          ?????*/
          ????private?final?static?long?START_STMP?=?1480166465631L;

          ????/**
          ?????*?每一部分占用的位數(shù)
          ?????*/
          ????private?final?static?long?SEQUENCE_BIT?=?12;?//序列號(hào)占用的位數(shù)
          ????private?final?static?long?MACHINE_BIT?=?5;???//機(jī)器標(biāo)識(shí)占用的位數(shù)
          ????private?final?static?long?DATACENTER_BIT?=?5;//數(shù)據(jù)中心占用的位數(shù)

          ????/**
          ?????*?每一部分的最大值
          ?????*/
          ????private?final?static?long?MAX_DATACENTER_NUM?=?-1L?^?(-1L?<????private?final?static?long?MAX_MACHINE_NUM?=?-1L?^?(-1L?<????private?final?static?long?MAX_SEQUENCE?=?-1L?^?(-1L?<
          ????/**
          ?????*?每一部分向左的位移
          ?????*/
          ????private?final?static?long?MACHINE_LEFT?=?SEQUENCE_BIT;
          ????private?final?static?long?DATACENTER_LEFT?=?SEQUENCE_BIT?+?MACHINE_BIT;
          ????private?final?static?long?TIMESTMP_LEFT?=?DATACENTER_LEFT?+?DATACENTER_BIT;

          ????private?long?datacenterId;??//數(shù)據(jù)中心
          ????private?long?machineId;?????//機(jī)器標(biāo)識(shí)
          ????private?long?sequence?=?0L;?//序列號(hào)
          ????private?long?lastStmp?=?-1L;//上一次時(shí)間戳

          ????public?SnowFlake(long?datacenterId,?long?machineId)?{
          ????????if?(datacenterId?>?MAX_DATACENTER_NUM?||?datacenterId?????????????throw?new?IllegalArgumentException("datacenterId?can't?be?greater?than?MAX_DATACENTER_NUM?or?less?than?0");
          ????????}
          ????????if?(machineId?>?MAX_MACHINE_NUM?||?machineId?????????????throw?new?IllegalArgumentException("machineId?can't?be?greater?than?MAX_MACHINE_NUM?or?less?than?0");
          ????????}
          ????????this.datacenterId?=?datacenterId;
          ????????this.machineId?=?machineId;
          ????}

          ????/**
          ?????*?產(chǎn)生下一個(gè)ID
          ?????*
          ?????*?@return
          ?????*/
          ????public?synchronized?long?nextId()?{
          ????????long?currStmp?=?getNewstmp();
          ????????if?(currStmp?????????????throw?new?RuntimeException("Clock?moved?backwards.??Refusing?to?generate?id");
          ????????}

          ????????if?(currStmp?==?lastStmp)?{
          ????????????//相同毫秒內(nèi),序列號(hào)自增
          ????????????sequence?=?(sequence?+?1)?&?MAX_SEQUENCE;
          ????????????//同一毫秒的序列數(shù)已經(jīng)達(dá)到最大
          ????????????if?(sequence?==?0L)?{
          ????????????????currStmp?=?getNextMill();
          ????????????}
          ????????}?else?{
          ????????????//不同毫秒內(nèi),序列號(hào)置為0
          ????????????sequence?=?0L;
          ????????}

          ????????lastStmp?=?currStmp;

          ????????return?(currStmp?-?START_STMP)?<????????????????|?datacenterId?<????????????????|?machineId?<????????????????|?sequence;?????????????????????????????//序列號(hào)部分
          ????}

          ????private?long?getNextMill()?{
          ????????long?mill?=?getNewstmp();
          ????????while?(mill?<=?lastStmp)?{
          ????????????mill?=?getNewstmp();
          ????????}
          ????????return?mill;
          ????}

          ????private?long?getNewstmp()?{
          ????????return?System.currentTimeMillis();
          ????}

          ????public?static?void?main(String[]?args)?{
          ????????SnowFlake?snowFlake?=?new?SnowFlake(2,?3);

          ????????for?(int?i?=?0;?i?????????????System.out.println(snowFlake.nextId());
          ????????}

          ????}
          }

          「三、分布式ID開源組件」

          3.1 如何選擇開源組件

          選擇開源組件首先需要看軟件特性是否滿足需求,主要包括兼容性和擴(kuò)展性。
          其次需要看目前的技術(shù)能力,根據(jù)目前自己或者團(tuán)隊(duì)的技術(shù)棧和技術(shù)能力,能否可以平滑的使用。
          第三,要看開源組件的社區(qū),主要關(guān)注更新是否頻繁、項(xiàng)目是否有人維護(hù)、遇到坑的時(shí)候可以取得聯(lián)系尋求幫助、是否在業(yè)內(nèi)被廣泛使用等。

          3.2 美團(tuán)Leaf

          Leaf是美團(tuán)基礎(chǔ)研發(fā)平臺(tái)推出的一個(gè)分布式ID生成服務(wù),名字取自德國(guó)哲學(xué)家、數(shù)學(xué)家萊布尼茨的一句話:“There are no two identical leaves in the world.”Leaf具備高可靠、低延遲、全局唯一等特點(diǎn)。目前已經(jīng)廣泛應(yīng)用于美團(tuán)金融、美團(tuán)外賣、美團(tuán)酒旅等多個(gè)部門。具體的技術(shù)細(xì)節(jié),可參考美團(tuán)技術(shù)博客的一篇文章:《Leaf美團(tuán)分布式ID生成服務(wù)》。目前,Leaf項(xiàng)目已經(jīng)在Github上開源:https://github.com/Meituan-Dianping/Leaf。Leaf在特性如下:
          1. 全局唯一,絕對(duì)不會(huì)出現(xiàn)重復(fù)的ID,且ID整體趨勢(shì)遞增。
          2. 高可用,服務(wù)完全基于分布式架構(gòu),即使MySQL宕機(jī),也能容忍一段時(shí)間的數(shù)據(jù)庫(kù)不可用。
          3. 高并發(fā)低延時(shí),在CentOS 4C8G的虛擬機(jī)上,遠(yuǎn)程調(diào)用QPS可達(dá)5W+,TP99在1ms內(nèi)。
          4. 接入簡(jiǎn)單,直接通過公司RPC服務(wù)或者HTTP調(diào)用即可接入。

          3.3 百度UidGenerator

          UidGenerator百度開源的一款基于Snowflake算法的分布式高性能唯一ID生成器。采用官網(wǎng)的一段描述:UidGenerator以組件形式工作在應(yīng)用項(xiàng)目中, 支持自定義workerId位數(shù)和初始化策略, 從而適用于docker等虛擬化環(huán)境下實(shí)例自動(dòng)重啟、漂移等場(chǎng)景。在實(shí)現(xiàn)上, UidGenerator通過借用未來(lái)時(shí)間來(lái)解決sequence天然存在的并發(fā)限制; 采用RingBuffer來(lái)緩存已生成的UID, 并行化UID的生產(chǎn)和消費(fèi), 同時(shí)對(duì)CacheLine補(bǔ)齊,避免了由RingBuffer帶來(lái)的硬件級(jí)「?jìng)喂蚕怼箚栴}. 最終單機(jī)QPS可達(dá)600萬(wàn)。UidGenerator的GitHub地址:https://github.com/baidu/uid-generator

          3.4 開源組件對(duì)比

          百度UidGenerator是Java語(yǔ)言的;最近一次提交記錄是兩年前,基本無(wú)人維護(hù);只支持雪花算法。
          美團(tuán)Leaf也是Java語(yǔ)言的;最近維護(hù)為2020年;支持號(hào)段模式和雪花算法。
          綜上理論和兩款開源組件的對(duì)比,還是美團(tuán)Leaf稍勝一籌。
          你還知道哪些常用的分布式ID解決方案呢?
          作者:James_Shangguan
          來(lái)源:urlify.cn/3ARJRr

          最近熱文閱讀:

          1、用 Java 擼了一款 SSH 客戶端
          2、處理 Exception 的幾種實(shí)踐,很優(yōu)雅,被很多團(tuán)隊(duì)采納!
          3、一致性協(xié)議算法-2PC、3PC、Paxos、Raft、ZAB、NWR詳解
          4、這款I(lǐng)DEA插件刷爆了朋友圈,網(wǎng)友:一定是女朋友送的~
          5、@Autowire和@Resource注解使用的正確姿勢(shì),別再用錯(cuò)的了!!
          6、Java中的Switch都支持String了,為什么不支持long?
          7、請(qǐng)謹(jǐn)慎使用Arrays.asList、ArrayList的subList
          8、人臉識(shí)別“抓”錯(cuò)了人,他在監(jiān)獄呆了 10 天
          9、騷操作 !IDEA 防止寫代碼沉迷插件 !
          10、這四種情況下,才是考慮分庫(kù)分表的時(shí)候!
          關(guān)注公眾號(hào),你想要的Java都在這里

          瀏覽 37
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評(píng)論
          圖片
          表情
          推薦
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  天天操图片 | 亚洲第一香蕉视频在线观看 | 亚洲国产无码在线观看 | 视频肏屄 | www.99热视频 |