分庫分表之后，id 主鍵如何處理？
本文摘自 Doocs 開源社區(qū)《互聯(lián)網(wǎng) Java 工程師進階知識完全掃盲》手冊，方便讀者隨時隨地閱讀學習。
也歡迎讀者們關注 GitHub 項目：https://github.com/doocs/advanced-java
面試題
分庫分表之后，id 主鍵如何處理？
面試官心理分析
其實這是分庫分表之后你必然要面對的一個問題，就是 id 咋生成？因為要是分成多個表之后，每個表都是從 1 開始累加，那肯定不對啊，需要一個全局唯一的 id 來支持。所以這都是你實際生產環(huán)境中必須考慮的問題。
面試題剖析
基于數(shù)據(jù)庫的實現(xiàn)方案
數(shù)據(jù)庫自增 id
這個就是說你的系統(tǒng)里每次得到一個 id，都是往一個庫的一個表里插入一條沒什么業(yè)務含義的數(shù)據(jù)，然后獲取一個數(shù)據(jù)庫自增的一個 id。拿到這個 id 之后再往對應的分庫分表里去寫入。
這個方案的好處就是方便簡單，誰都會用；缺點就是單庫生成自增 id，要是高并發(fā)的話，就會有瓶頸的；如果你硬是要改進一下，那么就專門開一個服務出來，這個服務每次就拿到當前 id 最大值，然后自己遞增幾個 id，一次性返回一批 id，然后再把當前最大 id 值修改成遞增幾個 id 之后的一個值；但是無論如何都是基于單個數(shù)據(jù)庫。
適合的場景：你分庫分表就倆原因，要不就是單庫并發(fā)太高，要不就是單庫數(shù)據(jù)量太大；除非是你并發(fā)不高，但是數(shù)據(jù)量太大導致的分庫分表擴容，你可以用這個方案，因為可能每秒最高并發(fā)最多就幾百，那么就走單獨的一個庫和表生成自增主鍵即可。
設置數(shù)據(jù)庫 sequence 或者表自增字段步長
可以通過設置數(shù)據(jù)庫 sequence 或者表的自增字段步長來進行水平伸縮。
比如說，現(xiàn)在有 8 個服務節(jié)點，每個服務節(jié)點使用一個 sequence 功能來產生 ID，每個 sequence 的起始 ID 不同，并且依次遞增，步長都是 8。
適合的場景：在用戶防止產生的 ID 重復時，這種方案實現(xiàn)起來比較簡單，也能達到性能目標。但是服務節(jié)點固定，步長也固定，將來如果還要增加服務節(jié)點，就不好搞了。
UUID
好處就是本地生成，不要基于數(shù)據(jù)庫來了；不好之處就是，UUID 太長了、占用空間大，作為主鍵性能太差了；更重要的是，UUID 不具有有序性，會導致 B+ 樹索引在寫的時候有過多的隨機寫操作（連續(xù)的 ID 可以產生部分順序寫），還有，由于在寫的時候不能產生有順序的 append 操作，而需要進行 insert 操作，將會讀取整個 B+ 樹節(jié)點到內存，在插入這條記錄后會將整個節(jié)點寫回磁盤，這種操作在記錄占用空間比較大的情況下，性能下降明顯。
適合的場景：如果你是要隨機生成個什么文件名、編號之類的，你可以用 UUID，但是作為主鍵是不能用 UUID 的。
UUID.randomUUID().toString().replace("-",?"")?->?sfsdf23423rr234sfdaf獲取系統(tǒng)當前時間
這個就是獲取當前時間即可，但是問題是，并發(fā)很高的時候，比如一秒并發(fā)幾千，會有重復的情況，這個是肯定不合適的。基本就不用考慮了。
適合的場景：一般如果用這個方案，是將當前時間跟很多其他的業(yè)務字段拼接起來，作為一個 id，如果業(yè)務上你覺得可以接受，那么也是可以的。你可以將別的業(yè)務字段值跟當前時間拼接起來，組成一個全局唯一的編號。
snowflake 算法
snowflake 算法是 twitter 開源的分布式 id 生成算法，采用 Scala 語言實現(xiàn)，是把一個 64 位的 long 型的 id，1 個 bit 是不用的，用其中的 41 bits 作為毫秒數(shù)，用 10 bits 作為工作機器 id，12 bits 作為序列號。
?1 bit：不用，為啥呢？因為二進制里第一個 bit 為如果是 1，那么都是負數(shù)，但是我們生成的 id 都是正數(shù)，所以第一個 bit 統(tǒng)一都是 0。?41 bits：表示的是時間戳，單位是毫秒。41 bits 可以表示的數(shù)字多達?2^41 - 1?，也就是可以標識?2^41 - 1?個毫秒值，換算成年就是表示 69 年的時間。?10 bits：記錄工作機器 id，代表的是這個服務最多可以部署在 2^10 臺機器上，也就是 1024 臺機器。但是 10 bits 里 5 個 bits 代表機房 id，5 個 bits 代表機器 id。意思就是最多代表?2^5?個機房（32 個機房），每個機房里可以代表?2^5?個機器（32 臺機器）。?12 bits：這個是用來記錄同一個毫秒內產生的不同 id，12 bits 可以代表的最大正整數(shù)是?2^12 - 1 = 4096?，也就是說可以用這個 12 bits 代表的數(shù)字來區(qū)分同一個毫秒內的 4096 個不同的 id。
0?|?0001100?10100010?10111110?10001001?01011100?00?|?10001?|?1?1001?|?0000?00000000public?class?IdWorker?{
????private?long?workerId;
????private?long?datacenterId;
????private?long?sequence;
????public?IdWorker(long?workerId,?long?datacenterId,?long?sequence)?{
????????//?sanity?check?for?workerId
????????//?這兒不就檢查了一下，要求就是你傳遞進來的機房id和機器id不能超過32，不能小于0
????????if?(workerId?>?maxWorkerId?||?workerId?0)?{
????????????throw?new?IllegalArgumentException(
????????????????????String.format("worker?Id?can't?be?greater?than?%d?or?less?than?0",?maxWorkerId));
????????}
????????if?(datacenterId?>?maxDatacenterId?||?datacenterId?0)?{
????????????throw?new?IllegalArgumentException(
????????????????????String.format("datacenter?Id?can't?be?greater?than?%d?or?less?than?0",?maxDatacenterId));
????????}
????????System.out.printf(
????????????????"worker?starting.?timestamp?left?shift?%d,?datacenter?id?bits?%d,?worker?id?bits?%d,?sequence?bits?%d,?workerid?%d",
????????????????timestampLeftShift,?datacenterIdBits,?workerIdBits,?sequenceBits,?workerId);
????????this.workerId?=?workerId;
????????this.datacenterId?=?datacenterId;
????????this.sequence?=?sequence;
????}
????private?long?twepoch?=?1288834974657L;
????private?long?workerIdBits?=?5L;
????private?long?datacenterIdBits?=?5L;
????//?這個是二進制運算，就是?5?bit最多只能有31個數(shù)字，也就是說機器id最多只能是32以內
????private?long?maxWorkerId?=?-1L?^?(-1L?<
????//?這個是一個意思，就是?5?bit最多只能有31個數(shù)字，機房id最多只能是32以內
????private?long?maxDatacenterId?=?-1L?^?(-1L?<????private?long?sequenceBits?=?12L;
????private?long?workerIdShift?=?sequenceBits;
????private?long?datacenterIdShift?=?sequenceBits?+?workerIdBits;
????private?long?timestampLeftShift?=?sequenceBits?+?workerIdBits?+?datacenterIdBits;
????private?long?sequenceMask?=?-1L?^?(-1L?<
????private?long?lastTimestamp?=?-1L;
????public?long?getWorkerId()?{
????????return?workerId;
????}
????public?long?getDatacenterId()?{
????????return?datacenterId;
????}
????public?long?getTimestamp()?{
????????return?System.currentTimeMillis();
????}
????public?synchronized?long?nextId()?{
????????//?這兒就是獲取當前時間戳，單位是毫秒
????????long?timestamp?=?timeGen();
????????if?(timestamp?????????????System.err.printf("clock?is?moving?backwards.??Rejecting?requests?until?%d.",?lastTimestamp);
????????????throw?new?RuntimeException(String.format(
????????????????????"Clock?moved?backwards.??Refusing?to?generate?id?for?%d?milliseconds",?lastTimestamp?-?timestamp));
????????}
????????if?(lastTimestamp?==?timestamp)?{
????????????//?這個意思是說一個毫秒內最多只能有4096個數(shù)字
????????????//?無論你傳遞多少進來，這個位運算保證始終就是在4096這個范圍內，避免你自己傳遞個sequence超過了4096這個范圍
????????????sequence?=?(sequence?+?1)?&?sequenceMask;
????????????if?(sequence?==?0)?{
????????????????timestamp?=?tilNextMillis(lastTimestamp);
????????????}
????????}?else?{
????????????sequence?=?0;
????????}
????????//?這兒記錄一下最近一次生成id的時間戳，單位是毫秒
????????lastTimestamp?=?timestamp;
????????//?這兒就是將時間戳左移，放到 41 bit那兒；
????????//?將機房 id左移放到 5 bit那兒；
????????//?將機器id左移放到5 bit那兒；將序號放最后12 bit；
????????//?最后拼接起來成一個?64?bit的二進制數(shù)字，轉換成?10?進制就是個?long?型
????????return?((timestamp?-?twepoch)?<????????????????|?(workerId?<????}
????private?long?tilNextMillis(long?lastTimestamp)?{
????????long?timestamp?=?timeGen();
????????while?(timestamp?<=?lastTimestamp)?{
????????????timestamp?=?timeGen();
????????}
????????return?timestamp;
????}
????private?long?timeGen()?{
????????return?System.currentTimeMillis();
????}
????//?---------------測試---------------
????public?static?void?main(String[]?args)?{
????????IdWorker?worker?=?new?IdWorker(1,?1,?1);
????????for?(int?i?=?0;?i?30;?i++)?{
????????????System.out.println(worker.nextId());
????????}
????}
}
怎么說呢，大概這個意思吧，就是說 41 bit 是當前毫秒單位的一個時間戳，就這意思；然后 5 bit 是你傳遞進來的一個機房?id（但是最大只能是 32 以內），另外 5 bit 是你傳遞進來的機器?id（但是最大只能是 32 以內），剩下的那個 12 bit 序列號，就是如果跟你上次生成 id 的時間還在一個毫秒內，那么會把順序給你累加，最多在 4096 個序號以內。
所以你自己利用這個工具類，自己搞一個服務，然后對每個機房的每個機器都初始化這么一個東西，剛開始這個機房的這個機器的序號就是 0。然后每次接收到一個請求，說這個機房的這個機器要生成一個 id，你就找到對應的 Worker 生成。
利用這個 snowflake 算法，你可以開發(fā)自己公司的服務，甚至對于機房 id 和機器 id，反正給你預留了 5 bit + 5 bit，你換成別的有業(yè)務含義的東西也可以的。
這個 snowflake 算法相對來說還是比較靠譜的，所以你要真是搞分布式 id 生成，如果是高并發(fā)啥的，那么用這個應該性能比較好，一般每秒幾萬并發(fā)的場景，也足夠你用了。
推薦閱讀
?MySQL 主從同步延時問題與解決方案?MQ 消息重復消費問題與解決方案?MQ 消息丟失問題與解決方案?MQ 消息錯亂問題與解決方案
歡迎關注公眾號「Doocs」，第一時間跟你們分享好玩、實用的技術文章與業(yè)內最新資訊。