<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          短 URL 服務(wù)的設(shè)計(jì)以及實(shí)現(xiàn)

          共 8038字,需瀏覽 17分鐘

           ·

          2021-06-16 11:49

          往期熱門文章:
          1、為什么阿里巴巴禁止使用存儲過程?
          2、在外包干了三年,我廢了..… 不吹不黑!
          3、用鴻蒙跑了個 hello world
          4、還在寫大量 if 來判斷?試試用一個規(guī)則執(zhí)行器來替代它
          5、Spring Boot中的線程池,你真的會用么?
          來源:www.cnblogs.com/wzh2010/p/14454954.html




            背景 




          想必大家也經(jīng)常收到垃圾短信吧……短信中的鏈接一般都是短鏈接,類似于下圖這樣:


          為什么這里面的URL都是短的呢?有什么好處呢?怎么做到的呢?




          短 URL 的好處




          1. 短信和許多平臺(微博)有字?jǐn)?shù)限制 ,太長的鏈接加進(jìn)去都沒有辦法寫正文了。
          2. 好看。 比起一大堆不知所以的參數(shù),短鏈接更加簡潔友好。
          3. 方便做一些統(tǒng)計(jì)。 你點(diǎn)了鏈接會有人記錄然后分析的。
          4. 安全。 不暴露訪問參數(shù)。

          這就是為什么我們現(xiàn)在收到的垃圾短信大多數(shù)都是短URL的原因了。

          那么短URL是怎么做到的呢?



          短 URL 基礎(chǔ)原理





          短URL從生成到使用分為以下幾步:

          1. 有一個服務(wù),將要發(fā)送給你的長URL對應(yīng)到一個短URL上.例如www.baidu.com -> www.t.cn/1。
          2. 把短URL拼接到短信等的內(nèi)容上發(fā)送。.
          3. 用戶點(diǎn)擊短URL,瀏覽器用301/302進(jìn)行重定向,訪問到對應(yīng)的長URL。
          4. 展示對應(yīng)的內(nèi)容。

          本文主要集中于第一步,即如何將一個長URL對應(yīng)到短URL上。




           服務(wù)設(shè)計(jì)





          如果你在往長短URL真實(shí)的對應(yīng)關(guān)系上想,那么就走遠(yuǎn)了。

          最理想的情況是:我們用一種算法,對每一個長URL,唯一的轉(zhuǎn)換成短URL。還能保持反向轉(zhuǎn)換的能力。

          但是這是不可能的,如果有這樣的算法,世界上的所有壓縮算法都可以原地去世了。

          正確的思路是建立一個發(fā)號器,每次有一個新的長URL進(jìn)來,我們就增加一,并且將新的數(shù)值返回。第一個來的URL返回"www.x.cn/0",第二個返回"www.x.cn/1"。

          接下來以QA形式寫幾個小問題:

          對應(yīng)關(guān)系如何存儲?

          這個對應(yīng)數(shù)據(jù)肯定是要落盤的,不能每次系統(tǒng)重啟就重新排號,所以可以采用mysql等數(shù)據(jù)庫來存儲。而且如果數(shù)據(jù)量小且qps低,直接使用數(shù)據(jù)庫的自增主鍵就可以實(shí)現(xiàn)。

          如何保證長短鏈接一一對應(yīng)?

          按照上面的發(fā)號器策略,是不能保證長短鏈接的一一對應(yīng)的,你連續(xù)用同一個URL請求兩次,結(jié)果值都是不一樣的。

          為了實(shí)現(xiàn)長短鏈接一一對應(yīng),我們需要付出很大的空間代價,尤其是為了快速響應(yīng),我們可以需要在內(nèi)存中做一層緩存,這樣子太浪費(fèi)了。

          但是可以實(shí)現(xiàn)一些變種的,來實(shí)現(xiàn)部分的一一對應(yīng),比如將最近/最熱門的對應(yīng)關(guān)系存儲在K-V數(shù)據(jù)庫中,這樣子可以節(jié)省空間的同時,加快響應(yīng)速度。

          短URL的存儲

          我們返回的短URL一般是將數(shù)字轉(zhuǎn)換成32進(jìn)制,這樣子可以更加有效的縮短URL長度,那么32進(jìn)制的數(shù)字對計(jì)算機(jī)來說只是字符串,怎么存儲呢?直接存儲字符串對等值查找好找,對范圍查找等太不友好了。

          其實(shí)可以直接存儲10進(jìn)制的數(shù)字,這樣不僅占用空間少,對查找的支持較好,同時還可以更加方便的轉(zhuǎn)換到更多/更少的進(jìn)制來進(jìn)一步縮短URL。

          高并發(fā)

          如果直接存儲在MySQL中,當(dāng)并發(fā)請求增大,對數(shù)據(jù)庫的壓力太大,可能會造成瓶頸,這時候是可以有一些優(yōu)化的。

          緩存

          上面保證長短鏈接一一對應(yīng)中也提到過緩存,這里我們是為了加快程序處理速度。可以將熱門的長鏈接(需要對長鏈接進(jìn)來的次數(shù)進(jìn)行計(jì)數(shù)),最近的長鏈接(可以使用redis保存最近一個小時的)等等進(jìn)行一個緩存,保存在內(nèi)存中或者類似redis的內(nèi)存數(shù)據(jù)庫中,如果請求的長URL命中了緩存,那么直接獲取對應(yīng)的短URL進(jìn)行返回,不需要再進(jìn)行生成操作。


          批量發(fā)號

          每一次發(fā)號都需要訪問一次MySQL來獲取當(dāng)前的最大號碼,并且在獲取之后更新最大號碼,這個壓力是比較大的。

          我們可以每次從數(shù)據(jù)庫獲取10000個號碼,然后在內(nèi)存中進(jìn)行發(fā)放,當(dāng)剩余的號碼不足1000時,重新向MySQL請求下10000個號碼,在上一批號碼發(fā)放完了之后,批量進(jìn)行寫入。

          這樣可以將對數(shù)據(jù)庫持續(xù)的操作移到代碼中進(jìn)行,并且異步進(jìn)行獲取和寫入操作,保證服務(wù)的持續(xù)高并發(fā)。

          分布式

          上面設(shè)計(jì)的系統(tǒng)是有單點(diǎn)的,那就是發(fā)號器是個單點(diǎn),容易掛掉。

          可以采用分布式服務(wù),分布式的話,如果每一個發(fā)號器進(jìn)行發(fā)號之后都需要同步給其他發(fā)號器,那未必也太麻煩了。

          換一種思路,可以有兩個發(fā)號器,一個發(fā)單號,一個發(fā)雙號,發(fā)號之后不再是遞增1,而是遞增2。

          類比可得,我們可以用1000個服務(wù),分別發(fā)放0-999尾號的數(shù)字,每次發(fā)號之后遞增1000。這樣做很簡單,服務(wù)互相之間基本都不用通信,做好自己的事情就好了。

          實(shí)現(xiàn)

          由于我懶得寫JDBC代碼,更懶得弄Mybatis,所以代碼中使用到MySQL的地方都使用了Redis。

          package util;

          import redis.clients.jedis.Jedis;

          /**
           * Created by pfliu on 2019/06/23.
           */

          public class ShortURLUtil {


              private static final String SHORT_URL_KEY = "SHORT_URL_KEY";
              private static final String LOCALHOST = "http://localhost:4444/";
              private static final String SHORT_LONG_PREFIX = "short_long_prefix_";
              private static final String CACHE_KEY_PREFIX = "cache_key_prefix_";
              private static final int CACHE_SECONDS = 1 * 60 * 60;

              private final String redisConfig;
              private final Jedis jedis;

              public ShortURLUtil(String redisConfig{
                  this.redisConfig = redisConfig;
                  this.jedis = new Jedis(this.redisConfig);
              }

              public String getShortURL(String longURL, Decimal decimal{
                  // 查詢緩存
                  String cache = jedis.get(CACHE_KEY_PREFIX + longURL);
                  if (cache != null) {
                      return LOCALHOST + toOtherBaseString(Long.valueOf(cache), decimal.x);
                  }

                  // 自增
                  long num = jedis.incr(SHORT_URL_KEY);
                  // 在數(shù)據(jù)庫中保存短-長URL的映射關(guān)系,可以保存在MySQL中
                  jedis.set(SHORT_LONG_PREFIX + num, longURL);
                  // 寫入緩存
                  jedis.setex(CACHE_KEY_PREFIX + longURL, CACHE_SECONDS, String.valueOf(num));
                  return LOCALHOST + toOtherBaseString(num, decimal.x);
              }

              /**
               * 在進(jìn)制表示中的字符集合
               */

              final static char[] digits = {'0''1''2''3''4''5''6''7''8',
                      '9''A''B''C''D''E''F''G''H''I''J''K''L',
                      'M''N''O''P''Q''R''S''T''U''V''W''X''Y',
                      'Z''a''b''c''d''e''f''g''h''i''j''k''l''m''n''o''p''q''r''s''t''u''v''w''x''y''z'};

              /**
               * 由10進(jìn)制的數(shù)字轉(zhuǎn)換到其他進(jìn)制
               */

              private String toOtherBaseString(long n, int base{
                  long num = 0;
                  if (n < 0) {
                      num = ((long2 * 0x7fffffff) + n + 2;
                  } else {
                      num = n;
                  }
                  char[] buf = new char[32];
                  int charPos = 32;
                  while ((num / base) > 0) {
                      buf[--charPos] = digits[(int) (num % base)];
                      num /= base;
                  }
                  buf[--charPos] = digits[(int) (num % base)];
                  return new String(buf, charPos, (32 - charPos));
              }

              enum Decimal {
                  D32(32),
                  D64(64);

                  int x;

                  Decimal(int x) {
                      this.x = x;
                  }
              }


              public static void main(String[] args{

                  for (int i = 0; i < 100; i++) {
                      System.out.println(new ShortURLUtil("localhost").getShortURL("www.baidudu.com", Decimal.D32));
                      System.out.println(new ShortURLUtil("localhost").getShortURL("www.baidu.com", Decimal.D64));
                  }
              }
          }

          最近熱文閱讀:

          1、為什么阿里巴巴禁止使用存儲過程?
          2、面試官:說一下JDK/Dubbo/Spring 三種 SPI 機(jī)制,誰更好?
          3、在外包干了三年,我廢了..… 不吹不黑!
          4、還在寫大量 if 來判斷?試試用一個規(guī)則執(zhí)行器來替代它
          5、重磅推薦幾個接私活的腳手架利器!
          6、MySQL究竟是怎么執(zhí)行的?看完終于不糾結(jié)了
          7、25種代碼壞味道總結(jié)+優(yōu)化示例
          8、如何優(yōu)雅處理重復(fù)請求/并發(fā)請求?
          9使用 Redis 實(shí)現(xiàn)一個輕量級的搜索引擎
          10、比MySQL快801倍,OLAP兩大新秀ClickHouse和Doris到底怎么選?
          關(guān)注公眾號,你想要的Java都在這里

          瀏覽 26
          點(diǎn)贊
          評論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評論
          圖片
          表情
          推薦
          點(diǎn)贊
          評論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  99久久99久久久国产精品青草 | 麻豆91网站 | 亚洲成人短视频 | 天天摸天天碰成人免费视频 | 91成人网站 |