<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          短 URL 服務(wù),怎么設(shè)計(jì)與實(shí)現(xiàn)?

          共 4654字,需瀏覽 10分鐘

           ·

          2020-08-28 21:18

          程序員的成長之路
          互聯(lián)網(wǎng)/程序員/技術(shù)/資料共享?
          關(guān)注


          閱讀本文大概需要 5 分鐘。

          作者 | 呼延十
          來源 |?http://t.cn/AilftMhR

          前言

          想必大家也經(jīng)常收到垃圾短信吧...短信中的鏈接一般都是短鏈接,類似于下圖這樣:
          為什么這里面的url都是短的呢?有什么好處呢?怎么做到的呢?
          短url的好處有:
          1. 短. 短信和許多平臺(tái)(微博)有字?jǐn)?shù)限制,太長的鏈接加進(jìn)去都沒有辦法寫正文了.

          2. 好看. 比起一大堆不知所以的參數(shù),短鏈接更加簡潔友好.

          3. 方便做一些統(tǒng)計(jì).你點(diǎn)了鏈接會(huì)有人記錄然后分析的.

          4. 安全. 不暴露訪問參數(shù).

          這就是為什么我們現(xiàn)在收到的垃圾短信大多數(shù)都是短URL的原因了.
          那么短URL是怎么做到的呢?

          短URL基礎(chǔ)原理

          短URL從生成到使用分為以下幾步.
          1. 有一個(gè)服務(wù),將要發(fā)送給你的長URL對(duì)應(yīng)到一個(gè)短URL上.例如www.baidu.com -> www.t.cn/1

          2. 把短url拼接到短信等的內(nèi)容上發(fā)送.

          3. 用戶點(diǎn)擊短URL,瀏覽器用301/302進(jìn)行重定向,訪問到對(duì)應(yīng)的長URL.

          4. 展示對(duì)應(yīng)的內(nèi)容.

          本文主要集中于第一步,即如何將一個(gè)長URL對(duì)應(yīng)到短URL上.

          服務(wù)設(shè)計(jì)

          如果你在往長短URL真實(shí)的對(duì)應(yīng)關(guān)系上想,那么就走遠(yuǎn)了.
          最理想的情況是: 我們用一種算法,對(duì)每一個(gè)長URL,唯一的轉(zhuǎn)換成短URL.還能保持反向轉(zhuǎn)換的能力.
          但是這是不可能的,如果有這樣的算法,世界上的所有壓縮算法都可以原地去世了.
          正確的思路是建立一個(gè)發(fā)號(hào)器,每次有一個(gè)新的長URL進(jìn)來,我們就增加一,并且將新的數(shù)值返回.第一個(gè)來的url返回"www.x.cn/0",第二個(gè)返回"www.x.cn/1".
          接下來以QA形式寫幾個(gè)小問題:

          對(duì)應(yīng)關(guān)系如何存儲(chǔ)?

          這個(gè)對(duì)應(yīng)數(shù)據(jù)肯定是要落盤的,不能每次系統(tǒng)重啟就重新排號(hào),所以可以采用mysql等數(shù)據(jù)庫來存儲(chǔ).而且如果數(shù)據(jù)量小且qps低,直接使用數(shù)據(jù)庫的自增主鍵就可以實(shí)現(xiàn).

          如何保證長短鏈接一一對(duì)應(yīng)?

          按照上面的發(fā)號(hào)器策略,是不能保證長短鏈接的一一對(duì)應(yīng)的,你連續(xù)用同一個(gè)URL請(qǐng)求兩次,結(jié)果值都是不一樣的.
          為了實(shí)現(xiàn)長短鏈接一一對(duì)應(yīng),我們需要付出很大的空間代價(jià),尤其是為了快速響應(yīng),我們可以需要在內(nèi)存中做一層緩存,這樣子太浪費(fèi)了.
          但是可以實(shí)現(xiàn)一些變種的,來實(shí)現(xiàn)部分的一一對(duì)應(yīng), 比如將最近/最熱門的對(duì)應(yīng)關(guān)系存儲(chǔ)在K-V數(shù)據(jù)庫中,這樣子可以節(jié)省空間的同時(shí),加快響應(yīng)速度.

          短URL的存儲(chǔ)

          我們返回的短URL一般是將數(shù)字轉(zhuǎn)換成32進(jìn)制,這樣子可以更加有效的縮短URL長度,那么32進(jìn)制的數(shù)字對(duì)計(jì)算機(jī)來說只是字符串,怎么存儲(chǔ)呢?直接存儲(chǔ)字符串對(duì)等值查找好找,對(duì)范圍查找等太不友好了.
          其實(shí)可以直接存儲(chǔ)10進(jìn)制的數(shù)字,這樣不僅占用空間少,對(duì)查找的支持較好,同時(shí)還可以更加方便的轉(zhuǎn)換到更多/更少的進(jìn)制來進(jìn)一步縮短URL.

          高并發(fā)

          如果直接存儲(chǔ)在MySQL中,當(dāng)并發(fā)請(qǐng)求增大,對(duì)數(shù)據(jù)庫的壓力太大,可能會(huì)造成瓶頸,這時(shí)候是可以有一些優(yōu)化的.
          緩存
          上面保證長短鏈接一一對(duì)應(yīng)中也提到過緩存,這里我們是為了加快程序處理速度.
          可以將熱門的長鏈接(需要對(duì)長鏈接進(jìn)來的次數(shù)進(jìn)行計(jì)數(shù)),最近的長鏈接(可以使用redis保存最近一個(gè)小時(shí)的)等等進(jìn)行一個(gè)緩存,保存在內(nèi)存中或者類似redis的內(nèi)存數(shù)據(jù)庫中,如果請(qǐng)求的長URL命中了緩存,那么直接獲取對(duì)應(yīng)的短URL進(jìn)行返回,不需要再進(jìn)行生成操作.
          批量發(fā)號(hào)
          每一次發(fā)號(hào)都需要訪問一次MySQL來獲取當(dāng)前的最大號(hào)碼,并且在獲取之后更新最大號(hào)碼,這個(gè)壓力是比較大的.
          我們可以每次從數(shù)據(jù)庫獲取10000個(gè)號(hào)碼,然后在內(nèi)存中進(jìn)行發(fā)放,當(dāng)剩余的號(hào)碼不足1000時(shí),重新向MySQL請(qǐng)求下10000個(gè)號(hào)碼.在上一批號(hào)碼發(fā)放完了之后,批量進(jìn)行寫入.
          這樣可以將對(duì)數(shù)據(jù)庫持續(xù)的操作移到代碼中進(jìn)行,并且異步進(jìn)行獲取和寫入操作,保證服務(wù)的持續(xù)高并發(fā).

          分布式

          上面設(shè)計(jì)的系統(tǒng)是有單點(diǎn)的,那就是發(fā)號(hào)器是個(gè)單點(diǎn),容易掛掉.
          可以采用分布式服務(wù),分布式的話,如果每一個(gè)發(fā)號(hào)器進(jìn)行發(fā)號(hào)之后都需要同步給其他發(fā)號(hào)器,那未必也太麻煩了.
          換一種思路,可以有兩個(gè)發(fā)號(hào)器,一個(gè)發(fā)單號(hào),一個(gè)發(fā)雙號(hào),發(fā)號(hào)之后不再是遞增1,而是遞增2.
          類比可得,我們可以用1000個(gè)服務(wù),分別發(fā)放0-999尾號(hào)的數(shù)字,每次發(fā)號(hào)之后遞增1000.這樣做很簡單,服務(wù)互相之間基本都不用通信,做好自己的事情就好了.

          實(shí)現(xiàn)

          由于我懶得寫JDBC代碼,更懶得弄Mybatis,所以代碼中使用到MySQL的地方都使用了Redis.
          package util;

          import redis.clients.jedis.Jedis;

          /**
          * Created by pfliu on 2019/06/23.
          */

          publicclass ShortUrlUtil {


          privatestaticfinal String SHORT_URL_KEY = "SHORT_URL_KEY";
          privatestaticfinal String LOCALHOST = "http://localhost:4444/";
          privatestaticfinal String SHORT_LONG_PREFIX = "short_long_prefix_";
          privatestaticfinal String CACHE_KEY_PREFIX = "cache_key_prefix_";
          privatestaticfinalint CACHE_SECONDS = 1 * 60 * 60;

          privatefinal String redisConfig;
          privatefinal Jedis jedis;

          public ShortUrlUtil(String redisConfig) {
          this.redisConfig = redisConfig;
          this.jedis = new Jedis(this.redisConfig);
          }

          public String getShortUrl(String longUrl, Decimal decimal) {
          // 查詢緩存
          String cache = jedis.get(CACHE_KEY_PREFIX + longUrl);
          if (cache != null) {
          return LOCALHOST + toOtherBaseString(Long.valueOf(cache), decimal.x);
          }

          // 自增
          long num = jedis.incr(SHORT_URL_KEY);
          // 在數(shù)據(jù)庫中保存短-長URL的映射關(guān)系,可以保存在MySQL中
          jedis.set(SHORT_LONG_PREFIX + num, longUrl);
          // 寫入緩存
          jedis.setex(CACHE_KEY_PREFIX + longUrl, CACHE_SECONDS, String.valueOf(num));
          return LOCALHOST + toOtherBaseString(num, decimal.x);
          }

          /**
          * 在進(jìn)制表示中的字符集合
          */

          finalstaticchar[] digits = {'0', '1', '2', '3', '4', '5', '6', '7', '8',
          '9', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K', 'L',
          'M', 'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y',
          'Z', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z'};

          /**
          * 由10進(jìn)制的數(shù)字轉(zhuǎn)換到其他進(jìn)制
          */

          private String toOtherBaseString(long n, int base) {
          long num = 0;
          if (n < 0) {
          num = ((long) 2 * 0x7fffffff) + n + 2;
          } else {
          num = n;
          }
          char[] buf = newchar[32];
          int charPos = 32;
          while ((num / base) > 0) {
          buf[--charPos] = digits[(int) (num % base)];
          num /= base;
          }
          buf[--charPos] = digits[(int) (num % base)];
          returnnew String(buf, charPos, (32 - charPos));
          }

          enum Decimal {
          D32(32),
          D64(64);

          int x;

          Decimal(int x) {
          this.x = x;
          }
          }


          public static void main(String[] args) {

          for (int i = 0; i < 100; i++) {
          System.out.println(new ShortUrlUtil("localhost").getShortUrl("www.baidudu.com", Decimal.D32));
          System.out.println(new ShortUrlUtil("localhost").getShortUrl("www.baidu.com", Decimal.D64));
          }
          }
          }

          推薦閱讀:

          版本任你發(fā),我用Java 8!

          一文學(xué)會(huì)常用 MySQL 分庫分表方案

          5T技術(shù)資源大放送!包括但不限于:C/C++,Linux,Python,Java,PHP,人工智能,單片機(jī),樹莓派,等等。在公眾號(hào)內(nèi)回復(fù)「2048」,即可免費(fèi)獲取!!

          微信掃描二維碼,關(guān)注我的公眾號(hào)

          寫留言

          朕已閱?

          瀏覽 71
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評(píng)論
          圖片
          表情
          推薦
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  操逼麻豆传媒 | 国内自拍网 | 丁香六月婷婷综合缴 | 天干夜夜爽 | 婷婷五月丁香性爱网网 |