巧用 Redis，實現(xiàn)微博 Feed 流功能！

背景

最近接到一個需求，用一句話來說就是：展示關(guān)注人發(fā)布的動態(tài)，這個涉及到 feed 流系統(tǒng)的設(shè)計。本文主要介紹一個一般企業(yè)可用的 Feed 流解決方案。

相關(guān)概念

下面先介紹一下關(guān)于 Feed 流的簡單概念。

什么是 feed 流

• Feed：Feed 流中的每一條狀態(tài)或者消息都是 Feed，比如微博中的一條微博就是一個 Feed。
• Feed流：持續(xù)更新并呈現(xiàn)給用戶內(nèi)容的信息流。每個人的朋友圈，微博關(guān)注頁等等都是一個 Feed 流。

feed 流分類

Feed 流常見的分類有兩種：

• Timeline：按發(fā)布的時間順序排序，產(chǎn)品如果選擇 Timeline 類型，那么就是認為 Feed 流中的 Feed 不多，但是每個 Feed 都很重要，都需要用戶看到。類似于微信朋友圈，微博等。
• Rank：按某個非時間的因子排序，一般是按照用戶的喜好度排序，一般用于新聞推薦類、商品推薦等。

設(shè)計

?

設(shè)計一個 Feed 流系統(tǒng)，兩個關(guān)鍵步驟，一個是 Feed 流的 初始化，一個是 推送。關(guān)于 Feed 流的存儲其實也是一個核心的點，但是筆主持久化使用的還是 MySQL，后續(xù)可以考慮優(yōu)化。

?

Feed 流初始化

Feed 流【關(guān)注頁 Feed 流】的初始化指的是，當用戶的 Feed 流還不存在的時候，為該用戶創(chuàng)建一個屬于他自己的關(guān)注頁 Feed 流，具體怎么做呢？其實很簡單，遍歷一遍關(guān)注列表，取出所有關(guān)注用戶的 feed，將 feedId 存放到 redis 的 sortSet 中即可。這里面有幾個關(guān)鍵點：

• 初始化數(shù)據(jù)：初始化的數(shù)據(jù)需要從數(shù)據(jù)庫中加載出來。
• key 值：sortSet 的 key 值需要使用當前用戶的 id 做標識。
• score 值：如果是 Timeline 類型，直接取 feed 創(chuàng)建的時間戳即可。如果是 rank 類型，則把你的業(yè)務對應的權(quán)重值設(shè)進去。

推送

經(jīng)過上面的初始化，已經(jīng)把 feed 流放在了 redis 緩存中了。接下來就是需要更新 feed 流了，在下面四種情況需要進行更新：

• 關(guān)注的用戶發(fā)布新的 feed：
• 關(guān)注的用戶刪除 feed。
• 用戶新增關(guān)注。
• 用戶取消關(guān)注。

發(fā)布/刪除 Feed 流程

上面四步具體怎么操作，會在下面的實現(xiàn)步驟中詳細描述，在這里先我們重點討論一下第一、二種情況。因為在處理 大V 【千萬級別粉絲】的時候，我們是需要對 大V 的所有粉絲的 feed 流進行處理的，這時候涉及到的量就會非常巨大，需要多加斟酌。關(guān)于推送，一般有兩種 推/拉。

• 推：A用戶發(fā)布新的動態(tài)時，要往 A用戶所有的粉絲 feed 流中推。
• 拉：A用戶發(fā)布新的動態(tài)時，先不進行推送，而是等 粉絲進來的時候，才主動到 A用戶的個人頁TimeLine 拉取最新的 feed，然后進行一個 merge。如果關(guān)注了多個大V，可以并發(fā)的向多個大V 個人頁TimeLine 中拉取。

推拉結(jié)合模式

當用戶發(fā)布一條新的 Feed 時，處理流程如下：

1. 先從關(guān)注列表中讀取到自己的粉絲列表，以及判斷自己是否是大V。
2. 將自己的Feed消息寫入個人頁Timeline。如果是大V，寫入流程到此就結(jié)束了。
3. 如果是普通用戶，還需要將自己的Feed消息寫給自己的粉絲，如果有100個粉絲，那么就要寫給100個用戶。

當刷新自己的Feed流的時候，處理流程如下：

1. 先去讀取自己關(guān)注的大V列表
2. 去讀取自己的 Feed 流。
3. 如果有關(guān)注的大V，則再次并發(fā)讀取每一個大V的個人頁Timeline，如果關(guān)注了10個大V，那么則需要10次訪問。
4. 合并2和3步的結(jié)果，然后按時間排序，返回給用戶。

至此，使用推拉結(jié)合方式的發(fā)布，讀取Feed流的流程都結(jié)束了。

推模式

如果只是用推模式了，則會變的比較簡單：

「發(fā)布Feed：」

不用區(qū)分是否大V，所有用戶的流程都一樣，都是三步。

「讀取Feed流：」

不需要第一步，也不需要第三步，只需要第二步即可，將之前的2 + N(N是關(guān)注的大V個數(shù)) 次網(wǎng)絡(luò)開銷減少為 1 次網(wǎng)絡(luò)開銷。讀取延時大幅降級。

兩種模式總結(jié)：

推拉結(jié)合存在一個弊端，就是刷新自己的Feed流時，大V的個人頁Timeline 的讀壓力會很大。

如何解決：

• 不使用大V/普通用戶的優(yōu)化方式，使用對活躍粉絲采用推模式，非活躍粉絲采用拉模式。
• 完全使用推模式就可以徹底解決這個問題，但是會帶來存儲量增大，大V Feed 發(fā)送總時間增大，從發(fā)給第一個粉絲到發(fā)給最后一個粉絲可能要幾分鐘時間。

實現(xiàn)

筆主主要采用純推模式實現(xiàn)了一個普通企業(yè)基本可用的 Feed 流系統(tǒng)，下面介紹一下具體的實現(xiàn)代碼，主要包括3大個部分：

• 初始化 Feed 流。
• 關(guān)注的用戶發(fā)布/刪除 feed，該用戶的粉絲更新自己的Feed流。
• 用戶新增/取消關(guān)注，更新自己的Feed流。

初始化 Feed 流

當用戶第一進來刷新Feed 流，且 Feed 流還不存在時，我們需要進行初始化，初始化的具體代碼如下：核心思想就是從數(shù)據(jù)庫中l(wèi)oad出 feed 信息，塞到 zSet 中，然后分頁返回。

/**
 * 獲取關(guān)注的人的信息流
 */
public List<FeedDto> listFocusFeed(Long userId, Integer page, Integer size) {
    String focusFeedKey = "focusFeedKey" + userId;

    // 如果 zset 為空，先初始化
    if (!zSetRedisTemplate.exists(focusFeedKey)) {
        initFocusIdeaSet(userId);
    }

    // 如果 zset 存在，但是存在 0 值
    Double zscore = zSetRedisTemplate.zscore(focusFeedKey, "0");
    if (zscore != null && zscore > 0) {
        return null;
    }

    //分頁
    int offset = (page - 1) * size;

    long score = System.currentTimeMillis();
    // 按 score 值從大到小從 zSet 中取出 FeedId 集合
    List<String> list = zSetRedisTemplate.zrevrangeByScore(focusFeedKey, score, 0, offset, size);

    List<FeedDto> result = new ArrayList<>();
    if (QlchatUtil.isNotEmpty(list)) {
        for (String s : list) {
            // 根據(jù) feedId 從緩存中 load 出 feed
            FeedDto feedDto = this.loadCache(Long.valueOf(s));
            if (feedDto != null) {
                result.add(feedDto);
            }
        }
    }
    return result;
}

/**
 * 初始化關(guān)注的人的信息流 zSet
 */
private void initFocusFeedSet( Long userId) {
    String focusFeedKey = "focusFeedKey" + userId;
    zSetRedisTemplate.del(focusIdeaKey);

    // 從數(shù)據(jù)庫中加載當前用戶關(guān)注的人發(fā)布過的 Feed
    List<Feed> list = this.feedMapper.listFocusFeed(userId);

    if (QlchatUtil.isEmpty(list)) {
        //保存0，避免空數(shù)據(jù)頻繁查庫
        zSetRedisTemplate.zadd(focusFeedKey, 1, "0");
        zSetRedisTemplate.expire(focusFeedKey, RedisKeyConstants.ONE_MINUTE * 5);
        return;
    }

    // 遍歷 FeedList，把 FeedId 存到 zSet 中
    for (Feed feed : list) {
        zSetRedisTemplate.zadd(focusFeedKey, feed.getCreateTime().getTime(), feed.getId().toString());
    }

    zSetRedisTemplate.expire(focusFeedKey, 60 * 60 * 60);
}

關(guān)注的用戶發(fā)布/刪除新的 feed

每當用戶發(fā)布/刪除新的 feed，我們需要更新該用戶所有的粉絲的 Feed流，該步驟一般比較耗時，所以建議異步處理，為了避免一次性load出太多的粉絲數(shù)據(jù)，這里采用循環(huán)分頁查詢。為了避免粉絲的 Feed流過大，我們會限制 Feed 流的長度為1000，當Feed流長度超過1000時，會移除最舊的 Feed。

/**
 * 新增/刪除 feed時，處理粉絲 feed 流
 *
 * @param userId 新增/刪除 feed的用戶id
 * @param feedId 新增/刪除 的feedId
 * @param type   feed_add = 新增feed feed_sub = 刪除feed
 */
public void handleFeed(Long userId, Long feedId, String type) {

    Integer currentPage = 1;
    Integer size = 1000;
    List<FansDto> fansDtos;

    while (true) {
        Page page = new Page();
        page.setSize(size);
        page.setPage(currentPage);
        fansDtos = this.fansService.listFans(userId, page);

        for (FansDto fansDto : fansDtos) {
            String focusFeedKey = "focusFeedKey" + userId;

            // 如果粉絲 zSet 不存在，退出
            if (!this.zSetRedisTemplate.exists(focusFeedKey)) {
                continue;
            }

            // 新增Feed
            if ("feed_add".equals(type)) {
                this.removeOldestZset(focusFeedKey);
                zSetRedisTemplate.zadd(focusFeedKey, System.currentTimeMillis(), feedId);
            }
            // 刪除Feed
            else if ("feed_sub".equals(type)) {
                zSetRedisTemplate.zrem(focusFeedKey, feedId);
            }

        }

        if (fansDtos.size() < size) {
            break;
        }
        currentPage++;
    }

}

/**
 * 刪除 zSet 中最舊的數(shù)據(jù)
 */
private void removeOldestZset(String focusFeedKey){
    // 如果當前 zSet 大于1000，刪除最舊的數(shù)據(jù)
    if (this.zSetRedisTemplate.zcard(focusFeedKey) >= 1000) {
        // 獲取當前 zSet 中 score 值最小的
        List<String> zrevrange = this.zSetRedisTemplate.zrevrange(focusFeedKey, -1, -1, String.class);
        if (QlchatUtil.isNotEmpty(zrevrange)) {
            this.zSetRedisTemplate.zrem(focusFeedKey, zrevrange.get(0));
        }
    }
}

用戶新增關(guān)注/取消關(guān)注

這里比較簡單，新增/取消關(guān)注，把新關(guān)注的 Feed 往自己的 Feed流中增加/刪除 即可，但是同樣需要異步處理。

/**
 * 關(guān)注/取關(guān) 時，處理followerId的zSet
 *
 * @param followId   被關(guān)注的人
 * @param followerId 當前用戶
 * @param type       focus = 關(guān)注 unfocus = 取關(guān)
 */
public void handleFocus( Long followId, Long followerId, String type) {

    String focusFeedKey = "focusFeedKey" + userId;

    // 如果粉絲 zSet 不存在，退出
    if (!this.zSetRedisTemplate.exists(focusFeedKey)) {
        return;
    }
    List<FeedDto> FeedDtos = this.listFeedByFollowId(source, followId);
    for (FeedDto feedDto : FeedDtos) {

        // 關(guān)注
        if ("focus".equals(type)) {
            this.removeOldestZset(focusFeedKey);
            this.zSetRedisTemplate.zadd(focusFeedKey, feedDto.getCreateTime().getTime(), feedDto.getId());
        }
        // 取關(guān)
        else if ("unfocus".equals(type)) {
            this.zSetRedisTemplate.zrem(focusFeedKey, feedDto.getId());
        }


    }
}

上面展示的是核心代碼，僅僅是為大家提供一個實現(xiàn)思路，并不是直接可運行的代碼，畢竟真正實現(xiàn)還會涉及到很多其他的無關(guān)要緊的類。

最后

在這里已經(jīng)介紹完一個簡單可用的 Feed流系統(tǒng)，歡迎各路大神指出錯誤，多提意見！

來源：blog.csdn.net/dearKundy/

article/details/103216433

我是小富，下期見～

··········  END  ··············