三種合并請(qǐng)求的方式幫提高接口性能
點(diǎn)擊關(guān)注公眾號(hào):互聯(lián)網(wǎng)架構(gòu)師,后臺(tái)回復(fù) 2T獲取2TB學(xué)習(xí)資源!
前言
工作中,我們常見的請(qǐng)求模型都是”請(qǐng)求-應(yīng)答”式,即一次請(qǐng)求中,服務(wù)給請(qǐng)求分配一個(gè)獨(dú)立的線程,一塊獨(dú)立的內(nèi)存空間,所有的操作都是獨(dú)立的,包括資源和系統(tǒng)運(yùn)算。我們也知道,在請(qǐng)求中處理一次系統(tǒng) I/O 的消耗是非常大的,如果有非常多的請(qǐng)求都進(jìn)行同一類 I/O 操作,那么是否可以將這些 I/O 操作都合并到一起,進(jìn)行一次 I/O 操作,是否可以大大降低下游資源服務(wù)器的負(fù)擔(dān)呢?
最近我工作之余的大部分時(shí)間都花在這個(gè)問(wèn)題的探究上了,對(duì)比了幾個(gè)現(xiàn)有類庫(kù),為了解決一個(gè)小問(wèn)題把 hystrix javanica 的代碼翻了一遍,也根據(jù)自己工作中遇到的業(yè)務(wù)需求實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的合并類,收獲還是挺大的。可能這個(gè)需求有點(diǎn)”偏門”,在網(wǎng)上搜索結(jié)果并不多,也沒(méi)有綜合一點(diǎn)的資料,索性自己總結(jié)分享一下,希望能幫到后來(lái)遇到這種問(wèn)題的小伙伴。
1、 Hystrix Collapser
hystrix
開源的請(qǐng)求合并類庫(kù)(知名的)好像也只有 Netflix 公司開源的 Hystrix 了, hystrix 專注于保持 WEB 服務(wù)器在高并發(fā)環(huán)境下的系統(tǒng)穩(wěn)定,我們常用它的熔斷器(Circuit Breaker) 來(lái)實(shí)現(xiàn)服務(wù)的服務(wù)隔離和災(zāi)時(shí)降級(jí),有了它,可以使整個(gè)系統(tǒng)不至于被某一個(gè)接口的高并發(fā)洪流沖塌,即使接口掛了也可以將服務(wù)降級(jí),返回一個(gè)人性化的響應(yīng)。請(qǐng)求合并作為一個(gè)保障下游服務(wù)穩(wěn)定的利器,在 hystrix 內(nèi)實(shí)現(xiàn)也并不意外。
我們?cè)谑褂?hystrix 時(shí),常用它的 javanica 模塊,以注解的方式編寫 hystrix 代碼,使代碼更簡(jiǎn)潔而且對(duì)業(yè)務(wù)代碼侵入更低。所以在項(xiàng)目中我們一般至少需要引用 hystrix-core 和 hystrix-javanica 兩個(gè)包。
另外,hystrix 的實(shí)現(xiàn)都是通過(guò) AOP,我們要還要在項(xiàng)目 xml 里顯式配置 HystrixAspect 的 bean 來(lái)啟用它。
<aop:aspectj-autoproxy/><bean id="hystrixAspect" class="com.netflix.hystrix.contrib.javanica.aop.aspectj.HystrixCommandAspect" />
collapser
hystrix collapser 是 hystrix 內(nèi)的請(qǐng)求合并器,它有自定義 BatchMethod 和 注解兩種實(shí)現(xiàn)方式,自定義 BatchMethod 網(wǎng)上有各種教程,實(shí)現(xiàn)起來(lái)很復(fù)雜,需要手寫大量代碼,而注解方式只需要添加兩行注解即可,但配置方式我在官方文檔上也沒(méi)找見,中文方面本文應(yīng)該是獨(dú)一份兒了。
其實(shí)現(xiàn)需要注意的是:
我們?cè)谛枰喜⒌姆椒ㄉ咸砑?@HystrixCollapser 注解,在定義好的合并方法上添加 @HystrixCommand 注解;
single 方法只能傳入一個(gè)參數(shù),多參數(shù)情況下需要自己包裝一個(gè)參數(shù)類,而 batch 方法需要 java.util.List<SingleParam>;
下面是一個(gè)簡(jiǎn)單的示例:
public class HystrixCollapserSample {@HystrixCollapser(batchMethod = "batch")public Future<Boolean> single(String input) {return null; // single方法不會(huì)被執(zhí)行到}public List<Boolean> batch(List<String> inputs) {return inputs.stream().map(it -> Boolean.TRUE).collect(Collectors.toList());}}
源碼實(shí)現(xiàn)
為了解決 hystrix collapser 的配置問(wèn)題看了下 hystrix javanica 的源碼,這里簡(jiǎn)單總結(jié)一下 hystrix 請(qǐng)求合并器的具體實(shí)現(xiàn),源碼的詳細(xì)解析在我的筆記:Hystrix collasper 源碼解析。
在 spring-boot 內(nèi)注冊(cè)切面類的 bean,里面包含 @HystrixCollapser 注解切面; 在方法執(zhí)行時(shí)檢測(cè)到方法被 HystrixCollapser 注解后,spring 調(diào)用 methodsAnnotatedWithHystrixCommand方法來(lái)執(zhí)行 hystrix 代理; hystrix 獲取一個(gè) collapser 實(shí)例(在當(dāng)前 scope 內(nèi)檢測(cè)不到即創(chuàng)建); hystrix 將當(dāng)前請(qǐng)求的參數(shù)提交給 collapser, 由 collapser 存儲(chǔ)在一個(gè) concurrentHashMap (RequestArgumentType -> CollapsedRequest)內(nèi),此方法會(huì)創(chuàng)建一個(gè) Observable 對(duì)象,并返回一個(gè) 觀察此對(duì)象的 Future 給業(yè)務(wù)線程; collpser 在創(chuàng)建時(shí)會(huì)創(chuàng)建一個(gè) timer 線程,定時(shí)消費(fèi)存儲(chǔ)的請(qǐng)求,timer 會(huì)將多個(gè)請(qǐng)求構(gòu)造成一個(gè)合并后的請(qǐng)求,調(diào)用 batch 執(zhí)行后將結(jié)果順序映射到輸出參數(shù),并通知 Future 任務(wù)已完成。
需要注意,由于需要等待 timer 執(zhí)行真正的請(qǐng)求操作,collapser 會(huì)導(dǎo)致所有的請(qǐng)求的 cost 都會(huì)增加約 timerInterval/2 ms;
配置
collapserKey,這個(gè)可以不用配置,hystrix 會(huì)默認(rèn)使用當(dāng)前方法名;
batchMethod,配置 batch 方法名,我們一般會(huì)將 single 方法和 batch 方法定義在同一個(gè)類內(nèi),直接填方法名即可;
collapserProperties, 在此選項(xiàng)內(nèi)我們可以配置 hystrixCommand 的通用配置;
maxRequestsInBatch, 構(gòu)造批量請(qǐng)求時(shí),使用的單個(gè)請(qǐng)求的最大數(shù)量; timerDelayInMilliseconds, 此選項(xiàng)配置 collapser 的 timer 線程多久會(huì)合并一次請(qǐng)求; requestCache.enabled, 配置提交請(qǐng)求時(shí)是否緩存;
@HystrixCollapser(batchMethod = ,collapserKey = ,scope = com.netflix.hystrix.HystrixCollapser.Scope.GLOBAL,collapserProperties = {@HystrixProperty(name = , value = ),,})
2、BatchCollapser
設(shè)計(jì)
是一種 Collection,類似于 ArrayList 或 Queue,可以存重復(fù)元素且有順序; 在多線程環(huán)境中能安全地將里面的數(shù)據(jù)全取出來(lái)進(jìn)行消費(fèi),而不用自己實(shí)現(xiàn)鎖。
實(shí)現(xiàn)
以下是具體的代碼實(shí)現(xiàn):
public class BatchCollapser<E> implements InitializingBean {private static final Logger logger = LoggerFactory.getLogger(BatchCollapser.class);private static volatile Map<Class, BatchCollapser> instance = Maps.newConcurrentMap();private static final ScheduledExecutorService SCHEDULE_EXECUTOR = Executors.newScheduledThreadPool(1);private volatile LinkedBlockingDeque<E> batchContainer = new LinkedBlockingDeque<>();private Handler<List<E>, Boolean> cleaner;private long interval;private int threshHold;private BatchCollapser(Handler<List<E>, Boolean> cleaner, int threshHold, long interval) {this.cleaner = cleaner;this.threshHold = threshHold;this.interval = interval;}public void afterPropertiesSet() throws Exception {SCHEDULE_EXECUTOR.scheduleAtFixedRate(() -> {try {this.clean();} catch (Exception e) {logger.error("clean container exception", e);}}, 0, interval, TimeUnit.MILLISECONDS);}public void submit(E event) {batchContainer.add(event);if (batchContainer.size() >= threshHold) {clean();}}private void clean() {List<E> transferList = Lists.newArrayListWithExpectedSize(threshHold);batchContainer.drainTo(transferList, 100);if (CollectionUtils.isEmpty(transferList)) {return;}try {cleaner.handle(transferList);} catch (Exception e) {logger.error("batch execute error, transferList:{}", transferList, e);}}public static <E> BatchCollapser getInstance(Handler<List<E>, Boolean> cleaner, int threshHold, long interval) {Class jobClass = cleaner.getClass();if (instance.get(jobClass) == null) {synchronized (BatchCollapser.class) {if (instance.get(jobClass) == null) {instance.put(jobClass, new BatchCollapser<>(cleaner, threshHold, interval));}}}return instance.get(jobClass);}}
以下代碼內(nèi)需要注意的點(diǎn):
# 3、ConcurrentHashMultiset
設(shè)計(jì)
上面介紹的請(qǐng)求合并都是將多個(gè)請(qǐng)求一次發(fā)送,下游服務(wù)器處理時(shí)本質(zhì)上還是多個(gè)請(qǐng)求,最好的請(qǐng)求合并是在內(nèi)存中進(jìn)行,將請(qǐng)求結(jié)果簡(jiǎn)單合并成一個(gè)發(fā)送給下游服務(wù)器。如我們經(jīng)常會(huì)遇到的需求:元素分值累加或數(shù)據(jù)統(tǒng)計(jì),就可以先在內(nèi)存中將某一項(xiàng)的分值或數(shù)據(jù)累加起來(lái),定時(shí)請(qǐng)求數(shù)據(jù)庫(kù)保存。
Guava 內(nèi)就提供了這么一種數(shù)據(jù)結(jié)構(gòu):ConcurrentHashMultiset,它不同于普通的 set 結(jié)構(gòu)存儲(chǔ)相同元素時(shí)直接覆蓋原有元素,而是給每個(gè)元素保持一個(gè)計(jì)數(shù) count, 插入重復(fù)時(shí)元素的 count 值加1。而且它在添加和刪除時(shí)并不加鎖也能保證線程安全,具體實(shí)現(xiàn)是通過(guò)一個(gè) while(true) 循環(huán)嘗試操作,直到操作夠所需要的數(shù)量。
ConcurrentHashMultiset 這種排重計(jì)數(shù)的特性,非常適合數(shù)據(jù)統(tǒng)計(jì)這種元素在短時(shí)間內(nèi)重復(fù)率很高的場(chǎng)景,經(jīng)過(guò)排重后的數(shù)量計(jì)算,可以大大降低下游服務(wù)器的壓力,即使重復(fù)率不高,能用少量的內(nèi)存空間換取系統(tǒng)可用性的提高,也是很劃算的。
實(shí)現(xiàn)
使用 ConcurrentHashMultiset 進(jìn)行請(qǐng)求合并與使用普通容器在整體結(jié)構(gòu)上并無(wú)太大差異,具體類似于:
if (ConcurrentHashMultiset.isEmpty()) {return;}List<Request> transferList = Lists.newArrayList();ConcurrentHashMultiset.elementSet().forEach(request -> {int count = ConcurrentHashMultiset.count(request);if (count <= 0) {return;}transferList.add(count == 1 ? request : new Request(request.getIncrement() * count));ConcurrentHashMultiset.remove(request, count);});
小結(jié)
最后總結(jié)一下各個(gè)技術(shù)適用的場(chǎng)景:
hystrix collapser: 需要每個(gè)請(qǐng)求的結(jié)果,并且不在意每個(gè)請(qǐng)求的 cost 會(huì)增加; BatchCollapser: 不在意請(qǐng)求的結(jié)果,需要請(qǐng)求合并能在時(shí)間和數(shù)量?jī)蓚€(gè)維度上觸發(fā); ConcurrentHashMultiset:請(qǐng)求重復(fù)率很高的統(tǒng)計(jì)類場(chǎng)景;
另外,如果選擇自己來(lái)實(shí)現(xiàn)的話,完全可以將 BatchCollapser 和 ConcurrentHashMultiset 結(jié)合一下,在BatchCollapser 里使用 ConcurrentHashMultiset 作為容器,這樣就可以結(jié)合兩者的優(yōu)勢(shì)了。
-End-
正文結(jié)束
1.心態(tài)崩了!稅前2萬(wàn)4,到手1萬(wàn)4,年終獎(jiǎng)扣稅方式1月1日起施行~
2.深圳一普通中學(xué)老師工資單曝光,秒殺程序員,網(wǎng)友:敢問(wèn)是哪個(gè)學(xué)校畢業(yè)的?
3.從零開始搭建創(chuàng)業(yè)公司后臺(tái)技術(shù)棧
5.清華大學(xué):2021 元宇宙研究報(bào)告!
6.為什么國(guó)內(nèi) 996 干不過(guò)國(guó)外的 955呢?

