萬(wàn)字好文,電商秒殺系統(tǒng)架構(gòu)分析與實(shí)戰(zhàn)
點(diǎn)擊下方“IT牧場(chǎng)”,選擇“設(shè)為星標(biāo)”

正常電子商務(wù)流程
(1)查詢商品;
(2)創(chuàng)建訂單;
(3)扣減庫(kù)存;
(4)更新訂單;
(5)付款;
(6)賣家發(fā)貨;
秒殺業(yè)務(wù)的特性
(1)低廉價(jià)格;
(2)大幅推廣;
(3)瞬時(shí)售空;
(4)一般是定時(shí)上架;
(5)時(shí)間短、瞬時(shí)并發(fā)量高;
2 秒殺技術(shù)挑戰(zhàn)
對(duì)現(xiàn)有網(wǎng)站業(yè)務(wù)造成沖擊
解決方案 :將秒殺系統(tǒng)獨(dú)立部署,甚至 使用獨(dú)立域名,使其與網(wǎng)站完全隔離 。
高并發(fā)下的應(yīng)用、數(shù)據(jù)庫(kù)負(fù)載
解決方案 :重新設(shè)計(jì)秒殺商品頁(yè)面,不使用網(wǎng)站原來(lái)的商品詳細(xì)頁(yè)面, 頁(yè)面內(nèi)容靜態(tài)化,用戶請(qǐng)求不需要經(jīng)過(guò)應(yīng)用服務(wù) 。
突然增加的網(wǎng)絡(luò)及服務(wù)器帶寬
解決方案 :因?yàn)槊霘⑿略龅木W(wǎng)絡(luò)帶寬,必須和運(yùn)營(yíng)商重新購(gòu)買或者租借。為了減輕網(wǎng)站服務(wù)器的壓力,
需要將秒殺商品頁(yè)面緩存在CDN,同樣需要和CDN服務(wù)商臨時(shí)租借新增的出口帶寬 。
直接下單
解決方案 :為了避免用戶直接訪問(wèn)下單頁(yè)面URL,需要將改URL動(dòng)態(tài)化,即使秒殺系統(tǒng)的開發(fā)者也無(wú)法在秒殺開始前訪問(wèn)下單頁(yè)面的URL。辦法是在
下單頁(yè)面URL加入由服務(wù)器端生成的隨機(jī)數(shù)作為參數(shù),在秒殺開始的時(shí)候才能得到 。
如何控制秒殺商品頁(yè)面購(gòu)買按鈕的點(diǎn)亮
解決方案 :使用JavaScript腳本控制,
在秒殺商品靜態(tài)頁(yè)面中加入一個(gè)JavaScript文件引用,該JavaScript文件中包含秒殺開始標(biāo)志為否
;當(dāng)秒殺開始的時(shí)候生成一個(gè)新的JavaScript文件( 文件名保持不變,只是內(nèi)容不一樣 ),更新秒殺開始標(biāo)志為是,
加入下單頁(yè)面的URL及隨機(jī)數(shù)參數(shù)(這個(gè)隨機(jī)數(shù)只會(huì)產(chǎn)生一個(gè),即所有人看到的URL都是同一個(gè),服務(wù)器端可以用redis這種分布式緩存服務(wù)器來(lái)保存隨機(jī)數(shù))
,并被用戶瀏覽器加載,控制秒殺商品頁(yè)面的展示。
這個(gè)JavaScript文件的加載可以加上隨機(jī)版本號(hào)(例如xx.js?v=32353823),這樣就不會(huì)被瀏覽器、CDN和反向代理服務(wù)器緩存 。這個(gè)JavaScript文件非常小,即使每次瀏覽器刷新都訪問(wèn)JavaScript文件服務(wù)器也不會(huì)對(duì)服務(wù)器集群和網(wǎng)絡(luò)帶寬造成太大壓力。
如何只允許第一個(gè)提交的訂單被發(fā)送到訂單子系統(tǒng)
JavaScript文件,更新秒殺開始標(biāo)志為否,購(gòu)買按鈕變灰。事實(shí)上,由于最終能夠成功提交訂單的用戶只有一個(gè),為了減輕下單頁(yè)面服務(wù)器的負(fù)載壓力,可以
控制進(jìn)入下單頁(yè)面的入口,只有少數(shù)用戶能進(jìn)入下單頁(yè)面,其他用戶直接進(jìn)入秒殺結(jié)束頁(yè)面 。
解決方案
:假設(shè)下單服務(wù)器集群有10臺(tái)服務(wù)器,每臺(tái)服務(wù)器只接受最多10個(gè)下單請(qǐng)求。在還沒有人提交訂單成功之前,如果一臺(tái)服務(wù)器已經(jīng)有十單了,而有的一單都沒處理,可能出現(xiàn)的用戶體驗(yàn)不佳的場(chǎng)景是用戶第一次點(diǎn)擊購(gòu)買按鈕進(jìn)入已結(jié)束頁(yè)面,再刷新一下頁(yè)面,有可能被一單都沒有處理的服務(wù)器處理,進(jìn)入了填寫訂單的頁(yè)面,
可以考慮通過(guò)cookie的方式來(lái)應(yīng)對(duì),符合一致性原則 。當(dāng)然可以 采用最少連接的負(fù)載均衡算法 ,出現(xiàn)上述情況的概率大大降低。
如何進(jìn)行下單前置檢查
下單服務(wù)器檢查本機(jī)已處理的下單請(qǐng)求數(shù)目:
如果超過(guò)10條,直接返回已結(jié)束頁(yè)面給用戶; 如果未超過(guò)10條,則用戶可進(jìn)入填寫訂單及確認(rèn)頁(yè)面;
檢查全局已提交訂單數(shù)目:
已超過(guò)秒殺商品總數(shù),返回已結(jié)束頁(yè)面給用戶; 未超過(guò)秒殺商品總數(shù),提交到子訂單系統(tǒng);
秒殺一般是定時(shí)上架
有人可以繞過(guò)前端的限制,直接通過(guò)URL的方式發(fā)起購(gòu)買
,這就需要在前臺(tái)商品頁(yè)面,以及bug頁(yè)面到后端的數(shù)據(jù)庫(kù),都要進(jìn)行時(shí)鐘同步。越在后端控制,安全性越高。
減庫(kù)存的操作
庫(kù)存會(huì)帶來(lái)“超賣”的問(wèn)題:售出數(shù)量多于庫(kù)存數(shù)量
update auction_auctions set
quantity = #inQuantity#
where auction_id = #itemId# and quantity = #dbQuantity#
update auction_auctions set
quantity = quantity-#count#
where auction_id = #itemId# and quantity >= #count#
秒殺器的應(yīng)對(duì)
秒殺專用驗(yàn)證碼,電視公布驗(yàn)證碼,秒殺答題 。
3 秒殺架構(gòu)原則
盡量將請(qǐng)求攔截在系統(tǒng)上游
讀多寫少的常用多使用緩存
的應(yīng)用場(chǎng)景【一趟火車其實(shí)只有2000張票,200w個(gè)人來(lái)買,最多2000個(gè)人下單成功,其他人都是查詢庫(kù)存,寫比例只有0.1%,讀比例占99.9%】,
非常適合使用緩存 。
4 秒殺架構(gòu)設(shè)計(jì)
,而不是商品詳情等用戶體驗(yàn)細(xì)節(jié),因此秒殺系統(tǒng)的頁(yè)面設(shè)計(jì)應(yīng)盡可能簡(jiǎn)單。
第一個(gè)階段是秒殺開始前某個(gè)時(shí)間到秒殺開始, 這個(gè)階段可以稱之為 準(zhǔn)備階段,用戶在準(zhǔn)備階段等待秒殺 ; 第二個(gè)階段就是秒殺開始到所有參與秒殺的用戶獲得秒殺結(jié)果, 這個(gè)就稱為 秒殺階段 吧。
4.1 前端層設(shè)計(jì)
。這里需要考慮兩個(gè)問(wèn)題:
第一個(gè)是秒殺頁(yè)面的展示
js,圖片等資源,如果同時(shí)有幾千萬(wàn)人參與一個(gè)商品的搶購(gòu),一般機(jī)房帶寬也就只有1G
10G,網(wǎng)絡(luò)帶寬就極有可能成為瓶頸,所以這個(gè)頁(yè)面上各類靜態(tài)資源首先應(yīng)分開存放,然后放到cdn節(jié)點(diǎn)上分散壓力,由于CDN節(jié)點(diǎn)遍布全國(guó)各地,能緩沖掉絕大部分的壓力,而且還比機(jī)房帶寬便宜
第二個(gè)是倒計(jì)時(shí)
客戶端與服務(wù)器時(shí)鐘不一致可以采用客戶端定時(shí)和服務(wù)器同步時(shí)間
,這里考慮一下性能問(wèn)題,用于同步時(shí)間的接口由于不涉及到后端邏輯,只需要將當(dāng)前web服務(wù)器的時(shí)間發(fā)送給客戶端就可以了,因此速度很快,就我以前測(cè)試的結(jié)果來(lái)看,一臺(tái)標(biāo)準(zhǔn)的web服務(wù)器2W+QPS不會(huì)有問(wèn)題,如果100W人同時(shí)刷,100W
QPS也只需要50臺(tái)web,一臺(tái)硬件LB就可以了~,并且web服務(wù)器群是可以很容易的橫向擴(kuò)展的(LB+DNS輪詢),這個(gè)接口可以只返回一小段json格式的數(shù)據(jù),而且可以優(yōu)化一下減少不必要cookie和其他http頭的信息,所以數(shù)據(jù)量不會(huì)很大,
一般來(lái)說(shuō)網(wǎng)絡(luò)不會(huì)成為瓶頸,即使成為瓶頸也可以考慮多機(jī)房專線連通,加智能DNS的解決方案 ;web服務(wù)器之間時(shí)間不同步可以采用統(tǒng)一時(shí)間服務(wù)器的方式,
比如每隔1分鐘所有參與秒殺活動(dòng)的web服務(wù)器就與時(shí)間服務(wù)器做一次時(shí)間同步 。
瀏覽器層請(qǐng)求攔截
(1) 產(chǎn)品層面 ,用戶點(diǎn)擊“查詢”或者“購(gòu)票”后,按鈕置灰,禁止用戶重復(fù)提交請(qǐng)求; (2) JS層面 ,限制用戶在x秒之內(nèi)只能提交一次請(qǐng)求;
4.2 站點(diǎn)層設(shè)計(jì)
(1) 同一個(gè)uid,限制訪問(wèn)頻度 ,做頁(yè)面緩存,x秒內(nèi)到達(dá)站點(diǎn)層的請(qǐng)求,均返回同一頁(yè)面 (2) 同一個(gè)item的查詢,例如手機(jī)車次 ,做頁(yè)面緩存,x秒內(nèi)到達(dá)站點(diǎn)層的請(qǐng)求,均返回同一頁(yè)面
4.3 服務(wù)層設(shè)計(jì)
(1)大哥,我是服務(wù)層,我清楚的知道小米只有1萬(wàn)部手機(jī),我清楚的知道一列火車只有2000張車票,我透10w個(gè)請(qǐng)求去數(shù)據(jù)庫(kù)有什么意義呢?
對(duì)于寫請(qǐng)求,做請(qǐng)求隊(duì)列,每次只透過(guò)有限的寫請(qǐng)求去數(shù)據(jù)層,如果均成功再放下一批,如果庫(kù)存不夠則隊(duì)列里的寫請(qǐng)求全部返回“已售完” ;(2) 對(duì)于讀請(qǐng)求,還用說(shuō)么?cache來(lái)抗 ,不管是memcached還是redis,單機(jī)抗個(gè)每秒10w應(yīng)該都是沒什么問(wèn)題的;
用戶請(qǐng)求分發(fā)模塊 :使用Nginx或Apache將用戶的請(qǐng)求分發(fā)到不同的機(jī)器上。 用戶請(qǐng)求預(yù)處理模塊 :判斷商品是不是還有剩余來(lái)決定是不是要處理該請(qǐng)求。 用戶請(qǐng)求處理模塊 :把通過(guò)預(yù)處理的請(qǐng)求封裝成事務(wù)提交給數(shù)據(jù)庫(kù),并返回是否成功。 數(shù)據(jù)庫(kù)接口模塊 :該模塊是數(shù)據(jù)庫(kù)的唯一接口,負(fù)責(zé)與數(shù)據(jù)庫(kù)交互,提供RPC接口供查詢是否秒殺結(jié)束、剩余數(shù)量等信息。
用戶請(qǐng)求預(yù)處理模塊
package seckill;
import org.apache.http.HttpRequest;
/**
* 預(yù)處理階段,把不必要的請(qǐng)求直接駁回,必要的請(qǐng)求添加到隊(duì)列中進(jìn)入下一階段.
*/
public class PreProcessor {
// 商品是否還有剩余
private static boolean reminds = true;
private static void forbidden() {
// Do something.
}
public static boolean checkReminds() {
if (reminds) {
// 遠(yuǎn)程檢測(cè)是否還有剩余,該RPC接口應(yīng)由數(shù)據(jù)庫(kù)服務(wù)器提供,不必完全嚴(yán)格檢查.
if (!RPC.checkReminds()) {
reminds = false;
}
}
return reminds;
}
/**
* 每一個(gè)HTTP請(qǐng)求都要經(jīng)過(guò)該預(yù)處理.
*/
public static void preProcess(HttpRequest request) {
if (checkReminds()) {
// 一個(gè)并發(fā)的隊(duì)列
RequestQueue.queue.add(request);
} else {
// 如果已經(jīng)沒有商品了,則直接駁回請(qǐng)求即可.
forbidden();
}
}
}
并發(fā)隊(duì)列的選擇
ConcurrentLinkedQueue、LinkedBlockingQueue和ArrayBlockingQueue 。
ArrayBlockingQueue是 初始容量固定的阻塞隊(duì)列
,我們可以用來(lái)作為數(shù)據(jù)庫(kù)模塊成功競(jìng)拍的隊(duì)列,比如有10個(gè)商品,那么我們就設(shè)定一個(gè)10大小的數(shù)組隊(duì)列。ConcurrentLinkedQueue使用的是 CAS原語(yǔ)無(wú)鎖隊(duì)列實(shí)現(xiàn),是一個(gè)異步隊(duì)列 ,入隊(duì)的速度很快,出隊(duì)進(jìn)行了加鎖,性能稍慢。 LinkedBlockingQueue也是 阻塞的隊(duì)列,入隊(duì)和出隊(duì)都用了加鎖 ,當(dāng)隊(duì)空的時(shí)候線程會(huì)暫時(shí)阻塞。
,一般不會(huì)出現(xiàn)隊(duì)空的情況,所以我們可以選擇ConcurrentLinkedQueue來(lái)作為我們的請(qǐng)求隊(duì)列實(shí)現(xiàn):
package seckill;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.ConcurrentLinkedQueue;
import org.apache.http.HttpRequest;
public class RequestQueue {
public static ConcurrentLinkedQueue<HttpRequest> queue = new ConcurrentLinkedQueue<HttpRequest>();
}
用戶請(qǐng)求模塊
package seckill;
import org.apache.http.HttpRequest;
public class Processor {
/**
* 發(fā)送秒殺事務(wù)到數(shù)據(jù)庫(kù)隊(duì)列.
*/
public static void kill(BidInfo info) {
DB.bids.add(info);
}
public static void process() {
BidInfo info = new BidInfo(RequestQueue.queue.poll());
if (info != null) {
kill(info);
}
}
}
class BidInfo {
BidInfo(HttpRequest request) {
// Do something.
}
}
數(shù)據(jù)庫(kù)模塊
數(shù)據(jù)庫(kù)主要是使用一個(gè)ArrayBlockingQueue來(lái)暫存有可能成功的用戶請(qǐng)求。
package seckill;
import java.util.concurrent.ArrayBlockingQueue;
/**
* DB應(yīng)該是數(shù)據(jù)庫(kù)的唯一接口.
*/
public class DB {
public static int count = 10;
public static ArrayBlockingQueue<BidInfo> bids = new ArrayBlockingQueue<BidInfo>(10);
public static boolean checkReminds() {
// TODO
return true;
}
// 單線程操作
public static void bid() {
BidInfo info = bids.poll();
while (count-- > 0) {
// insert into table Bids values(item_id, user_id, bid_date, other)
// select count(id) from Bids where item_id = ?
// 如果數(shù)據(jù)庫(kù)商品數(shù)量大約總數(shù),則標(biāo)志秒殺已完成,設(shè)置標(biāo)志位reminds = false.
info = bids.poll();
}
}
}
4.4 數(shù)據(jù)庫(kù)設(shè)計(jì)
4.4.1 基本概念


范圍:range
優(yōu)點(diǎn):簡(jiǎn)單,容易擴(kuò)展 缺點(diǎn):各庫(kù)壓力不均(新號(hào)段更活躍)
哈希:hash 【大部分互聯(lián)網(wǎng)公司采用的方案二:哈希分庫(kù),哈希路由】
優(yōu)點(diǎn):簡(jiǎn)單,數(shù)據(jù)均衡,負(fù)載均勻 缺點(diǎn):遷移麻煩(2庫(kù)擴(kuò)3庫(kù)數(shù)據(jù)要遷移)
路由服務(wù):router-config-server
優(yōu)點(diǎn):靈活性強(qiáng),業(yè)務(wù)與路由算法解耦 缺點(diǎn):每次訪問(wèn)數(shù)據(jù)庫(kù)前多一次查詢


4.4.2 設(shè)計(jì)思路
如何保證數(shù)據(jù)可用性; 如何提高數(shù)據(jù)庫(kù)讀性能(大部分應(yīng)用讀多寫少,讀會(huì)先成為瓶頸); 如何保證一致性; 如何提高擴(kuò)展性;
如何保證數(shù)據(jù)的可用性?
如何保證站點(diǎn)的可用性?復(fù)制站點(diǎn),冗余站點(diǎn) 如何保證服務(wù)的可用性?復(fù)制服務(wù),冗余服務(wù) 如何保證數(shù)據(jù)的可用性?復(fù)制數(shù)據(jù),冗余數(shù)據(jù)
如何保證數(shù)據(jù)庫(kù)“讀”高可用?

如何保證數(shù)據(jù)庫(kù)“寫”高可用?

兩個(gè)寫庫(kù)使用不同的初始值,相同的步長(zhǎng)來(lái)增加id:1寫庫(kù)的id為0,2,4,6…;2寫庫(kù)的id為1,3,5,7…; 不使用數(shù)據(jù)的id,業(yè)務(wù)層自己生成唯一的id,保證數(shù)據(jù)不沖突;

讀寫沒有延時(shí); 讀寫高可用;
不能通過(guò)加從庫(kù)的方式擴(kuò)展讀性能; 資源利用率為50%,一臺(tái)冗余主沒有提供服務(wù);
如何擴(kuò)展讀性能

寫庫(kù) 不建立索引; 線上讀庫(kù) 建立線上訪問(wèn)索引,例如uid; 線下讀庫(kù) 建立線下訪問(wèn)索引,例如time;
從庫(kù)越多,同步越慢; 同步越慢,數(shù)據(jù)不一致窗口越大(不一致后面說(shuō),還是先說(shuō)讀性能的提高);


。為什么要引入服務(wù)層,今天不展開,采用了“服務(wù)+數(shù)據(jù)庫(kù)+緩存一套”的方式提供數(shù)據(jù)訪問(wèn), 用cache提高讀性能 。
不管采用主從的方式擴(kuò)展讀性能,還是緩存的方式擴(kuò)展讀性能,數(shù)據(jù)都要復(fù)制多份(主+從,db+cache),一定會(huì)引發(fā)一致性問(wèn)題。
如何保證一致性?
中間件

(百度,騰訊,阿里,360等一些公司有)。
強(qiáng)制讀主


(1)淘汰cache; (2)寫數(shù)據(jù)庫(kù);
(1)讀cache,如果cache hit則返回; (2)如果cache miss,則讀從庫(kù); (3)讀從庫(kù)后,將數(shù)據(jù)放回cache;
解決辦法是“緩存雙淘汰”,寫操作時(shí)序升級(jí)為:
(1)淘汰cache; (2)寫數(shù)據(jù)庫(kù); (3)在經(jīng)過(guò)“主從同步延時(shí)窗口時(shí)間”后,再次發(fā)起一個(gè)異步淘汰cache的請(qǐng)求;
如何提高數(shù)據(jù)庫(kù)的擴(kuò)展性?

第一步 ,將一個(gè)主庫(kù)提升; 第二步 ,修改配置,2庫(kù)變4庫(kù)(原來(lái)MOD2,現(xiàn)在配置修改后MOD4),擴(kuò)容完成;
;數(shù)據(jù)不需要遷移,同時(shí),雙主互相同步,一遍是余0,一邊余2,兩邊數(shù)據(jù)同步也不會(huì)沖突,秒級(jí)完成擴(kuò)容!
將舊的雙主同步解除; 增加新的雙主(雙主是保證可用性的,shadow-master平時(shí)不提供服務(wù)); 刪除多余的數(shù)據(jù)(余0的主,可以將余2的數(shù)據(jù)刪除掉);

5 大并發(fā)帶來(lái)的挑戰(zhàn)
5.1 請(qǐng)求接口的合理設(shè)計(jì)
。這個(gè)后端接口,必須能夠支持高并發(fā)請(qǐng)求,同時(shí),非常重要的一點(diǎn),必須盡可能“快”,在最短的時(shí)間里返回用戶的請(qǐng)求結(jié)果。
為了實(shí)現(xiàn)盡可能快這一點(diǎn),接口的后端存儲(chǔ)使用內(nèi)存級(jí)別的操作會(huì)更好一點(diǎn) 。仍然直接面向MySQL之類的存儲(chǔ)是不合適的,
如果有這種復(fù)雜業(yè)務(wù)的需求,都建議采用異步寫入 。

,就是說(shuō)秒殺當(dāng)下不知道結(jié)果,一段時(shí)間后才可以從頁(yè)面中看到用戶是否秒殺成功。但是,這種屬于“偷懶”行為,同時(shí)給用戶的體驗(yàn)也不好,容易被用戶認(rèn)為是“暗箱操作”。
5.2 高并發(fā)的挑戰(zhàn):一定要“快”
。舉個(gè)例子,我們假設(shè)處理一個(gè)業(yè)務(wù)請(qǐng)求平均響應(yīng)時(shí)間為100ms,同時(shí),系統(tǒng)內(nèi)有20臺(tái)Apache的Web服務(wù)器,配置MaxClients為500個(gè)(表示Apache的最大連接數(shù)目)。
20*500/0.1 = 100000 (10萬(wàn)QPS)
在高并發(fā)的實(shí)際場(chǎng)景下,機(jī)器都處于高負(fù)載的狀態(tài),在這個(gè)時(shí)候平均響應(yīng)時(shí)間會(huì)被大大增加 。
。因此上述的 MaxClient數(shù)目,要根據(jù)CPU、內(nèi)存等硬件因素綜合考慮,絕對(duì)不是越多越好 ??梢?br>通過(guò)Apache自帶的abench來(lái)測(cè)試一下,取一個(gè)合適的值 。然后,我們
選擇內(nèi)存操作級(jí)別的存儲(chǔ)的Redis,在高并發(fā)的狀態(tài)下,存儲(chǔ)的響應(yīng)時(shí)間至關(guān)重要
。網(wǎng)絡(luò)帶寬雖然也是一個(gè)因素,不過(guò),這種請(qǐng)求數(shù)據(jù)包一般比較小,一般很少成為請(qǐng)求的瓶頸。負(fù)載均衡成為系統(tǒng)瓶頸的情況比較少,在這里不做討論哈。
20*500/0.25 = 40000 (4萬(wàn)QPS)

惡性循環(huán)最終導(dǎo)致“雪崩”(其中一臺(tái)Web機(jī)器掛了,導(dǎo)致流量分散到其他正常工作的機(jī)器上,再導(dǎo)致正常的機(jī)器也掛,然后惡性循環(huán)) ,將整個(gè)Web系統(tǒng)拖垮。
5.3 重啟與過(guò)載保護(hù)
。如果是redis/memcache這種服務(wù)也掛了,重啟的時(shí)候需要注意“預(yù)熱”,并且很可能需要比較長(zhǎng)的時(shí)間。
。在前端設(shè)置過(guò)濾是最簡(jiǎn)單的方式,但是,這種做法是被用戶“千夫所指”的行為。更合適一點(diǎn)的是, 將過(guò)載保護(hù)設(shè)置在CGI入口層,快速將客戶的直接請(qǐng)求返回
。
6 作弊的手段:進(jìn)攻與防守
這種做法的理由也很簡(jiǎn)單,就是在參與秒殺和搶購(gòu)的請(qǐng)求中,自己的請(qǐng)求數(shù)目占比越多,成功的概率越高 。
6.1 同一個(gè)賬號(hào),一次性發(fā)出多個(gè)請(qǐng)求
多個(gè)并發(fā)請(qǐng)求通過(guò)負(fù)載均衡服務(wù)器,分配到內(nèi)網(wǎng)的多臺(tái)Web服務(wù)器,它們首先向存儲(chǔ)發(fā)送查詢請(qǐng)求,然后,在某個(gè)請(qǐng)求成功寫入?yún)⑴c記錄的時(shí)間差內(nèi),其他的請(qǐng)求獲查詢到的結(jié)果都是“沒有參與記錄”
。這里,就存在邏輯判斷被繞過(guò)的風(fēng)險(xiǎn)。

實(shí)現(xiàn)方案,可以通過(guò)Redis這種內(nèi)存緩存服務(wù),寫入一個(gè)標(biāo)志位(只允許1個(gè)請(qǐng)求寫成功,結(jié)合watch的樂(lè)觀鎖的特性),成功寫入的則可以繼續(xù)參加 。

6.2 多個(gè)賬號(hào),一次性發(fā)送多個(gè)請(qǐng)求
也導(dǎo)致了出現(xiàn)了一些特殊的工作室,通過(guò)編寫自動(dòng)注冊(cè)腳本,積累了一大批“僵尸賬號(hào)”,數(shù)量龐大,幾萬(wàn)甚至幾十萬(wàn)的賬號(hào)不等,專門做各種刷的行為(這就是微博中的“僵尸粉“的來(lái)源)
。舉個(gè)例子,例如微博中有轉(zhuǎn)發(fā)抽獎(jiǎng)的活動(dòng),如果我們使用幾萬(wàn)個(gè)“僵尸號(hào)”去混進(jìn)去轉(zhuǎn)發(fā),這樣就可以大大提升我們中獎(jiǎng)的概率。

彈出驗(yàn)證碼,最核心的追求,就是分辨出真實(shí)用戶。
因此,大家可能經(jīng)常發(fā)現(xiàn),網(wǎng)站彈出的驗(yàn)證碼,有些是“鬼神亂舞”的樣子,有時(shí)讓我們根本無(wú)法看清。他們這樣做的原因,其實(shí)也是為了讓驗(yàn)證碼的圖片不被輕易識(shí)別,因?yàn)閺?qiáng)大的“自動(dòng)腳本”可以通過(guò)圖片識(shí)別里面的字符,然后讓腳本自動(dòng)填寫驗(yàn)證碼。實(shí)際上,有一些非常創(chuàng)新的驗(yàn)證碼,效果會(huì)比較好,例如給你一個(gè)簡(jiǎn)單問(wèn)題讓你回答,或者讓你完成某些簡(jiǎn)單操作(例如百度貼吧的驗(yàn)證碼)。直接禁止IP,實(shí)際上是有些粗暴的,因?yàn)橛行┱鎸?shí)用戶的網(wǎng)絡(luò)場(chǎng)景恰好是同一出口IP的,可能會(huì)有“誤傷“
。但是這一個(gè)做法簡(jiǎn)單高效,根據(jù)實(shí)際場(chǎng)景使用可以獲得很好的效果。
6.3 多個(gè)賬號(hào),不同IP發(fā)送不同請(qǐng)求
這些“工作室”,發(fā)現(xiàn)你對(duì)單機(jī)IP請(qǐng)求頻率有控制之后,他們也針對(duì)這種場(chǎng)景,想出了他們的“新進(jìn)攻方案”,就是不斷改變IP 。

。還有一些更為黑暗一點(diǎn)的,就是
通過(guò)木馬黑掉普通用戶的電腦,這個(gè)木馬也不破壞用戶電腦的正常運(yùn)作,只做一件事情,就是轉(zhuǎn)發(fā)IP包,普通用戶的電腦被變成了IP代理出口
。通過(guò)這種做法,黑客就拿到了大量的獨(dú)立IP,然后搭建為隨機(jī)IP服務(wù),就是為了掙錢。
通常只能通過(guò)設(shè)置業(yè)務(wù)門檻高來(lái)限制這種請(qǐng)求了,或者通過(guò)賬號(hào)行為的”數(shù)據(jù)挖掘“來(lái)提前清理掉它們 。
。根據(jù)這些特點(diǎn),適當(dāng)設(shè)置參與門檻,例如限制參與秒殺的賬號(hào)等級(jí)。通過(guò)這些業(yè)務(wù)手段,也是可以過(guò)濾掉一些僵尸號(hào) 。
7 高并發(fā)下的數(shù)據(jù)安全
(多個(gè)線程同時(shí)運(yùn)行同一段代碼,如果每次運(yùn)行結(jié)果和單線程運(yùn)行的結(jié)果是一樣的,結(jié)果和預(yù)期相同,就是線程安全的)。
如果是MySQL數(shù)據(jù)庫(kù),可以使用它自帶的鎖機(jī)制很好的解決問(wèn)題,但是,在大規(guī)模并發(fā)的場(chǎng)景中,是不推薦使用MySQL的 。
秒殺和搶購(gòu)的場(chǎng)景中,還有另外一個(gè)問(wèn)題,就是“超發(fā)”,如果在這方面控制不慎,會(huì)產(chǎn)生發(fā)送過(guò)多的情況
。我們也曾經(jīng)聽說(shuō)過(guò),某些電商搞搶購(gòu)活動(dòng),買家成功拍下后,商家卻不承認(rèn)訂單有效,拒絕發(fā)貨。這里的問(wèn)題,也許并不一定是商家奸詐,而是系統(tǒng)技術(shù)層面存在超發(fā)風(fēng)險(xiǎn)導(dǎo)致的。
7.1 超發(fā)的原因

7.2 悲觀鎖思路
悲觀鎖,也就是在修改數(shù)據(jù)的時(shí)候,采用鎖定狀態(tài),排斥外部請(qǐng)求的修改。遇到加鎖的狀態(tài),就必須等待。

我們的場(chǎng)景是“高并發(fā)”。也就是說(shuō),會(huì)很多這樣的修改請(qǐng)求,每個(gè)請(qǐng)求都需要等待“鎖”,某些線程可能永遠(yuǎn)都沒有機(jī)會(huì)搶到這個(gè)“鎖”,這種請(qǐng)求就會(huì)死在那里
。同時(shí),這種請(qǐng)求會(huì)很多, 瞬間增大系統(tǒng)的平均響應(yīng)時(shí)間,結(jié)果是可用連接數(shù)被耗盡,系統(tǒng)陷入異常 。
7.3 FIFO隊(duì)列思路

高并發(fā)的場(chǎng)景下,因?yàn)檎?qǐng)求很多,很可能一瞬間將隊(duì)列內(nèi)存“撐爆”,然后系統(tǒng)又陷入到了異常狀態(tài)
?;蛘咴O(shè)計(jì)一個(gè)極大的內(nèi)存隊(duì)列,也是一種方案,但是,系統(tǒng)處理完一個(gè)隊(duì)列內(nèi)請(qǐng)求的速度根本無(wú)法和瘋狂涌入隊(duì)列中的數(shù)目相比。也就是說(shuō),隊(duì)列內(nèi)的請(qǐng)求會(huì)越積累越多,最終Web系統(tǒng)平均響應(yīng)時(shí)候還是會(huì)大幅下降,系統(tǒng)還是陷入異常。
7.4 樂(lè)觀鎖思路
實(shí)現(xiàn)就是,這個(gè)數(shù)據(jù)所有請(qǐng)求都有資格去修改,但會(huì)獲得一個(gè)該數(shù)據(jù)的版本號(hào),只有版本號(hào)符合的才能更新成功,其他的返回?fù)屬?gòu)失敗。這樣的話,我們就不需要考慮隊(duì)列的問(wèn)題,不過(guò),
它會(huì)增大CPU的計(jì)算開銷 。但是,綜合來(lái)說(shuō),這是一個(gè)比較好的解決方案。

8 總結(jié)
來(lái)源:https://my.oschina.net/xianggao/blog/524943 版權(quán)申明:內(nèi)容來(lái)源網(wǎng)絡(luò),版權(quán)歸原創(chuàng)者所有。除非無(wú)法確認(rèn),我們都會(huì)標(biāo)明作者及出處,如有侵權(quán)煩請(qǐng)告知,我們會(huì)立即刪除并表示歉意。謝謝!
- EOF -
干貨分享
最近將個(gè)人學(xué)習(xí)筆記整理成冊(cè),使用PDF分享。關(guān)注我,回復(fù)如下代碼,即可獲得百度盤地址,無(wú)套路領(lǐng)取!
?001:《Java并發(fā)與高并發(fā)解決方案》學(xué)習(xí)筆記;?002:《深入JVM內(nèi)核——原理、診斷與優(yōu)化》學(xué)習(xí)筆記;?003:《Java面試寶典》?004:《Docker開源書》?005:《Kubernetes開源書》?006:《DDD速成(領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)速成)》?007:全部?008:加技術(shù)群討論
關(guān)注我
喜歡就點(diǎn)個(gè)"在看"唄^_^
評(píng)論
圖片
表情
