Redis分布式鎖使用不當(dāng)，釀成一個(gè)重大事故，超賣了100瓶飛天茅臺(tái)！
[導(dǎo)讀]基于Redis使用分布式鎖在當(dāng)今已經(jīng)不是什么新鮮事了。本篇文章主要是基于我們實(shí)際項(xiàng)目中因?yàn)镽edis分布式鎖造成的事故分析及解決方案。背景：我們項(xiàng)目中的搶購訂單采用的是分布式鎖來解決的。有一次，運(yùn)營做了一個(gè)飛天茅臺(tái)的搶購活動(dòng)，庫存100瓶，但是卻超賣了！要知道，這個(gè)地球上飛天茅臺(tái)...
SeckillActivityRequestVO response;
String key = "key:" request.getSeckillId;
try {
Boolean lockFlag = redisTemplate.opsForValue().setIfAbsent(key, "val", 10, TimeUnit.SECONDS);
if (lockFlag) {
// HTTP請(qǐng)求用戶服務(wù)進(jìn)行用戶相關(guān)的校驗(yàn)
// 用戶活動(dòng)校驗(yàn)
// 庫存校驗(yàn)
Object stock = redisTemplate.opsForHash().get(key ":info", "stock");
assert stock != null;
if (Integer.parseInt(stock.toString()) <= 0) {
// 業(yè)務(wù)異常
} else {
redisTemplate.opsForHash().increment(key ":info", "stock", -1);
// 生成訂單
// 發(fā)布訂單創(chuàng)建成功事件
// 構(gòu)建響應(yīng)VO
}
}
} finally {
// 釋放鎖
stringRedisTemplate.delete("key");
// 構(gòu)建響應(yīng)VO
}
return response;
}
事故原因
飛天茅臺(tái)搶購活動(dòng)吸引了大量新用戶下載注冊(cè)我們的APP，其中，不乏很多羊毛黨，采用專業(yè)的手段來注冊(cè)新用戶來薅羊毛和刷單。當(dāng)然我們的用戶系統(tǒng)提前做好了防備，接入阿里云人機(jī)驗(yàn)證、三要素認(rèn)證以及自研的風(fēng)控系統(tǒng)等各種十八般武藝，擋住了大量的非法用戶。此處不禁點(diǎn)個(gè)贊~
但也正因如此，讓用戶服務(wù)一直處于較高的運(yùn)行負(fù)載中。
搶購活動(dòng)開始的一瞬間，大量的用戶校驗(yàn)請(qǐng)求打到了用戶服務(wù)。導(dǎo)致用戶服務(wù)網(wǎng)關(guān)出現(xiàn)了短暫的響應(yīng)延遲，有些請(qǐng)求的響應(yīng)時(shí)長超過了10s，但由于HTTP請(qǐng)求的響應(yīng)超時(shí)我們?cè)O(shè)置的是30s，這就導(dǎo)致接口一直阻塞在用戶校驗(yàn)?zāi)抢铮?0s后，分布式鎖已經(jīng)失效了，此時(shí)有新的請(qǐng)求進(jìn)來是可以拿到鎖的，也就是說鎖被覆蓋了。這些阻塞的接口執(zhí)行完之后，又會(huì)執(zhí)行釋放鎖的邏輯，這就把其他線程的鎖釋放了，導(dǎo)致新的請(qǐng)求也可以競(jìng)爭到鎖~這真是一個(gè)極其惡劣的循環(huán)。這個(gè)時(shí)候只能依賴庫存校驗(yàn)，但是偏偏庫存校驗(yàn)不是非原子性的，采用的是get and compare的方式，超賣的悲劇就這樣發(fā)生了~~~
-
沒有其他系統(tǒng)風(fēng)險(xiǎn)容錯(cuò)處理 ，由于用戶服務(wù)吃緊，網(wǎng)關(guān)響應(yīng)延遲，但沒有任何應(yīng)對(duì)方式，這是超賣的導(dǎo)火索。
-
看似安全的分布式鎖其實(shí)一點(diǎn)都不安全，雖然采用了set key value [EX seconds] [PX milliseconds] [NX|XX]的方式，但是如果線程A執(zhí)行的時(shí)間較長沒有來得及釋放，鎖就過期了，此時(shí)線程B是可以獲取到鎖的。當(dāng)線程A執(zhí)行完成之后，釋放鎖，實(shí)際上就把線程B的鎖釋放掉了。這個(gè)時(shí)候，線程C又是可以獲取到鎖的，而此時(shí)如果線程B執(zhí)行完釋放鎖實(shí)際上就是釋放的線程C設(shè)置的鎖。這是超賣的直接原因。
-
非原子性的庫存校驗(yàn)，非原子性的庫存校驗(yàn)導(dǎo)致在并發(fā)場(chǎng)景下，庫存校驗(yàn)的結(jié)果不準(zhǔn)確。這是超賣的根本原因。
通過以上分析，問題的根本原因在于庫存校驗(yàn)嚴(yán)重依賴了分布式鎖。因?yàn)樵诜植际芥i正常set、del的情況下，庫存校驗(yàn)是沒有問題的。但是，當(dāng)分布式鎖不安全可靠的時(shí)候，庫存校驗(yàn)就沒有用了。
解決方案
實(shí)現(xiàn)相對(duì)安全的分布式鎖
相對(duì)安全的定義：set、del是一一映射的，不會(huì)出現(xiàn)把其他現(xiàn)成的鎖del的情況。從實(shí)際情況的角度來看，即使能做到set、del一一映射，也無法保障業(yè)務(wù)的絕對(duì)安全。因?yàn)殒i的過期時(shí)間始終是有界的，除非不設(shè)置過期時(shí)間或者把過期時(shí)間設(shè)置的很長，但這樣做也會(huì)帶來其他問題。故沒有意義。
要想實(shí)現(xiàn)相對(duì)安全的分布式鎖，必須依賴key的value值。在釋放鎖的時(shí)候，通過value值的唯一性來保證不會(huì)勿刪。我們基于LUA腳本實(shí)現(xiàn)原子性的get and compare，如下：public void safedUnLock(String key, String val) {
String luaScript = "local in = ARGV[1] local curr=redis.call('get', KEYS[1]) if in==curr then redis.call('del', KEYS[1]) end return 'OK'"";
RedisScriptredisScript = RedisScript.of(luaScript);
redisTemplate.execute(redisScript, Collections.singletonList(key), Collections.singleton(val));
}
實(shí)現(xiàn)安全的庫存校驗(yàn)
如果我們對(duì)于并發(fā)有比較深入的了解的話，會(huì)發(fā)現(xiàn)想get and compare/ read and save等操作，都是非原子性的。如果要實(shí)現(xiàn)原子性，我們也可以借助LUA腳本來實(shí)現(xiàn)。但就我們這個(gè)例子中，由于搶購活動(dòng)一單只能下1瓶，因此可以不用基于LUA腳本實(shí)現(xiàn)而是基于redis本身的原子性。原因在于：// Redis會(huì)返回操作之后的結(jié)果，這個(gè)過程是原子性的
Long currStock = redisTemplate.opsForHash().increment("key", "stock", -1);
改進(jìn)之后的代碼
經(jīng)過以上的分析之后，我們決定新建一個(gè)DistributedLocker類專門用于處理分布式鎖。public SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {
SeckillActivityRequestVO response;
String key = "key:" request.getSeckillId();
String val = UUID.randomUUID().toString();
try {
Boolean lockFlag = distributedLocker.lock(key, val, 10, TimeUnit.SECONDS);
if (!lockFlag) {
// 業(yè)務(wù)異常
}
// 用戶活動(dòng)校驗(yàn)
// 庫存校驗(yàn)，基于Redis本身的原子性來保證
Long currStock = stringRedisTemplate.opsForHash().increment(key ":info", "stock", -1);
if (currStock < 0) { // 說明庫存已經(jīng)扣減完了。
// 業(yè)務(wù)異常。
log.error("[搶購下單] 無庫存");
} else {
// 生成訂單
// 發(fā)布訂單創(chuàng)建成功事件
// 構(gòu)建響應(yīng)
}
} finally {
distributedLocker.safedUnLock(key, val);
// 構(gòu)建響應(yīng)
}
return response;
}
深度思考
-
分布式鎖有必要么，改進(jìn)之后，其實(shí)可以發(fā)現(xiàn)，我們借助于redis本身的原子性扣減庫存，也是可以保證不會(huì)超賣的。對(duì)的。但是如果沒有這一層鎖的話，那么所有請(qǐng)求進(jìn)來都會(huì)走一遍業(yè)務(wù)邏輯，由于依賴了其他系統(tǒng)，此時(shí)就會(huì)造成對(duì)其他系統(tǒng)的壓力增大。這會(huì)增加的性能損耗和服務(wù)不穩(wěn)定性，得不償失?；诜植际芥i可以在一定程度上攔截一些流量。
-
分布式鎖的選型，有人提出用RedLock來實(shí)現(xiàn)分布式鎖。RedLock的可靠性更高，但其代價(jià)是犧牲一定的性能。在本場(chǎng)景，這點(diǎn)可靠性的提升遠(yuǎn)不如性能的提升帶來的性價(jià)比高。如果對(duì)于可靠性極高要求的場(chǎng)景，則可以采用RedLock來實(shí)現(xiàn)。
-
再次思考分布式鎖有必要么，由于bug需要緊急修復(fù)上線，因此我們將其優(yōu)化并在測(cè)試環(huán)境進(jìn)行了壓測(cè)之后，就立馬熱部署上線了。實(shí)際證明，這個(gè)優(yōu)化是成功的，性能方面略微提升了一些，并在分布式鎖失效的情況下，沒有出現(xiàn)超賣的情況。
然而，還有沒有優(yōu)化空間呢？有的！
由于服務(wù)是集群部署，我們可以將庫存均攤到集群中的每個(gè)服務(wù)器上，通過廣播通知到集群的各個(gè)服務(wù)器。網(wǎng)關(guān)層基于用戶ID做hash算法來決定請(qǐng)求到哪一臺(tái)服務(wù)器。這樣就可以基于應(yīng)用緩存來實(shí)現(xiàn)庫存的扣減和判斷。性能又進(jìn)一步提升了！// 通過消息提前初始化好，借助ConcurrentHashMap實(shí)現(xiàn)高效線程安全
private static ConcurrentHashMap
// 通過消息提前設(shè)置好。由于AtomicInteger本身具備原子性，因此這里可以直接使用HashMap
private static Map
...
public SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {
SeckillActivityRequestVO response;
Long seckillId = request.getSeckillId();
if(!SECKILL_FLAG_MAP.get(requestseckillId)) {
// 業(yè)務(wù)異常
}
// 用戶活動(dòng)校驗(yàn)
// 庫存校驗(yàn)
if(SECKILL_STOCK_MAP.get(seckillId).decrementAndGet() < 0) {
SECKILL_FLAG_MAP.put(seckillId, false);
// 業(yè)務(wù)異常
}
// 生成訂單
// 發(fā)布訂單創(chuàng)建成功事件
// 構(gòu)建響應(yīng)
return response;
}
當(dāng)然，此方案沒有考慮到機(jī)器的動(dòng)態(tài)擴(kuò)容、縮容等復(fù)雜場(chǎng)景，如果還要考慮這些話，則不如直接考慮分布式鎖的解決方案。
下載文檔
