前言

基于Redis使用分布式鎖在當(dāng)今已經(jīng)不是什么新鮮事了。本篇文章主要是基于我們實際項目中因為redis分布式鎖造成的事故分析及解決方案。

背景

我們項目中的搶購訂單采用的是分布式鎖來解決的。有一次，運營做了一個飛天茅臺的搶購活動，庫存100瓶，但是卻超賣了！要知道，這個地球上飛天茅臺的稀缺性?。。。∈鹿识镻0級重大事故…只能坦然接受。整個項目組被扣績效了。。。

事故發(fā)生后，CTO指名點姓讓我?guī)ь^沖鋒來處理，好吧，沖~

事故現(xiàn)場

經(jīng)過一番了解后，得知這個搶購活動接口以前從來沒有出現(xiàn)過這種情況，但是這次為什么會超賣呢？原因在于：之前的搶購商品都不是什么稀缺性商品，而這次活動居然是飛天茅臺 ，通過埋點數(shù)據(jù)分析，各項數(shù)據(jù)基本都是成倍增長，活動熱烈程度可想而知！話不多說，直接上核心代碼，機(jī)密部分做了偽代碼處理。。。

    public SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {
    SeckillActivityRequestVO response;
        String key = "key:" + request.getSeckillId;
        try {
            Boolean lockFlag = redisTemplate.opsForValue().setIfAbsent(key, "val", 10, TimeUnit.SECONDS);
            if (lockFlag) {
                // HTTP請求用戶服務(wù)進(jìn)行用戶相關(guān)的校驗
                // 用戶活動校驗

                // 庫存校驗
                Object stock = redisTemplate.opsForHash().get(key+":info", "stock");
                assert stock != null;
                if (Integer.parseInt(stock.toString()) <= 0) {
                    // 業(yè)務(wù)異常
                } else {
                    redisTemplate.opsForHash().increment(key+":info", "stock", -1);
                    // 生成訂單
                    // 發(fā)布訂單創(chuàng)建成功事件
                    // 構(gòu)建響應(yīng)VO
                }
            }
        } finally {
            // 釋放鎖
            stringRedisTemplate.delete("key");
            // 構(gòu)建響應(yīng)VO
        }
        return response;
    }

以上代碼，通過分布式鎖過期時間有效期10s來保障業(yè)務(wù)邏輯有足夠的執(zhí)行時間；采用try-finally語句塊保證鎖一定會及時釋放。業(yè)務(wù)代碼內(nèi)部也對庫存進(jìn)行了校驗?？雌饋砗馨踩 別急，繼續(xù)分析。。。

事故原因

飛天茅臺搶購活動吸引了大量新用戶下載注冊我們的APP，其中，不乏很多羊毛黨，采用專業(yè)的手段來注冊新用戶來薅羊毛和刷單。當(dāng)然我們的用戶系統(tǒng)提前做好了防備，接入阿里云人機(jī)驗證、三要素認(rèn)證以及自研的風(fēng)控系統(tǒng)等各種十八般武藝，擋住了大量的非法用戶。此處不禁點個贊~

但也正因如此，讓用戶服務(wù)一直處于較高的運行負(fù)載中 。

搶購活動開始的一瞬間，大量的用戶校驗請求打到了用戶服務(wù)。導(dǎo)致用戶服務(wù)網(wǎng)關(guān)出現(xiàn)了短暫的響應(yīng)延遲，有些請求的響應(yīng)時長超過了10s，但由于HTTP請求的響應(yīng)超時我們設(shè)置的是30s，這就導(dǎo)致接口一直阻塞在用戶校驗?zāi)抢铮?0s后，分布式鎖已經(jīng)失效了，此時有新的請求進(jìn)來是可以拿到鎖的，也就是說鎖被覆蓋了。這些阻塞的接口執(zhí)行完之后，又會執(zhí)行釋放鎖的邏輯，這就把其他線程的鎖釋放了，導(dǎo)致新的請求也可以競爭到鎖~這真是一個極其惡劣的循環(huán)。

這個時候只能依賴庫存校驗，但是偏偏庫存校驗不是非原子性的，采用的是 get and compare 的方式， 超賣的悲劇就這樣發(fā)生了 ~~~

事故分析

仔細(xì)分析下來，可以發(fā)現(xiàn)，這個搶購接口在高并發(fā)場景下，是有嚴(yán)重的安全隱患的，主要集中在三個地方：

• 沒有其他系統(tǒng)風(fēng)險容錯處理  
  由于用戶服務(wù)吃緊，網(wǎng)關(guān)響應(yīng)延遲，但沒有任何應(yīng)對方式，這是超賣的 導(dǎo)火索 。

• 看似安全的分布式鎖其實一點都不安全  
  雖然采用了set key value [EX seconds] [PX milliseconds][NX|XX]的方式，但是如果線程A執(zhí)行的時間較長沒有來得及釋放，鎖就過期了，此時線程B是可以獲取到鎖的。當(dāng)線程A執(zhí)行完成之后，釋放鎖，實際上就把線程B的鎖釋放掉了。這個時候，線程C又是可以獲取到鎖的，而此時如果線程B執(zhí)行完釋放鎖實際上就是釋放的線程C設(shè)置的鎖。這是超賣的

直接原因 。

• 非原子性的庫存校驗  
  非原子性的庫存校驗導(dǎo)致在并發(fā)場景下，庫存校驗的結(jié)果不準(zhǔn)確。這是超賣的 根本原因 。通過以上分析，問題的根本原因在于庫存校驗嚴(yán)重依賴了分布式鎖。因為在分布式鎖正常set、del的情況下，庫存校驗是沒有問題的。但是，當(dāng)分布式鎖不安全可靠的時候，庫存校驗就沒有用了。

解決方案

知道了原因之后，我們就可以對癥下藥了。

實現(xiàn)相對安全的分布式鎖

相對安全的定義：set、del是一一映射的，不會出現(xiàn)把其他現(xiàn)成的鎖del的情況。從實際情況的角度來看，即使能做到set、del一一映射，也無法保障業(yè)務(wù)的絕對安全。因為鎖的過期時間始終是有界的，除非不設(shè)置過期時間或者把過期時間設(shè)置的很長，但這樣做也會帶來其他問題。故沒有意義。 要想實現(xiàn)相對安全的分布式鎖，必須依賴key的value值。在釋放鎖的時候，通過value值的唯一性來保證不會勿刪。我們基于LUA腳本實現(xiàn) 原子性的get and compare ，如下：

    public void safedUnLock(String key, String val) {
        String luaScript = "local in = ARGV[1] local curr=redis.call('get', KEYS[1]) if in==curr then redis.call('del', KEYS[1]) end return 'OK'"";
        RedisScript<String> redisScript = RedisScript.of(luaScript);
        redisTemplate.execute(redisScript, Collections.singletonList(key), Collections.singleton(val));
    }

我們通過LUA腳本來實現(xiàn)安全地解鎖。

實現(xiàn)安全的庫存校驗

如果我們對于并發(fā)有比較深入的了解的話，會發(fā)現(xiàn)想get and compare/ read and save
等操作，都是非原子性的。如果要實現(xiàn)原子性，我們也可以借助LUA腳本來實現(xiàn)。但就我們這個例子中，由于搶購活動一單只能下1瓶，因此可以不用基于LUA腳本實現(xiàn)而是基于redis本身的原子性。原因在于：

    // redis會返回操作之后的結(jié)果，這個過程是原子性的
    Long currStock = redisTemplate.opsForHash().increment("key", "stock", -1);

發(fā)現(xiàn)沒有，代碼中的庫存校驗完全是“畫蛇添足”。

改進(jìn)之后的代碼

經(jīng)過以上的分析之后，我們決定新建一個DistributedLocker類專門用于處理分布式鎖。

    public SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {
    SeckillActivityRequestVO response;
        String key = "key:" + request.getSeckillId();
        String val = UUID.randomUUID().toString();
        try {
            Boolean lockFlag = distributedLocker.lock(key, val, 10, TimeUnit.SECONDS);
            if (!lockFlag) {
                // 業(yè)務(wù)異常
            }

            // 用戶活動校驗
            // 庫存校驗，基于redis本身的原子性來保證
            Long currStock = stringRedisTemplate.opsForHash().increment(key + ":info", "stock", -1);
            if (currStock < 0) { // 說明庫存已經(jīng)扣減完了。
                // 業(yè)務(wù)異常。
                log.error("[搶購下單] 無庫存");
            } else {
                // 生成訂單
                // 發(fā)布訂單創(chuàng)建成功事件
                // 構(gòu)建響應(yīng)
            }
        } finally {
            distributedLocker.safedUnLock(key, val);
            // 構(gòu)建響應(yīng)
        }
        return response;
    }
    復(fù)制代碼

深度思考

分布式鎖有必要么

改進(jìn)之后，其實可以發(fā)現(xiàn)，我們借助于redis本身的原子性扣減庫存，也是可以保證不會超賣的。對的。但是如果沒有這一層鎖的話，那么所有請求進(jìn)來都會走一遍業(yè)務(wù)邏輯，由于依賴了其他系統(tǒng)，此時就會造成對其他系統(tǒng)的壓力增大。這會增加的性能損耗和服務(wù)不穩(wěn)定性，得不償失?；诜植际芥i可以在一定程度上攔截一些流量。

分布式鎖的選型

有人提出用RedLock來實現(xiàn)分布式鎖。RedLock的可靠性更高，但其代價是犧牲一定的性能。在本場景，這點可靠性的提升遠(yuǎn)不如性能的提升帶來的性價比高。如果對于可靠性極高要求的場景，則可以采用RedLock來實現(xiàn)。

再次思考分布式鎖有必要么

由于bug需要緊急修復(fù)上線，因此我們將其優(yōu)化并在測試環(huán)境進(jìn)行了壓測之后，就立馬熱部署上線了。實際證明，這個優(yōu)化是成功的，性能方面略微提升了一些，并在分布式鎖失效的情況下，沒有出現(xiàn)超賣的情況。 然而，還有沒有優(yōu)化空間呢？有的！

由于服務(wù)是集群部署，我們可以將庫存均攤到集群中的每個服務(wù)器上，通過廣播通知到集群的各個服務(wù)器。網(wǎng)關(guān)層基于用戶ID做hash算法來決定請求到哪一臺服務(wù)器。這樣就可以基于應(yīng)用緩存來實現(xiàn)庫存的扣減和判斷。性能又進(jìn)一步提升了！

    // 通過消息提前初始化好，借助ConcurrentHashMap實現(xiàn)高效線程安全
    private static ConcurrentHashMap<Long, Boolean> SECKILL_FLAG_MAP = new ConcurrentHashMap<>();
    // 通過消息提前設(shè)置好。由于AtomicInteger本身具備原子性，因此這里可以直接使用HashMap
    private static Map<Long, AtomicInteger> SECKILL_STOCK_MAP = new HashMap<>();

    ...

    public SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {
    SeckillActivityRequestVO response;

        Long seckillId = request.getSeckillId();
        if(!SECKILL_FLAG_MAP.get(requestseckillId)) {
            // 業(yè)務(wù)異常
        }
         // 用戶活動校驗
         // 庫存校驗
        if(SECKILL_STOCK_MAP.get(seckillId).decrementAndGet() < 0) {
            SECKILL_FLAG_MAP.put(seckillId, false);
            // 業(yè)務(wù)異常
        }
        // 生成訂單
        // 發(fā)布訂單創(chuàng)建成功事件
        // 構(gòu)建響應(yīng)
        return response;
    }

通過以上的改造，我們就完全不需要依賴redis了。性能和安全性兩方面都能進(jìn)一步得到提升！ 
當(dāng)然，此方案沒有考慮到機(jī)器的動態(tài)擴(kuò)容、縮容等復(fù)雜場景，如果還要考慮這些話，則不如直接考慮分布式鎖的解決方案。

總結(jié)

稀缺商品超賣絕對是重大事故。如果超賣數(shù)量多的話，甚至?xí)o平臺帶來非常嚴(yán)重的經(jīng)營影響和社會影響。經(jīng)過本次事故，讓我意識到對于項目中的任何一行代碼都不能掉以輕心，否則在某些場景下，這些正常工作的代碼就會變成致命殺手！對于一個開發(fā)者而言，則設(shè)計開發(fā)方案時，一定要將方案考慮周全。怎樣才能將方案考慮周全？唯有持續(xù)不斷地學(xué)習(xí)！

特別推薦一個分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒關(guān)注的小伙伴，可以長按關(guān)注一下：

長按訂閱更多精彩▼
如有收獲，點個在看，誠摯感謝