北京2022年4月29日 /美通社/ -- 4月26日，中國信通院主辦了"穩(wěn)保計劃"首屆云系統(tǒng)穩(wěn)定性大會。會上，"穩(wěn)保計劃"云系統(tǒng)穩(wěn)定性領(lǐng)域的最新評估結(jié)果、混沌工程先鋒實踐者優(yōu)秀案例評選結(jié)果正式公布。

中電金信憑借在混沌工程領(lǐng)域的研發(fā)積累和豐富的工程實踐，與恒豐銀行攜手建設(shè)的"恒豐銀行紅藍對抗演練"獲得了首屆"混沌工程先鋒實踐者"優(yōu)秀案例獎"。

混沌工程

混沌工程作為分布式系統(tǒng)穩(wěn)定性的重要保障，近年來成為推動企業(yè)IT韌性系統(tǒng)建設(shè)的強大力量。

2021年中國信通院以混沌工程為切入點開展了一系列工作，歷時4個月，對國內(nèi)一批成熟度高、具有示范標桿作用的優(yōu)秀混沌工程實踐案例進行了調(diào)研和評選。恒豐銀行與中電金信合作的"紅藍對抗演練"，極大地提升了運維團隊應(yīng)對故障處置的能力，成功入圍了首屆"混沌工程先鋒實踐者"優(yōu)秀案例獎評選。

近幾年，分布式架構(gòu)引入銀行體系后，分布式微服務(wù)架構(gòu)的應(yīng)用讓基礎(chǔ)設(shè)施復(fù)雜度日益增高，系統(tǒng)不穩(wěn)定性也增多，且傳統(tǒng)運維演練成本高、費時費力。

恒豐銀行煙臺數(shù)據(jù)中心開放場景，與中電金信分階段開展"紅藍對抗演練"，通過系統(tǒng)常態(tài)化的故障演練，紅方和藍方在對抗過程中提前發(fā)現(xiàn)并修復(fù)系統(tǒng)中的潛在問題，從而提升了系統(tǒng)的穩(wěn)定及可靠性，有效地提升了運維團隊應(yīng)對故障處置的能力。

中電金信|恒豐銀行團隊

紅藍對抗演練平臺

中電金信所設(shè)計的混沌工程實驗平臺由基礎(chǔ)設(shè)施和擾動注入模塊、任務(wù)調(diào)度模塊、平臺管理模塊、平臺核心功能等多個模塊組成，為紅藍對抗演練提供環(huán)境搭建、故障復(fù)現(xiàn)、演練事件管理、發(fā)起演練等相關(guān)功能。

平臺不僅包含ChaosBlade常見的故障類型，而且擴充了部分中間件異常以及銀行關(guān)注的交易一致性場景案例，結(jié)合銀行系統(tǒng)的特點，打造適用于銀行系統(tǒng)的混沌案例庫，通過實驗管理的方式進行紅藍對抗演練。

混沌工程平臺架構(gòu)圖

混沌工程實驗平臺落地實踐過程中，采用了一系列創(chuàng)新性方法和方式。如將銀行關(guān)注的高可用案例封裝成混沌案例庫，其中包含高可用相關(guān)停應(yīng)用、停服務(wù)、宕網(wǎng)卡、宕機、假死等案例，以及從生產(chǎn)事件、應(yīng)急預(yù)案中抽象的如存儲占滿、損壞，交易一致性相關(guān)等案例。

此外，演練還聯(lián)動應(yīng)急預(yù)案與線上告警系統(tǒng)，該系統(tǒng)可以在發(fā)生系統(tǒng)問題時，快速定位問題并找到對應(yīng)的處置方法，有力地提升事件的處置效率。

"紅藍對抗演練"主要在準生產(chǎn)環(huán)境進行，應(yīng)用范圍覆蓋251個系統(tǒng)，共計1533個部署單元，2605臺服務(wù)器，涵蓋核心系統(tǒng)、手機銀行、支付結(jié)算、電子銀行等重要系統(tǒng)。

下一階段，恒豐銀行還將與中電金信合作，在落地混沌工程實驗方面進行更加深遠的探索，為行方帶來更加完善且高效可行的演練解決方案。