中電金信獲"混沌工程先鋒實(shí)踐者"優(yōu)秀案例獎

北京2022年4月29日 /美通社/ -- 4月26日，中國信通院主辦了"穩(wěn)保計(jì)劃"首屆云系統(tǒng)穩(wěn)定性大會。會上，"穩(wěn)保計(jì)劃"云系統(tǒng)穩(wěn)定性領(lǐng)域的最新評估結(jié)果、混沌工程先鋒實(shí)踐者優(yōu)秀案例評選結(jié)果正式公布。

中電金信憑借在混沌工程領(lǐng)域的研發(fā)積累和豐富的工程實(shí)踐，與恒豐銀行攜手建設(shè)的"恒豐銀行紅藍(lán)對抗演練"獲得了首屆"混沌工程先鋒實(shí)踐者"優(yōu)秀案例獎"。

混沌工程

混沌工程作為分布式系統(tǒng)穩(wěn)定性的重要保障，近年來成為推動企業(yè)IT韌性系統(tǒng)建設(shè)的強(qiáng)大力量。

2021年中國信通院以混沌工程為切入點(diǎn)開展了一系列工作，歷時4個月，對國內(nèi)一批成熟度高、具有示范標(biāo)桿作用的優(yōu)秀混沌工程實(shí)踐案例進(jìn)行了調(diào)研和評選。恒豐銀行與中電金信合作的"紅藍(lán)對抗演練"，極大地提升了運(yùn)維團(tuán)隊(duì)?wèi)?yīng)對故障處置的能力，成功入圍了首屆"混沌工程先鋒實(shí)踐者"優(yōu)秀案例獎評選。

近幾年，分布式架構(gòu)引入銀行體系后，分布式微服務(wù)架構(gòu)的應(yīng)用讓基礎(chǔ)設(shè)施復(fù)雜度日益增高，系統(tǒng)不穩(wěn)定性也增多，且傳統(tǒng)運(yùn)維演練成本高、費(fèi)時費(fèi)力。

恒豐銀行煙臺數(shù)據(jù)中心開放場景，與中電金信分階段開展"紅藍(lán)對抗演練"，通過系統(tǒng)常態(tài)化的故障演練，紅方和藍(lán)方在對抗過程中提前發(fā)現(xiàn)并修復(fù)系統(tǒng)中的潛在問題，從而提升了系統(tǒng)的穩(wěn)定及可靠性，有效地提升了運(yùn)維團(tuán)隊(duì)?wèi)?yīng)對故障處置的能力。

中電金信|恒豐銀行團(tuán)隊(duì)

紅藍(lán)對抗演練平臺

中電金信所設(shè)計(jì)的混沌工程實(shí)驗(yàn)平臺由基礎(chǔ)設(shè)施和擾動注入模塊、任務(wù)調(diào)度模塊、平臺管理模塊、平臺核心功能等多個模塊組成，為紅藍(lán)對抗演練提供環(huán)境搭建、故障復(fù)現(xiàn)、演練事件管理、發(fā)起演練等相關(guān)功能。

平臺不僅包含ChaosBlade常見的故障類型，而且擴(kuò)充了部分中間件異常以及銀行關(guān)注的交易一致性場景案例，結(jié)合銀行系統(tǒng)的特點(diǎn)，打造適用于銀行系統(tǒng)的混沌案例庫，通過實(shí)驗(yàn)管理的方式進(jìn)行紅藍(lán)對抗演練。

混沌工程平臺架構(gòu)圖

混沌工程實(shí)驗(yàn)平臺落地實(shí)踐過程中，采用了一系列創(chuàng)新性方法和方式。如將銀行關(guān)注的高可用案例封裝成混沌案例庫，其中包含高可用相關(guān)停應(yīng)用、停服務(wù)、宕網(wǎng)卡、宕機(jī)、假死等案例，以及從生產(chǎn)事件、應(yīng)急預(yù)案中抽象的如存儲占滿、損壞，交易一致性相關(guān)等案例。

此外，演練還聯(lián)動應(yīng)急預(yù)案與線上告警系統(tǒng)，該系統(tǒng)可以在發(fā)生系統(tǒng)問題時，快速定位問題并找到對應(yīng)的處置方法，有力地提升事件的處置效率。

"紅藍(lán)對抗演練"主要在準(zhǔn)生產(chǎn)環(huán)境進(jìn)行，應(yīng)用范圍覆蓋251個系統(tǒng)，共計(jì)1533個部署單元，2605臺服務(wù)器，涵蓋核心系統(tǒng)、手機(jī)銀行、支付結(jié)算、電子銀行等重要系統(tǒng)。

下一階段，恒豐銀行還將與中電金信合作，在落地混沌工程實(shí)驗(yàn)方面進(jìn)行更加深遠(yuǎn)的探索，為行方帶來更加完善且高效可行的演練解決方案。