夯實云計算底層系統(tǒng)基石 UCloud不斷演進全球基礎(chǔ)架構(gòu)能力

2019年5月28日， 國內(nèi)領(lǐng)先的中立云計算服務(wù)商UCloud優(yōu)刻得（以下簡稱UCloud）在北京召開以“中立安全、賦能產(chǎn)業(yè)”為主題的UCloud用戶大會暨Think in Cloud北京大會。

本次大會上，UCloud基礎(chǔ)架構(gòu)平臺線總經(jīng)理王凱，分享了UCloud對于云計算基礎(chǔ)架構(gòu)的深度洞察和設(shè)計能力，并介紹了綜合性的企業(yè)級云計算基礎(chǔ)架構(gòu)解決方案。

基礎(chǔ)架構(gòu)是云計算底層系統(tǒng)的基石，是底層實力。

云計算基礎(chǔ)設(shè)施的穩(wěn)定和可靠，是云計算公司的底層實力。王凱表示：“如果云計算產(chǎn)品未來提供的是IT信息化綜合服務(wù)，那么基礎(chǔ)架構(gòu)就是云計算底層的系統(tǒng)基石。”

王凱介紹，相對于云產(chǎn)品，基礎(chǔ)架構(gòu)有兩個特點，第一是基礎(chǔ)架構(gòu)模式重，因為它不同于一般的軟件架構(gòu)，而是需要大規(guī)模重資產(chǎn)的基礎(chǔ)物理建設(shè)；第二是基礎(chǔ)架構(gòu)建設(shè)節(jié)奏慢，因為它處于系統(tǒng)底層，就意味著上層有諸多應(yīng)用，這些應(yīng)用不容易被編排和改造，為了避免底層的變化會影響上層應(yīng)用，基礎(chǔ)架構(gòu)要相對穩(wěn)定。

基礎(chǔ)架構(gòu)這兩個特點，決定其在整個設(shè)計、規(guī)劃、建造過程中，需要更多更豐富的經(jīng)驗，還要有更加前瞻的視野。

UCloud在成立以后的七年里對整個基礎(chǔ)設(shè)施建設(shè)持續(xù)重大投入，并形成了自己的建設(shè)思路 “給客戶提供最合適的基礎(chǔ)設(shè)施”。

王凱回顧了UCloud數(shù)據(jù)中心建設(shè)過程。早期，UCloud客戶主要集中在北京、上海、廣州、香港這些城市，UCloud在這些核心節(jié)點建設(shè)了數(shù)據(jù)中心；2016年-2017年，隨著用戶出海業(yè)務(wù)的迅速發(fā)展，為了給出海企業(yè)拓展提供幫助，UCloud迅速布局了整個海外節(jié)點；隨著自身業(yè)務(wù)發(fā)展和體量持續(xù)擴大，以及大型、超大型數(shù)據(jù)中心技術(shù)成熟，網(wǎng)絡(luò)接入節(jié)點仍然在核心區(qū)，而存儲和高密計算根據(jù)延時需求，逐漸傾向部署在非核心區(qū)，可以利用更好的自然環(huán)境和土地、電力條件，以獲取更低的運營成本和更高的經(jīng)濟效益。

此時；差異性、定制化基礎(chǔ)設(shè)施成為客戶的訴求。鑒于對客戶需求的個判斷，2018年UCloud建設(shè)了福建GPU可用區(qū)，專門為AI和高密計算提供支持；同時還正在開工建設(shè)北方的烏蘭察布數(shù)據(jù)中心，充分利用當(dāng)?shù)刈匀粭l件等優(yōu)勢，將作為低成本、可定制的基地型數(shù)據(jù)中心，為北方地區(qū)的計算、冷存儲業(yè)務(wù)提供支持。

基礎(chǔ)設(shè)施是點，物理網(wǎng)絡(luò)是信息通道，大容量、全球化且高可用的業(yè)務(wù)訴求對物理網(wǎng)絡(luò)的提出了極高的挑戰(zhàn)。

超大型的數(shù)據(jù)中心和全球化的趨勢對物理網(wǎng)絡(luò)提出了更高的要求?；谶@樣的挑戰(zhàn)，UCloud首先發(fā)布了物理網(wǎng)絡(luò)的DCN4.0架構(gòu)。

該架構(gòu)有三個特點：

第一是彈性高容量，DCN4.0架構(gòu)采用3級CLOS架構(gòu)，支持20K到80K個物理節(jié)點接入；

第二是高速網(wǎng)絡(luò)，DCN4.0架構(gòu)使用25G接入設(shè)計和100G的網(wǎng)絡(luò)核心匯聚設(shè)計，支持1：1的收斂比，使用無損以太網(wǎng)技術(shù)，充分保證DC內(nèi)部充足的帶寬和極低的時延；

第三是采用POD設(shè)計，王凱介紹：“數(shù)據(jù)中心的建設(shè)迭代過程很慢，但在軟件的不斷迭代中，我們又希望對軟件不斷升級的網(wǎng)絡(luò)架構(gòu)需求提供支持。”UCloud將積累的網(wǎng)絡(luò)設(shè)計能力產(chǎn)品化，抽象出來形成POD，單個POD提供一致的網(wǎng)絡(luò)能力，將內(nèi)部分區(qū)的架構(gòu)設(shè)計轉(zhuǎn)化成網(wǎng)絡(luò)對內(nèi)的產(chǎn)品能力，兼顧成本、架構(gòu)設(shè)計演進、創(chuàng)新三者平衡。

網(wǎng)絡(luò)工程師工作一年抵不上民工一鏟子？物理網(wǎng)絡(luò)要求高可用

“解決了容量問題，我們接下來是關(guān)注數(shù)據(jù)中心高可用”王凱介紹：“網(wǎng)上有個段子，網(wǎng)絡(luò)工程師工作一年，抵不上民工一鏟子?！边@句話指的基礎(chǔ)設(shè)施高可用非常難，城域網(wǎng)的光纜經(jīng)常出現(xiàn)這樣那樣問題。

為了保證數(shù)據(jù)中心高可用性，避免其受不確定因素影響，UCloud在2018年新推出的網(wǎng)絡(luò)城域網(wǎng)架構(gòu)，將原來的2pop升級為3pop，整個單數(shù)據(jù)中心的可用性從原來的6個9提升到了9個9，全年數(shù)據(jù)中心理論“不可用”的時長從3分鐘變成了0.09秒。

針對城域網(wǎng)，UCloud發(fā)布了DC Group架構(gòu)。DC Group架構(gòu)將地理位置相近的DC通過full-mesh的結(jié)構(gòu)聯(lián)系起來，作為同一個AZ對外提供服務(wù)。這樣形成了三個優(yōu)勢，第一是低延時，距離十公里以內(nèi)的DC延時可以控制在0.2毫秒，相對業(yè)務(wù)是無感知的。第二是通過冗余和帶寬，通過100G和400G的高密度波分，對DC Group之間的數(shù)據(jù)中心提供了6.4T的大帶寬，保證了整個業(yè)務(wù)的流量。第三是滾動升級持續(xù)擴容，當(dāng)原有數(shù)據(jù)中心不夠用時，可以通過新建新一代DC的方式，滿足新業(yè)務(wù)在原AZ里上線的要求，同時將新數(shù)據(jù)中心的產(chǎn)品架構(gòu)掛在在原有的DC Group進行升級擴容，兼顧整個數(shù)據(jù)中心生命周期和容量管理。

針對廣域網(wǎng)，發(fā)布四個產(chǎn)品架構(gòu)，包括三個廣域網(wǎng)架構(gòu)，一個邊緣網(wǎng)絡(luò)架構(gòu)。其中，廣域網(wǎng)三個架構(gòu)是洲際節(jié)點、UTN網(wǎng)絡(luò)、UBN網(wǎng)絡(luò)，洲際節(jié)點主要負責(zé)多地區(qū)internet的帶寬接入，目前在23個地區(qū)有30+BGP出口，在海外擁有近1T的帶寬；UTN網(wǎng)絡(luò)是多業(yè)務(wù)傳輸網(wǎng)，它與UCloud全球基礎(chǔ)設(shè)施和起來，甚至可以讓客戶通過UTN和UCloud全球基礎(chǔ)設(shè)施打造屬于自己獨立的全球基礎(chǔ)架構(gòu)；UBN網(wǎng)絡(luò)是UCloud在UTN之上搭建的數(shù)據(jù)網(wǎng)，主要是實現(xiàn)流量調(diào)度功能，包括Anycast和分布式DDos的功能都是在這張網(wǎng)絡(luò)上落地。

王凱還重點介紹了UCloud“羅馬”網(wǎng)絡(luò)產(chǎn)品，羅馬依托于UTN、UBN、UDPN網(wǎng)絡(luò)、UCloud全球加速節(jié)點，甚至其他的運營商資源共同搭建而成，核心價值是為客戶提供就近接入和鏈路動態(tài)調(diào)度，主要應(yīng)用場景是實現(xiàn)最后一公里接入、極速的多云互聯(lián)和廉價的廣域網(wǎng)全球加速。

從數(shù)據(jù)中心的DCN到城域網(wǎng)的3POP、DC Group，再到廣域網(wǎng)的UTN、UBN和洲際節(jié)點，最后到邊緣的羅馬產(chǎn)品，UCloud基于對網(wǎng)絡(luò)架構(gòu)的理解，為客戶提供了一套完整綜合的解決方案。

虛擬網(wǎng)絡(luò)，既是難點又是核心技術(shù)點

“虛擬網(wǎng)絡(luò)是云計算的難點，也是一個核心技術(shù)點。”

2012年，UCloud開始使用虛擬網(wǎng)絡(luò)，采用EBTables和IPTables的組合架構(gòu)做用戶隔離，但是UCloud的團隊很快發(fā)現(xiàn)這個技術(shù)方案不足以向客戶提供安全、穩(wěn)定的服務(wù)。2013年，UCloud的虛擬網(wǎng)絡(luò)開始采用SDN技術(shù)實現(xiàn)租戶隔離，也就是VPC(Virtual Private Cloud)。同時將第一代虛擬的SDN交換機引入，將物理機設(shè)備引入公有云體系；2014年和2015年，為了性能優(yōu)化，引入了DPDK高性能網(wǎng)關(guān)；2016年和2017年，升級VPC2.0，將原有的經(jīng)典網(wǎng)絡(luò)和VPC1.0網(wǎng)絡(luò)客戶，在客戶沒有感知的情況下，全部無縫升級到VPC2.0。使用包括IP跨AZ漂移、ULB跨AZ掛載等特性。

創(chuàng)新升級為客戶創(chuàng)造了更好的使用體驗，但UCloud遠遠沒有止步于此。隨著云計算行業(yè)發(fā)展，傳統(tǒng)企業(yè)的云業(yè)務(wù)場景，給虛擬網(wǎng)絡(luò)的自身的健壯性，高性能和易用性提出了更高的要求，應(yīng)對這些訴求，2018年UCloud推出包括UXR、智能網(wǎng)關(guān)和IPv6三大特性的下一代網(wǎng)絡(luò)架構(gòu)VPC3.0，目前還在考慮構(gòu)建下一代架構(gòu)VPC4.0。

UXR具備路由和解耦特性，使UCloud虛擬網(wǎng)絡(luò)可以將公有云、物理云、托管云等各個獨立分區(qū)以及對外接入網(wǎng)關(guān)全部通過UXR互聯(lián)，這樣既實現(xiàn)了各個業(yè)務(wù)模塊的解耦，又確保每個分區(qū)都可以基于自己規(guī)模擴展，以此確保整個網(wǎng)絡(luò)的平行拓展和對外的連接，真正實現(xiàn)網(wǎng)絡(luò)的分區(qū)路由。同時通過使用可編程芯片交換機，ucloud上線了國內(nèi)首家線上自研虛擬網(wǎng)絡(luò)匯聚路由器，確保了6.5T 128字節(jié)穩(wěn)定線速轉(zhuǎn)發(fā)，保證了核心虛擬網(wǎng)絡(luò)設(shè)備的高速性能。

智能網(wǎng)關(guān)是在UCloud原有的宿主基礎(chǔ)上使用智能網(wǎng)卡，將原有的虛擬網(wǎng)絡(luò)封裝和轉(zhuǎn)發(fā)功能移交到智能網(wǎng)卡，通過部分硬件卸載的方式完成，通過這種方式使轉(zhuǎn)發(fā)能力提升整整10倍。這個方案的另外一個優(yōu)勢可以統(tǒng)一VPC內(nèi)部架構(gòu)，將公有云和未來單機的Bare Metal設(shè)備在功能和拓撲上一致，客戶不用區(qū)分云主機和物理機的差異。

IPv6方面，UCloud目前已經(jīng)通過NAT64實現(xiàn)了IPv6轉(zhuǎn)化服務(wù)接入，同時還通過可編程交換機開發(fā)了ulb7，實現(xiàn)整個IPv6的負載均衡接入。VPC3.0架構(gòu)還支持整個IPv6的主動式流表下發(fā)，這就意味著UCloud可以無損支持純的IPv6網(wǎng)絡(luò)。

云計算不是冰冷冷的技術(shù)，更是IT基礎(chǔ)架構(gòu)的服務(wù)，客戶需要的不光是單一產(chǎn)品，更是全方位的解決方案。通過7年的積累和完善，除了技術(shù)和資源，UCloud還積累了豐富的海量運營的體系經(jīng)驗，包括：多維度立體化的監(jiān)控體系、海量資源的全生命周期管理、全球數(shù)據(jù)中心自動化持續(xù)交付流水線、高效穩(wěn)定SRE運維支撐、全流程的持續(xù)服務(wù)改進和極致可靠的安全防護。

王凱認為，整個基礎(chǔ)架構(gòu)體系，體現(xiàn)了UCloud漫長的技術(shù)積累，是包括資源整合的能力、架構(gòu)優(yōu)化能力、技術(shù)研發(fā)能力、海量運營能力在內(nèi)的綜合能力體現(xiàn)。在產(chǎn)業(yè)升級大趨勢中，UCloud將繼續(xù)隨業(yè)務(wù)成長，不斷演進全球基礎(chǔ)架構(gòu)能力并對外綜合輸出，為上層業(yè)務(wù)和客戶提供服務(wù)，賦能產(chǎn)業(yè)變革。