如何實(shí)現(xiàn)虛擬網(wǎng)絡(luò)流量的可視化

近年來(lái)，云計(jì)算在運(yùn)營(yíng)商、金融、互聯(lián)網(wǎng)等多個(gè)行業(yè)得到了廣泛應(yīng)用，大數(shù)據(jù)、微服務(wù)等各種面向云計(jì)算的應(yīng)用和架構(gòu)也應(yīng)運(yùn)而生，SDN也因云而生?！癝DN的應(yīng)用已經(jīng)步入商用化軌道，DC和DC之間的SDN應(yīng)用已經(jīng)規(guī)模商用。”在前不久召開的“SDN/NFV/AI大會(huì)”上，中國(guó)電信科技委主任韋樂(lè)平指出。

這些變化對(duì)支撐企業(yè)IT的網(wǎng)絡(luò)工程師們產(chǎn)生了強(qiáng)大的沖擊，面對(duì)看不見的云網(wǎng)絡(luò)，如何實(shí)現(xiàn)虛擬網(wǎng)絡(luò)流量的可視化成為業(yè)界亟待解決的問(wèn)題。近日，云杉網(wǎng)絡(luò)研發(fā)總監(jiān)向陽(yáng)接受通信世界全媒體記者的采訪，分享了云杉網(wǎng)絡(luò)如何通過(guò)SDN全景圖點(diǎn)亮云網(wǎng)絡(luò)黑盒的實(shí)踐經(jīng)驗(yàn)。

東西向流量是未來(lái)主角

根據(jù)思科全球云指數(shù)給出的報(bào)告，到2020年，數(shù)據(jù)中心內(nèi)部東西向網(wǎng)絡(luò)流量占到了77%，再加上數(shù)據(jù)中心之間的（例如災(zāi)備場(chǎng)景下，同城的光纖）流量，數(shù)據(jù)中心東西向流量占比高達(dá)86%之多。根據(jù)思科預(yù)測(cè)，2020年云化數(shù)據(jù)中心的流量是占全球數(shù)據(jù)中心總流量的92%。

向陽(yáng)指出，通常一個(gè)數(shù)據(jù)中心云網(wǎng)絡(luò)規(guī)模的流量是TB級(jí)別，在不干擾生產(chǎn)環(huán)境的前提下完成流量的全網(wǎng)采集、全景分析和按需分發(fā)成為保障云端業(yè)務(wù)的關(guān)鍵。然而，對(duì)數(shù)據(jù)中心流量的采集，傳統(tǒng)的分光/鏡像/采樣（sFlow、NetFlow等）的方法，其缺點(diǎn)是只能覆蓋到物理網(wǎng)絡(luò)，其對(duì)接的后端NPM/安全分析能力也只是GB級(jí)別。

采集虛擬網(wǎng)絡(luò)流量，必須安全、可靠，即需要滿足三大要點(diǎn)：一是繪制與當(dāng)前運(yùn)行情況相符的虛擬化網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖，并能對(duì)虛擬化網(wǎng)絡(luò)資源、網(wǎng)絡(luò)拓?fù)溥M(jìn)行實(shí)時(shí)更新和集中監(jiān)控；二是保證云計(jì)算平臺(tái)管理流量與云租戶業(yè)務(wù)流量分離；三是能識(shí)別、監(jiān)控虛擬機(jī)之間、虛擬機(jī)與物理機(jī)之間的流量。

向陽(yáng)講到，對(duì)于一個(gè)整體的Fabric網(wǎng)絡(luò)，其流量是能輕松達(dá)到TB級(jí)別的，當(dāng)我們將這些流量全部采集下來(lái)之后，如何將流量和消費(fèi)端對(duì)接起來(lái)（因?yàn)楹蠖说姆治瞿芰κ菬o(wú)法消化TB級(jí)流量的）也是一個(gè)嚴(yán)肅的問(wèn)題。這兩個(gè)因素疊加起來(lái)，跟傳統(tǒng)網(wǎng)絡(luò)一層層漂亮的規(guī)劃圖相比起來(lái)，云數(shù)據(jù)中心的多租戶的各種業(yè)務(wù)跑在一張網(wǎng)里，這里有不同的VPC、IP重疊，我們很難再用一幅清晰的圖來(lái)表示這個(gè)網(wǎng)絡(luò)，此時(shí)的數(shù)據(jù)中心網(wǎng)絡(luò)無(wú)疑是一團(tuán)亂麻。當(dāng)出現(xiàn)業(yè)務(wù)故障時(shí)，團(tuán)隊(duì)的權(quán)責(zé)也因此開始模糊起來(lái)。

以前出問(wèn)題就抓包，現(xiàn)在去哪兒抓都不知道；以前防火墻跟著業(yè)務(wù)開，現(xiàn)在該開哪個(gè)墻都不知道；以前新上線就新機(jī)柜，現(xiàn)在該去哪個(gè)池都不知道...面對(duì)云網(wǎng)絡(luò)“黑盒”，如何破解？對(duì)此，云杉網(wǎng)絡(luò)提出SDN全景圖理念。向陽(yáng)表示，SDN全景圖，為云時(shí)代的網(wǎng)工們打開云網(wǎng)絡(luò)的黑盒，實(shí)現(xiàn)快速定位端到端故障，安全策略實(shí)時(shí)驗(yàn)證，業(yè)務(wù)上線全局優(yōu)化...實(shí)現(xiàn)虛擬網(wǎng)絡(luò)流量的多維度可視化，達(dá)成點(diǎn)亮云網(wǎng)黑盒的目的。

不同的環(huán)境不同的應(yīng)對(duì)方案

向陽(yáng)指出，常規(guī)的解決方法，是把流量和網(wǎng)絡(luò)配置全部拿下來(lái)。但在虛擬化環(huán)境中，分光鏡像的手段在云里是無(wú)法工作，VMware的VDS有鏡像能力，但商用的OpenStack環(huán)境里OvS通常沒有這個(gè)能力，而鏡像的方案對(duì)資源的消耗也是倍增的。

“云杉網(wǎng)絡(luò)的策略是從先進(jìn)的數(shù)據(jù)采集技術(shù)入手，在此基礎(chǔ)上建立刻畫云網(wǎng)絡(luò)的全景視圖和運(yùn)維、運(yùn)營(yíng)、安全管理機(jī)制?！毕蜿?yáng)表示，對(duì)于采集到的數(shù)據(jù)，通過(guò)標(biāo)記后，可以從不同的維度繪制一個(gè)從地域到VPC再到服務(wù)器、子網(wǎng)、虛擬機(jī)、虛擬機(jī)接口、IP等從宏觀到微觀的云網(wǎng)絡(luò)全景視圖。

我們的目標(biāo)是網(wǎng)絡(luò)本地的轉(zhuǎn)發(fā)和計(jì)算的本地處理。向陽(yáng)講到，那么我們應(yīng)該怎么實(shí)現(xiàn)對(duì)虛擬網(wǎng)絡(luò)盲點(diǎn)數(shù)據(jù)的全量采集呢？將物理網(wǎng)絡(luò)的關(guān)鍵節(jié)點(diǎn)（主要是接入部分）覆蓋，例如數(shù)據(jù)中心出口、防火墻的前后，以及接入交換機(jī)等。但是虛擬網(wǎng)絡(luò)要相對(duì)復(fù)雜一些，常見的虛擬交換機(jī)一般沒有流量鏡像能力、有鏡像能力的資源開銷太大、用戶也難以接受。對(duì)于不同的環(huán)境我們有不同的應(yīng)對(duì)方案，對(duì)于KVM這類開放方案，可以進(jìn)行本地的預(yù)處理——在宿主機(jī)上將流量轉(zhuǎn)換成（各個(gè)維度的）遙測(cè)數(shù)據(jù)。

在混合云的場(chǎng)景中，大家比較關(guān)注的是資源消耗，其主要的消耗是把包抽取出來(lái)和壓縮后再發(fā)送，云杉網(wǎng)絡(luò)的優(yōu)化方案是利用DPDK或者Linux內(nèi)核實(shí)現(xiàn)零拷貝。當(dāng)然這里也有局限，在追求性能極致的同時(shí)還要兼顧對(duì)客戶系統(tǒng)環(huán)境的無(wú)擾，我們需要做到僅靠已有的環(huán)境來(lái)獲取自己想要的流量，這在性能優(yōu)化方面給我們帶來(lái)了許多的技術(shù)挑戰(zhàn)。

DeepFlow?點(diǎn)亮云網(wǎng)絡(luò)的黑盒

云杉網(wǎng)絡(luò)推出的DeepFlow?虛擬網(wǎng)絡(luò)流量采集、分發(fā)與分析平臺(tái)為多種云平臺(tái)提供一體化的虛擬網(wǎng)絡(luò)流量解決方案，其專利的虛擬流量采集技術(shù)具備大規(guī)模、零干擾、無(wú)依賴、過(guò)載保護(hù)、預(yù)處理等優(yōu)點(diǎn)；單臺(tái)控制器同時(shí)管理1000個(gè)采集點(diǎn)和自動(dòng)管理并下發(fā)4000條過(guò)濾策略，適用于生產(chǎn)環(huán)境的大規(guī)模虛擬網(wǎng)絡(luò)。

基于運(yùn)維管理者視角，DeepFlow?分別從云租戶、云資源和云網(wǎng)絡(luò)三個(gè)維度進(jìn)行關(guān)聯(lián)分析，幫助云數(shù)據(jù)中心提高運(yùn)維效率；優(yōu)化資源使用率；提升安全性，從而提升云服務(wù)SLA水平。

云杉網(wǎng)絡(luò)于2019年3月18日發(fā)布了DeepFlow? v5.5.1版，該版本優(yōu)化了網(wǎng)絡(luò)對(duì)象的管理，增強(qiáng)了業(yè)務(wù)分析能力，改進(jìn)了告警策略和報(bào)表管理；網(wǎng)絡(luò)全景圖功能完善了VPC視角，并加入主機(jī)視角，實(shí)現(xiàn)了端到端的流量統(tǒng)計(jì)與分析，云平臺(tái)管理模塊增加了對(duì)虛擬路由器的支持，優(yōu)化后的采集器日志文件上限為1M/天。

目前，作為面向云數(shù)據(jù)中心的虛擬網(wǎng)絡(luò)流量采集分析平臺(tái)，DeepFlow?率先在金融、電信、電力、教育等行業(yè)近百家企業(yè)部署，包括平安科技、興業(yè)數(shù)金、中國(guó)移動(dòng)、國(guó)家電網(wǎng)、蘇州國(guó)科數(shù)據(jù)中心等標(biāo)桿客戶，已經(jīng)成為企業(yè)云數(shù)據(jù)中心網(wǎng)絡(luò)穩(wěn)定和高效運(yùn)營(yíng)的典范。