云杉網(wǎng)絡(luò)混合云全網(wǎng)監(jiān)控流量采集與分發(fā)方案
掃描二維碼
隨時(shí)隨地手機(jī)看文章
在國家十三五規(guī)劃和云計(jì)算的推動下,國內(nèi)金融企業(yè)IT基礎(chǔ)設(shè)施加速虛擬化、業(yè)務(wù)上云穩(wěn)步推進(jìn),金融IT逐漸演變?yōu)榛旌显萍軜?gòu)。與此同時(shí)企業(yè)對業(yè)務(wù)安全的訴求、行業(yè)主管部門對監(jiān)管的要求有增無減。本文基于上述背景,詳細(xì)介紹金融企業(yè)如何在混合云中建設(shè)統(tǒng)一的全網(wǎng)流量采集平臺!
在金融混合云環(huán)境,業(yè)務(wù)運(yùn)行在邏輯網(wǎng)絡(luò)中,面臨網(wǎng)絡(luò)性能分析、網(wǎng)絡(luò)問題定位及排障、網(wǎng)絡(luò)安全管理、合規(guī)審計(jì)、網(wǎng)絡(luò)擴(kuò)展等問題。在云環(huán)境下,選擇網(wǎng)絡(luò)流量采集方案需要考慮流量獲取的方式、流量的模型、規(guī)模及可管理性、對現(xiàn)網(wǎng)的影響、平臺開放性等因素。
在云環(huán)境中,影響獲取虛擬交換機(jī)流量的因素有二:其一是對現(xiàn)有生產(chǎn)環(huán)境的侵入性,其二是性能。目前獲取虛擬交換機(jī)流量的技術(shù)方案如下,金融企業(yè)可根據(jù)自身IT環(huán)境的實(shí)際情況進(jìn)行靈活選擇。
在虛擬機(jī)或工作負(fù)載中安裝采集探針,從操作系統(tǒng)層抓取流量信息。此方案探針部署規(guī)模大,且需要獲取虛擬機(jī)根權(quán)限。
通過在虛擬交換機(jī)上配置鏡像或廣播策略,將所需流量引出。該方案需對生產(chǎn)平面的虛擬交換機(jī)進(jìn)行額外配置。
在宿主機(jī)Hypervisor(如Openstack Hypervisor)上安裝采集探針,以用戶態(tài)進(jìn)程形式獨(dú)立獲取虛擬交換機(jī)上的流量。該方案無需對生產(chǎn)平面的虛擬交換機(jī)進(jìn)行配置。
規(guī)劃網(wǎng)絡(luò)流量采集方案時(shí),現(xiàn)網(wǎng)中的流量模型、重點(diǎn)金融業(yè)務(wù)的流量特征是方案選擇的重要依據(jù);基礎(chǔ)特征包括IP資源的分配、流量、包長、協(xié)議、端口等,同時(shí)也需要考慮組合特征,尤其是可能出現(xiàn)的滲透、異常等因素。
金融混合云環(huán)境中,網(wǎng)絡(luò)規(guī)模宏大且資源池類型多樣,虛擬交換機(jī)采集點(diǎn)數(shù)量相比傳統(tǒng)監(jiān)控規(guī)模有幾個(gè)數(shù)量級的增長。單一的生產(chǎn)環(huán)境在金融企業(yè)中并不多見。在進(jìn)行流量采集部署時(shí),需要滿足平滑部署且保證業(yè)務(wù)不間斷,同時(shí)確保對計(jì)算資源和網(wǎng)絡(luò)帶寬的消耗限制。虛擬化及容器資源池動態(tài)性較強(qiáng),流量的采集和分發(fā)策略也要隨著資源的變化進(jìn)行實(shí)時(shí)跟隨或釋放。
對于金融業(yè)務(wù)的流量數(shù)據(jù)應(yīng)具備統(tǒng)一采集、按需分發(fā)消費(fèi)的能力,以降低監(jiān)控系統(tǒng)的資源開銷。
在構(gòu)建整體采集方案時(shí),金融企業(yè)應(yīng)充分考慮IT資源的多樣性,采集平臺應(yīng)該分階段進(jìn)行建設(shè),尤其要注意確保方案具備可擴(kuò)展和統(tǒng)一管理能力;平臺本身應(yīng)具備開放性,避免采集端與消費(fèi)端綁定,尤其要杜絕在現(xiàn)網(wǎng)中不斷部署垂直豎井式的采集系統(tǒng)。流量采集系統(tǒng)的部署要兼容傳統(tǒng)監(jiān)控方案或支持其無縫切換,并堅(jiān)持?jǐn)?shù)據(jù)開放性原則,提供高性能的數(shù)據(jù)服務(wù),對接已有的金融業(yè)務(wù)分析工具。
多數(shù)大型金融企業(yè)目前都存在多數(shù)據(jù)中心、混合云的IT設(shè)施資源,方案的挑戰(zhàn)在于資源池內(nèi)的網(wǎng)絡(luò)邊界——各類虛機(jī)交換機(jī)數(shù)量多、技術(shù)新、動態(tài)強(qiáng)。本方案的目標(biāo)是為金融混合云建立統(tǒng)一高效的網(wǎng)絡(luò)流量采集和分發(fā)平臺,為網(wǎng)絡(luò)運(yùn)營中心、安全運(yùn)營中心、大數(shù)據(jù)分析平臺等流量消費(fèi)端提供數(shù)據(jù)供給服務(wù)。
數(shù)據(jù)中心可按區(qū)域來定義,區(qū)域內(nèi)通常包含多個(gè)可用區(qū)。區(qū)域內(nèi)的網(wǎng)絡(luò)流量包含可用區(qū)內(nèi)的物理網(wǎng)絡(luò)流量和資源池內(nèi)的虛擬網(wǎng)絡(luò)流量。在物理網(wǎng)絡(luò)中,采集點(diǎn)通常由設(shè)備廠商的監(jiān)控方案實(shí)現(xiàn)。
DeepFlow?采集器可對接設(shè)備廠商方案的標(biāo)準(zhǔn)數(shù)據(jù)輸出。各類型號的DeepFlow?采集器為全網(wǎng)流量采集方案提供數(shù)據(jù)包捕獲能力;按部署方式分為VMwareESXi采集器、KVM采集器、KVM-DPDK采集器、HyperV采集器、容器OnVM采集器、容器OnHost采集器、Workload采集器等。
對于裸金屬設(shè)備資源池,可將網(wǎng)絡(luò)設(shè)備的端口鏡像至專屬采集服務(wù)器完成對流量的處理;亦可將采集器安裝在每一臺需要采集的裸金屬設(shè)備系統(tǒng)上。
由于采集器數(shù)量大、策略多,波動強(qiáng),需從控制面的設(shè)計(jì)入手,解決大規(guī)模及可管理性的問題。在多點(diǎn)部署時(shí),首先指定主區(qū)域,主控制器存于其中并開啟高可用,區(qū)域間通過專線網(wǎng)絡(luò)進(jìn)行控制通信。
在區(qū)域內(nèi)劃分多個(gè)可用區(qū)(AZ,AvailableZone),以可用區(qū)為單位、由單一控制器獨(dú)立管理可用區(qū)內(nèi)的全部采集器。多分支機(jī)構(gòu)可根據(jù)實(shí)際情況將其采集器納入附近區(qū)域的控制器管理。
單一DeepFlow?控制器可管理2000個(gè)采集器,控制器最大支持50臺規(guī)模,方案整體可滿足10萬節(jié)點(diǎn)。各類采集器具有自檢、運(yùn)行、停止、異常、保護(hù)等幾種標(biāo)準(zhǔn)狀態(tài),當(dāng)采集器壓力過大時(shí)控制器自動將其由“運(yùn)行”切換至“保護(hù)”狀態(tài)以確保不對生產(chǎn)環(huán)境產(chǎn)生影響,直至調(diào)整采集器資源配置或壓力下降后再自動切回“運(yùn)行”狀態(tài)。
包分發(fā)功能通過三層隧道實(shí)現(xiàn),控制器統(tǒng)一下發(fā)分發(fā)策略后由采集器端直接進(jìn)行數(shù)據(jù)包封裝和發(fā)送,支持單采集點(diǎn)數(shù)據(jù)包多目的端發(fā)送。企業(yè)可針對分發(fā)目的端是否具備解封裝能力可靈活定制隧道卸載方案。在金融混合云環(huán)境中,資源池多異構(gòu),需要考慮分發(fā)的網(wǎng)絡(luò)平面、盡量復(fù)用已有的網(wǎng)絡(luò);應(yīng)以分布式部署避免單點(diǎn)瓶頸,并充分適配邏輯網(wǎng)絡(luò)跨資源池的場景。
可在每個(gè)區(qū)域、可用區(qū)配置高性能時(shí)序數(shù)據(jù)庫,分支機(jī)構(gòu)的數(shù)據(jù)可通過壓縮后寫入納管區(qū)域內(nèi)的數(shù)據(jù)庫。對于非原始數(shù)據(jù)包的數(shù)據(jù)消費(fèi)需求,平臺提供開放的數(shù)據(jù)訂閱服務(wù),用戶可通過API、消息隊(duì)列方式調(diào)用。
整體方案主要涉及采集器、控制器、高性能時(shí)序數(shù)據(jù)庫三部分。在整體方案規(guī)劃下,可分階段、分區(qū)域、分資源池投入建設(shè),本方案所涉及的管理、監(jiān)控分發(fā)平面通??蓮?fù)用已有的網(wǎng)絡(luò)管理平面。
對于整體規(guī)劃的方案,建議設(shè)計(jì)獨(dú)立的網(wǎng)絡(luò)監(jiān)控平面。根據(jù)流量、資源情況整體規(guī)劃采集器的性能,DeepFlow?采集器最低可配置1vCPU、128M的計(jì)算資源。對于已經(jīng)在運(yùn)行的混合云場景,可在不影響生產(chǎn)環(huán)境運(yùn)行的情況下部署實(shí)施,最終構(gòu)建統(tǒng)一的全網(wǎng)流量監(jiān)控管理平臺。
不同于集中式后處理的方案,DeepFlow?采用云原生的分布式架構(gòu),采集器具備專利算法的前置計(jì)算能力,可在采集點(diǎn)對流量進(jìn)行本地化處理。眾多采集器和控制器共同構(gòu)建成一個(gè)與云網(wǎng)規(guī)模一致的流量處理系統(tǒng),大幅減少了分發(fā)數(shù)據(jù)對監(jiān)控網(wǎng)絡(luò)和后端分析工具的壓力。流量采集過程中的過濾策略支持更豐富的維度,除了五元組還包括業(yè)務(wù)、主機(jī)、服務(wù)、POD等條件。
此外DeepFlow?采集器還具備去重、截短、流日志、壓縮、標(biāo)記等能力,以最小資源消耗實(shí)現(xiàn)流量全局的精準(zhǔn)采集。
采集技術(shù)先進(jìn):全網(wǎng)采集方案主要圍繞DeepFlow?采集器技術(shù)實(shí)現(xiàn),采集器以進(jìn)程形態(tài)部署,最大程度上避免對現(xiàn)網(wǎng)的影響,同時(shí)在操作系統(tǒng)上繼承進(jìn)程級保護(hù)優(yōu)勢,整體更穩(wěn)定。
分布式處理系統(tǒng):DeepFlow?采集器采用分布式部署,采集器自身具備數(shù)據(jù)包處理能力,這設(shè)計(jì)巧妙地利用了云架構(gòu)的優(yōu)勢,避免了流量采集后的集中處理,大大提升了系統(tǒng)整體性能。
場景全、規(guī)模大:方案基于云原生設(shè)計(jì),涵蓋裸金屬、虛擬機(jī)、容器、公有云資源池等多種異構(gòu)系統(tǒng)場景,整體系統(tǒng)可滿足10萬臺節(jié)點(diǎn)的需求。
可管理性:平臺主控制器具備對所有采集器的監(jiān)控和管理能力。通過對接云平臺使得操作貼近資源池特性,針對云資源的遷移、回收、重新部署等場景做到了實(shí)時(shí)策略跟隨,保障采集能力在動態(tài)環(huán)境下的連續(xù)性。
數(shù)據(jù)服務(wù)化:高性能網(wǎng)絡(luò)時(shí)序數(shù)據(jù)庫可提供統(tǒng)一和強(qiáng)大的數(shù)據(jù)訂閱服務(wù),將網(wǎng)絡(luò)數(shù)據(jù)采集能力服務(wù)化的同時(shí),提高了后端業(yè)務(wù)分析工具的效率。
DeepFlow?混合云全網(wǎng)監(jiān)控流量采集與分發(fā)解決方案為企業(yè)在混合云、云原生等新型IT基礎(chǔ)設(shè)施環(huán)境演進(jìn)過程中,提供完整地、可持續(xù)的平臺級監(jiān)控流量管理,避免重復(fù)投入,重復(fù)安裝,解決實(shí)際網(wǎng)絡(luò)監(jiān)管難題,也為企業(yè)規(guī)劃整體運(yùn)維、安全平臺補(bǔ)齊現(xiàn)網(wǎng)流量、流日志這一板塊。本方案已應(yīng)用于金融、運(yùn)營商等客戶IT環(huán)境中。
獲取完整解決方案
免責(zé)聲明:本文內(nèi)容由21ic獲得授權(quán)后發(fā)布,版權(quán)歸原作者所有,本平臺僅提供信息存儲服務(wù)。文章僅代表作者個(gè)人觀點(diǎn),不代表本平臺立場,如有問題,請聯(lián)系我們,謝謝!