互聯(lián)網(wǎng)業(yè)務流量監(jiān)測技術(shù)的應用和設計

    NetFlow記錄的流包含了豐富的信息，非常適合于網(wǎng)絡性能分析。NetFlow不需要其他硬件流量設備的支持，開啟和關(guān)閉都非常方便，因此在國外已有很多運營商用它來收集流量，服務于網(wǎng)絡規(guī)劃、設計和優(yōu)化等領域。但開啟NetFlow需要消耗一定的路由器資源（CPU和內(nèi)存）。

    根據(jù)NetFlow的特點，該技術(shù)非常適用于大型網(wǎng)絡。NetFlow采集實施成本較低、安裝方便，而且不受速率的限制，是目前運營商流量監(jiān)測的首選技術(shù)。

    采集到的NetFlow數(shù)據(jù)，結(jié)合邊界網(wǎng)關(guān)協(xié)議（BGP）路由信息，可以更加精確地分析路由信息和互聯(lián)流量的自治域（AS）屬性。

2.2　流量采集對業(yè)務網(wǎng)絡的影響評估

2.2.1　帶寬占用

    采用NetFlow方案不要求處理從某個接口接受到的每個數(shù)據(jù)包，用來對被監(jiān)控路由器進行流量分析的數(shù)據(jù)來自采集到的NetFlow數(shù)據(jù)，從路由器送出的非采樣NetFlow數(shù)據(jù)不到流經(jīng)該路由器數(shù)據(jù)量的1%，使用采樣NetFlow時數(shù)據(jù)更為大大減少。根據(jù)計算，在采樣率為1000：1時，對10Gbit/s的流量進行NetFlow分析，只產(chǎn)生1.3Mbit/s的流量。因此，NetFlow產(chǎn)生的這部分流量對于骨干網(wǎng)的帶寬占用很少。

2.2.2　路由器性能消耗

    利用NetFlow技術(shù)實現(xiàn)流量監(jiān)測需要路由器開啟NetFlow協(xié)議以配合采集數(shù)據(jù)，因此會對路由器的CPU造成一定的負擔。Cisco公司和Juniper公司等路由器廠家都針對這些問題作了詳細的研究。不同的產(chǎn)品系列和NetFlow協(xié)議是否經(jīng)過采樣等，對CPU的影響程度也不同。

    根據(jù)Cisco公司的“NetFlow Performance Analysis”白皮書，在非采樣方式下，路由器開啟NetFlow后，其CPU使用狀況如下：

a）如果有10 000條同時在線的Flow，則路由器的CPU使用率平均增加7.14%；

b）如果有45 000條同時在線的Flow，則路由器的CPU使用率平均增加19.16%；

c）如果有65 000條同時在線的Flow，則路由器的CPU使用率平均增加22.98%。

    這些數(shù)據(jù)是基于不同的產(chǎn)品系列進行測試的平均值。

    在采樣方式下開啟NetFlow對路由器的CPU影響會更小。根據(jù)Cisco公司的資料顯示，12000系列的路由器在非采樣方式下需要增加23.5%的CPU使用率來處理65 000條Flow，而在采用100:1的采樣率時CPU使用率僅增加3%。在不同的采樣率下，CPU的負擔增加程度也不同。

    路由器上不同類型的線卡對NetFlow的支持情況也有所不同。仍以Cisco公司路由器為例，Engine 3和Engine 4+的線卡是采用專門的硬件來處理NetFlow數(shù)據(jù)，開啟NetFlow對路由器性能影響較小；而通常認為Engine 2的線卡開啟NetFlow對路由器性能的影響相對較大。

2.3　NetFlow采樣率的設定

    在采樣方式下，路由器按照一定的采樣率采集NetFlow數(shù)據(jù)，流量分析系統(tǒng)接收NetFlow數(shù)據(jù)對網(wǎng)絡的流量進行計算和分析，因此路由器的采樣率在很大程度上決定了分析結(jié)果的準確性。如果路由器設定的采樣率過高（如1000:1或更高），流量分析的誤差將加大，尤其對小Flow或混雜在大流量中的部分關(guān)鍵的小Flow的分析，更容易產(chǎn)生比較大的誤差。

    在路由器上開啟NetFlow會消耗一些設備資源，特別是需要占用一些CPU和Memory等重要資源，而且采樣率越低，對資源的占用越大。如果設置過低的NetFlow采樣率會對路由器的性能帶來較大的影響。因此，應根據(jù)路由器上需要打開的NetFlow功能板卡的主要類型，并結(jié)合設備上開通的電路的流量情況靈活地設置路由器的NetFlow采樣率，包括100:1、500:1、1 000:1和3 000:1等。

2.4　流量采集點的設置

    為了實現(xiàn)對所監(jiān)測網(wǎng)內(nèi)的所有流量進行分析，首先需要合理地設置流量采集點。采集點的設置非常關(guān)鍵，直接影響到系統(tǒng)能否準確地對流量進行全面分析。下面主要針對運營商網(wǎng)絡優(yōu)化應用提出采集點設置建議方案。

    由于主要是實現(xiàn)對運營商網(wǎng)絡的優(yōu)化，所以不一定需要對網(wǎng)絡中傳送的所有流量數(shù)據(jù)進行100%的監(jiān)測。為減少對網(wǎng)絡設備的資源占用，降低對系統(tǒng)的容量要求，可以選用數(shù)據(jù)包抽樣的NetFlow數(shù)據(jù)采集方式，對網(wǎng)絡中的所有流量進行統(tǒng)計。

    通常情況下，運營商網(wǎng)絡結(jié)構(gòu)包括核心層和邊緣層兩個層次，網(wǎng)絡流量通過邊緣層的路由器匯接進入核心層，由核心層的路由器進行轉(zhuǎn)接。而NetFlow技術(shù)只能對端口的流入流量進行分析，因此，流量采集點的設置主要有兩種方案可供選擇：

a）方案一：采集點設置在網(wǎng)絡的核心層，核心層路由器之間的互聯(lián)端口不需要開啟NetFlow，核心節(jié)點路由器對外的互聯(lián)端口開啟NetFlow流入流量采集。

    該方案的優(yōu)點是被采集的路由器數(shù)量少，因此管理比較簡單，配置工作量比較小；缺點是采集端口集中在核心層路由器上，增加了核心層路由器的負擔，對業(yè)務網(wǎng)絡的影響較大。

b）方案二：采集點設置在網(wǎng)絡的邊緣層，邊緣層路由器對外的互聯(lián)端口開啟NetFlow流入流量采集，對從其他AS進入到網(wǎng)內(nèi)的流量進行分析。

    該方案的優(yōu)點是采集端口分散在邊緣層的多臺路由器上，相應地減少了單臺路由器上的采集數(shù)據(jù)量和因流量采集而增加的負擔，降低了開啟NetFlow對業(yè)務網(wǎng)絡的影響；缺點是被采集的路由器數(shù)量較多，管理的復雜程度和配置工作量都相應加大，而且這種方案需要將采集的NetFlow數(shù)據(jù)從邊緣層的路由器傳送到集中設置的采集機，會在網(wǎng)內(nèi)增加一定的流量而占用網(wǎng)絡帶寬。

    在實際應用中，流量采集點的設置應根據(jù)網(wǎng)絡的具體情況和管理要求來選擇合適的方案。

圖3為運營商網(wǎng)絡優(yōu)化時的流量采集點設置示意圖。

                                圖3　運營商網(wǎng)絡優(yōu)化流量采集點設置示意圖

2.5　系統(tǒng)組織方案

    流量分析系統(tǒng)由采集機和分析服務器組成。被采集的路由器將NetFlow數(shù)據(jù)包發(fā)往NetFlow流量采集機，采集機將采集到的NetFlow數(shù)據(jù)送到分析服務器進行分析。被采集的路由器分布在全網(wǎng)各個節(jié)點，當系統(tǒng)規(guī)模較大時，需要配置多臺采集機和分析服務器。采集機和分析服務器的部署有以下兩種方案。

a）方案一：將采集機分別部署在各個核心節(jié)點，每個核心節(jié)點的采集機負責采集連接至該核心節(jié)點的路由器；分析服務器集中部署在網(wǎng)管中心。該方案采集機通過以太網(wǎng)接口接入核心路由器或與核心路由器連接的局域網(wǎng)交換機，實現(xiàn)與被采集路由器的互通。利用用戶數(shù)據(jù)報協(xié)議（UDP）從被采集路由器上的端口采集NetFlow數(shù)據(jù)，再通過IP網(wǎng)絡傳送到分析服務器，由分析服務器進行數(shù)據(jù)匯總和分析處理，如圖4所示。

                                   圖4　流量分析系統(tǒng)組織方案一示意圖

 
    該方案的優(yōu)點是，在至分析服務器的IP網(wǎng)絡連接出現(xiàn)突發(fā)故障時，可以充分利用采集機的存儲能力，暫存NetFlow數(shù)據(jù)，待網(wǎng)絡連接恢復時，再向分析服務器傳送；這種分布式的部署方案還可以避免單點出現(xiàn)故障時導致全網(wǎng)流量無法采集，而且采集機還可以進行一些預處理工作，減輕分析服務器的壓力。缺點是每個核心節(jié)點都需要配備一套采集機，設備的綜合利用率不夠高，管理和維護不夠集中。

b）方案二：采集機和分析服務器集中部署，由多臺采集機共同負責采集全網(wǎng)內(nèi)的路由器。該方案采集機通過以太網(wǎng)接口接入網(wǎng)管中心，實現(xiàn)與全網(wǎng)內(nèi)被采集路由器的互通，采集機利用UDP通過IP網(wǎng)絡從各節(jié)點被采集路由器上的端口采集NetFlow數(shù)據(jù)，再通過局域網(wǎng)傳送到分析服務器，由分析服務器進行數(shù)據(jù)匯總和分析處理，如圖5所示。            

                                     圖5　流量分析系統(tǒng)組織方案二示意圖

    該方案的優(yōu)點是，流量分析系統(tǒng)設備集中部署，便于統(tǒng)一管理和統(tǒng)一維護，也提高了設備的利用率；缺點是如果IP網(wǎng)絡不穩(wěn)定或發(fā)生故障時，路由器的NetFlow數(shù)據(jù)將不能傳送到網(wǎng)管中心，處理不當可能造成NetFlow數(shù)據(jù)的丟失。

    實際部署時應根據(jù)具體的要求來選擇合適的系統(tǒng)組織方案。

2.6　系統(tǒng)處理能力估算模型的分析

2.6.1　計算數(shù)據(jù)的取定

    首先取定以下計算數(shù)據(jù)：

a）一個NetFlow V5輸出數(shù)據(jù)包的包長為1 500 Byte；

b）一個NetFlow V5輸出數(shù)據(jù)包中包括的Flow的數(shù)量為30；

c）網(wǎng)絡流量中數(shù)據(jù)包的平均包長為384 Byte；

d）采樣率：500:1

    其中，NetFlow V5輸出數(shù)據(jù)包的包長及其包括的Flow的數(shù)量是確定的，而網(wǎng)絡流量中數(shù)據(jù)包的平均包長、采樣率則需要根據(jù)具體的網(wǎng)絡狀況進行取定。

2.6.2　系統(tǒng)處理能力

    流量分析系統(tǒng)實現(xiàn)對NetFlow數(shù)據(jù)的采集和分析處理，本文采用“每秒處理Flow數(shù)”來衡量系統(tǒng)的處理能力。

    在估算系統(tǒng)處理能力時，首先要計算系統(tǒng)需要分析的流量大?。℅bit/s），然后根據(jù)前面已經(jīng)取定的計算數(shù)據(jù)，系統(tǒng)每秒需要進行處理的Flow數(shù)量為：（系統(tǒng)需要分析的流量大小×1024×1024×1024）/（500×384×8）

2.6.3　流量數(shù)據(jù)采集帶寬

    采集NetFlow數(shù)據(jù)需要占用一定的網(wǎng)絡帶寬。

    計算出系統(tǒng)每秒需要進行處理的Flow數(shù)量之后，就可以計算出采集NetFlow數(shù)據(jù)需要的網(wǎng)絡帶寬（Mbit/s）最大為：（系統(tǒng)每秒需要進行處理的Flow數(shù)量/30）×1500×8/1024/1024

3、應用價值與前景

    NetFlow是Cisco公司的IOS軟件的一部分，其當前的版本9目前正在由IETF以IPFIX的名稱進行標準化。除Cisco公司外的廠商，如Enterasys公司和Juniper公司等，也在該標準形成的過程中發(fā)揮著積極的作用，并已表示有興趣采用IPFIX，這就使得NetFlow/IPFIX更具吸引力了。

    但NetFlow技術(shù)也有一定的局限性，比如它無法提供應用的反應時間?？紤]到不斷增長的動態(tài)端口分配趨勢，NetFlow在根據(jù)端口特征識別應用方面的能力也還需要提高。

    隨著流量監(jiān)測技術(shù)的不斷改進和完善，互聯(lián)網(wǎng)業(yè)務流量監(jiān)測系統(tǒng)必將為提高寬帶互聯(lián)網(wǎng)絡業(yè)務的服務質(zhì)量和管理水平發(fā)揮更為重要的作用。