千兆以太網(wǎng)交換芯片BCM5690及其在交換整機(jī)中的應(yīng)用

   摘要：BCM5690是BroadCOM公司推出的集成有12個(gè)千兆端口和１個(gè)萬(wàn)兆端口的多層交換芯片。文章比較全面地介紹了該芯片的結(jié)構(gòu)和功能特性，給出了它的訪問(wèn)控制方式和數(shù)據(jù)流程，同時(shí)給出了用ＢＣＭ５６９０設(shè)計(jì)交換整機(jī)的硬件結(jié)構(gòu)和軟件實(shí)現(xiàn)方法。

    關(guān)鍵詞：千兆以太網(wǎng)；BCM5690；堆疊；數(shù)據(jù)流程

目前，萬(wàn)兆芯片技術(shù)不斷取得新的發(fā)展，尤其在“真”萬(wàn)兆的問(wèn)題上，只有擁有更先進(jìn)的芯片，設(shè)備廠商才能夠在芯片功能與特性的基礎(chǔ)上開(kāi)發(fā)自身的交換機(jī)體系架構(gòu)。雖然Ｂｒｏａｄｃｏｍ、Ｉｎｔｅｌ、Ｍａｒｖｅｌｌ、美國(guó)國(guó)家半導(dǎo)體（ＮＳ）、英飛凌（Ｉｎｆｉｎｅｏｎ）和意法半導(dǎo)體（ＳＴＭｉｃｒｏ ｅｌｅｃｔｒｏｎｉｃｓ）都推出了最新的千兆以太網(wǎng)芯片產(chǎn)品。但萬(wàn)兆芯片的發(fā)展無(wú)疑會(huì)從硬件與架構(gòu)層面來(lái)加快萬(wàn)兆產(chǎn)品的發(fā)展速度。

為此， ＢｒｏａｄＣＯＭ公司開(kāi)發(fā)了ＢＣＭ５６９０（１２＋１）單芯片交換方案。該集成電路芯片集成了１２個(gè)千兆端口和１個(gè)萬(wàn)兆端口，是一款功能比較強(qiáng)大和全面的三層千兆以太網(wǎng)交換芯片。文中將詳細(xì)介紹ＢＣＭ５６９０芯片的功能特性以及基于該芯片的交換機(jī)實(shí)現(xiàn)方法。

１ ＢＣＭ５６９０芯片簡(jiǎn)介

１．１ ＢＣＭ５６９０芯片結(jié)構(gòu)

ＢＣＭ５６９０是芯片提供有１２個(gè)ＧＥ接口（千兆端口）和１個(gè)ＨｉＧｉｇ接口（內(nèi)聯(lián)端口），并具有堆疊功能。器件的端口采用ＰＣＩ接口進(jìn)行管理。其結(jié)構(gòu)框圖如圖１所示。

    由圖１可以看出：ＢＣＭ５６９０芯片由以下一些主要功能模塊組成：

（１）ＧＩＧＡ接口控制器ＧＰＩＣ：用于提供ＧＥ口與交換邏輯之間的接口。

（２）內(nèi)聯(lián)端口（ＨｉＧｉｇ）控制器ＩＰＩＣ：主要提供ＨｉＧｉｇ口與內(nèi)部交換邏輯之間的接口，有時(shí)也被用于多片ＢＣＭ５６９０之間的堆疊操作。

（３） ＣＰＵ管理接口ＣＭＩＣ：主要提供ＣＰＵ與ＢＣＭ５６９０設(shè)備不同功能塊之間的接口，同時(shí)也用于諸如ＭＩＩＭ、Ｉ２Ｃ和燈的處理等功能。該模塊通過(guò)ＰＣＩ接口與ＣＰＵ相聯(lián)，可使ＣＰＵ訪問(wèn)和控制ＢＣＭ５６９０，而ＤＭＡ引擎則支持?jǐn)?shù)據(jù)從ＣＰＵ傳向ＢＣＭ５６９０或從ＢＣＭ５６９０傳向ＣＰＵ。

（４） 地址解析邏輯ＡＲＬ：該邏輯功能模塊可在數(shù)據(jù)包的基礎(chǔ)上確定該數(shù)據(jù)包的轉(zhuǎn)發(fā)策略。它利用二層表（Ｌ２＿ＴＡＢＬＥ）、二層組播表?Ｌ２ＭＣ ＴＡＢＬＥ?、三層表（Ｌ３＿ＴＡＢＬＥ）、三層最長(zhǎng)前綴匹配表（ＤＥＦ＿ＩＰ＿ＨＩ和ＤＥＦ＿ＩＰ＿ＬＯ）、三層接口表?Ｌ３－ＩＮＴＦ?、ＩＰ組播表（Ｌ３＿ＩＰＭＣ）、ＶＬＡＮ表（ＶＬＡＮ）以及ｓｐａｎｎｉｎｇ ｔｒｅｅ Ｇｒｏｕｐ表（ＶＬＡＮ＿ＳＴＡＧ）來(lái)決定如何轉(zhuǎn)發(fā)數(shù)據(jù)包。

（５） 公共緩沖池ＣＢＰ?ＣＢＰ實(shí)際上是１ＭＢ共享的包緩沖區(qū)。ＣＢＰ由８１９２（８Ｋ）個(gè)單元組成，每個(gè)單元１２８字節(jié)。設(shè)備里的每個(gè)數(shù)據(jù)包消耗一至多個(gè)單元。

（６）內(nèi)存管理單元ＭＭＵ：ＢＣＭ５６９０有一個(gè)單獨(dú)的內(nèi)存管理單元。每個(gè)ＭＭＵ與設(shè)備的功能塊（ＧＰＩＣ、ＩＰＩＣ等）相關(guān)聯(lián)。ＭＭＵ負(fù)責(zé)數(shù)據(jù)包的緩沖和調(diào)度。它首先接收數(shù)據(jù)包，然后再將數(shù)據(jù)包緩沖，并在發(fā)送時(shí)加以調(diào)度，同時(shí)它還管理交換單元的流控特性。概括來(lái)說(shuō)，就是緩沖邏輯、調(diào)度邏輯、流控邏輯。緩沖邏輯從ＣＰ－ＢＵＳ接收包并存放在ＣＢＰ，同樣也從ＣＢＰ獲取包并將它們發(fā)送到ＣＰ－ＢＵＳ上去。包的發(fā)送順序由調(diào)度邏輯根據(jù)包的優(yōu)先級(jí)別確定。流控邏輯包括Ｈｅａｄ－ｏｆ－Ｌｉｎｅ?ＨＯＬ?阻塞預(yù)防和Ｂａｃｋｐｒｅｓｓｕｒｅ兩種方式。

    這些功能模塊之間可通過(guò)兩條內(nèi)部總線聯(lián)系起來(lái)：ＣＰ－Ｂｕｓ（圖１粗黑線所示）、Ｓ－Ｃｈａｎｎｅｌ Ｂｕｓ?圖１細(xì)黑線所示?。其中ＣＰ－Ｂｕｓ用于芯片內(nèi)數(shù)據(jù)包的高速傳輸，它支持所有端口的同時(shí)線速轉(zhuǎn)發(fā)。而Ｓ－Ｃｈａｎｎｅｌ Ｂｕｓ則有兩個(gè)作用：第一是用于ＭＭＵ到其它功能塊的流控；第二是通過(guò)ＣＭＩＣ利用軟件控制來(lái)訪問(wèn)內(nèi)部寄存器和表。

１．２ ＢＣＭ５６９０芯片特性及功能介紹

Ｂｒｏａｄｃｏｍ公司ＸＧＳ系列芯片的重要特性是具有堆疊功能，該功能可以將多個(gè)交換芯片組合在一起，以形成一個(gè)更大規(guī)模的系統(tǒng)，或者將多個(gè)帶交換芯片的系統(tǒng)組合在一起形成一個(gè)完整的系統(tǒng)設(shè)備。這種功能最多可以實(shí)現(xiàn)３０個(gè)設(shè)備的堆疊。

ＢＣＭ５６９０能夠通過(guò)Ｈｉ－Ｇｉｇ和ＧＩＧＡ來(lái)擴(kuò)展系統(tǒng)容量。它有四種模式，其中ｃａｓｃａｄｅ模式通過(guò)Ｈｉ－Ｇｉｇ口單向互聯(lián)來(lái)形成(環(huán)行組網(wǎng))；而全雙工堆疊模式則通過(guò)ＢＣＭ５６９０的Ｈｉ－Ｇｉｇ口雙向地與ＢＣＭ５６７Ｘ相連來(lái)擴(kuò)展容量(環(huán)形組網(wǎng))；第三是ｃｈａｓｓｉｓ模式，該模式是將Ｈｉ－Ｇｉｇ通過(guò)背板互連形成（星形組網(wǎng)）?？蓪?shí)現(xiàn)冗余備份和逐級(jí)交換，不需中轉(zhuǎn)，且效率比環(huán)行組網(wǎng)高；最后是ＳＬ形式的堆疊，它通過(guò)ＧＩＧＡ口來(lái)互連ＢＣＭ５６９０。圖２所示為ＢＣＭ５６９０的邏輯框圖。

ＢＣＭ５６９０是一款千兆以太網(wǎng)交換芯片，它支持二層交換、三層路由以及第２～７層數(shù)據(jù)包的分類(lèi)和過(guò)濾等。

地址解析邏輯是ＢＣＭ５６９０集成電路芯片的中心部件?ＧＰＩＣ的入口邏輯用它來(lái)決定單個(gè)包的轉(zhuǎn)發(fā)方向。

ＢＣＭ５６９０集成電路芯片中的快速過(guò)濾處理器（ＦＦＰ）是一個(gè)通過(guò)第２～７層數(shù)據(jù)包進(jìn)行分類(lèi)和過(guò)濾的引擎。每個(gè)ＧＥ口各有一個(gè)ＦＦＰ來(lái)負(fù)責(zé)包的分類(lèi)和更新。ＦＦＰ可以通過(guò)配置寄存器ＧＩＭＡＳＫ和ＧＩＲ-ＵＬＥ來(lái)改變符合條件的數(shù)據(jù)包特性?其中ＧＩＭＡＳＫ用于配置匹配選項(xiàng)，ＧＩＲＵＬＥ用于產(chǎn)生操作命令。對(duì)于每個(gè)數(shù)據(jù)包來(lái)說(shuō)，最多可以改變１６個(gè)匹配特性。如果同時(shí)有多個(gè)特性符合匹配條件，則在ＧＩＭＡＳＫ里處于高位的優(yōu)先配置。

對(duì)于包的緩沖和流控，ＢＣＭ５６９０還集成了１ＭＢ的數(shù)據(jù)包緩沖區(qū)ＣＢＰ，這個(gè)緩沖區(qū)可為所有端口共用。

ＢＣＭ５６９０中的寄存器ＭＩＲＲＯＲ＿ＣＯＮＴＲＯＬ和ＩＭＩＲＲＯＲ＿ＣＯＮＴＲＯＬ用來(lái)設(shè)置被鏡像端口與鏡像端口，兩個(gè)寄存器的內(nèi)容應(yīng)保持一致。它支持本芯片內(nèi)的鏡像。

ＢＣＭ５６９０集成電路芯片中的鏈路聚合（ｔｒｕｎｋ）最大可支持８端口的Ｔｒｕｎｋｉｎｇ，共３２組Ｔｒｕｎｋ，并可進(jìn)行跨芯片的端口Ｔｒｕｎｋ。另外，ＢＣＭ５６９０還支持速度高達(dá) ６６ＭＨｚ的ＰＣＩ接口，并可對(duì)所有數(shù)據(jù)包的線速交換以及ＲＭＯＮ、ＳＮＭＰ、ＳＴＰ和Ｒａｐｉｄ ＳＴＰ提供支持。

２ 訪問(wèn)控制方式及數(shù)據(jù)流程

２．１ 訪問(wèn)控制方式

ＢＣＭ５６９０支持一系列符合ＰＣＩ標(biāo)準(zhǔn)的寄存器?這些寄存器允許對(duì)設(shè)備再分配?ＭＯＤＩＤ?、地址空間的自動(dòng)配置和再映射。ＣＰＵ對(duì)ＢＣＭ５６９０的控制都是通過(guò)訪問(wèn)ＰＣＩ寄存器來(lái)實(shí)現(xiàn)的。ＢＣＭ５６９０的寄存器分為直接訪問(wèn)和非直接訪問(wèn)兩種?？芍苯釉L問(wèn)的寄存器映射到ＰＣＩ的內(nèi)存空間?這些寄存器相對(duì)于ＰＣＩ控制寄存器有一個(gè)固定的地址偏移。上電初始化期間，系統(tǒng)自動(dòng)配置每個(gè)ＰＣＩ設(shè)備的基地址及地址范圍，以便能夠唯一地訪問(wèn)每一個(gè)ＰＣＩ設(shè)備中的寄存器。ＢＣＭ５６９０的訪問(wèn)機(jī)制分為三個(gè)類(lèi)型：一是ＰＣＩ配置空間；二是ＰＣＩ ｍｅｍｏｒｙ 映射的Ｉ／Ｏ，比如通過(guò)ＰＣＩ設(shè)備對(duì)ＤＭＡ、ＭＩＩＭ和Ｉ２Ｃ的控制；第三是消息機(jī)制。

２．２ 數(shù)據(jù)流程

所有的數(shù)據(jù)流通過(guò)交換芯片都要經(jīng)過(guò)輸入部分(Ｉｎｇｒｅｓｓ)、內(nèi)存管理單元(ＭＭＵ)和輸出部分（Ｅｇｒｅｓｓ）這三個(gè)流程。其數(shù)據(jù)流程如圖３所示。

Ｉｎｇｒｅｓｓ（輸入邏輯）是數(shù)據(jù)包在每端口上的邏輯流程。每端口都有自己的輸入邏輯，輸入邏輯負(fù)責(zé)所有包的轉(zhuǎn)發(fā)（交換）策略，決定將包送給哪個(gè)端口，根據(jù)轉(zhuǎn)發(fā)信息將數(shù)據(jù)包發(fā)送給ＭＭＵ，進(jìn)行緩沖和調(diào)度，并以線速對(duì)包進(jìn)行處理。輸入邏輯與大部分交換功能關(guān)聯(lián)。

ＭＭＵ（內(nèi)存管理單元）主要負(fù)責(zé)數(shù)據(jù)包的緩沖與調(diào)度，它接收從輸入邏輯過(guò)來(lái)的數(shù)據(jù)包并緩沖這些包，同時(shí)對(duì)這些包進(jìn)行調(diào)度并將它們送給輸出邏輯。數(shù)據(jù)包進(jìn)入ＭＭＵ時(shí)將存儲(chǔ)在ＣＢＰ里。ＣＢＰ有１ＭＢ的大小供所有端口共用。ＭＭＵ主要有四部分功能：資源計(jì)數(shù)、背壓、ＨＯＬ預(yù)防機(jī)制、調(diào)度。其中資源計(jì)數(shù)主要是統(tǒng)計(jì)當(dāng)前消耗的ＣＢＰ單元數(shù)或ＣＢＰ數(shù)據(jù)包個(gè)數(shù)，決定數(shù)據(jù)包什么時(shí)候進(jìn)入背壓或ＨＯＬ預(yù)防；調(diào)度則是根據(jù)優(yōu)先級(jí)和ＣＯＳ的四種調(diào)度準(zhǔn)則來(lái)確定包發(fā)送的先后順序和權(quán)重。

Ｅｇｒｅｓｓ（輸出邏輯）主要從ＭＭＵ獲取數(shù)據(jù)包并將其送入各個(gè)端口，這是整個(gè)流程中最簡(jiǎn)單的一環(huán)。它先將包發(fā)給輸出端口，然后確定是否在發(fā)送的數(shù)據(jù)包上添加ｔａｇ。具體流程如下：首先從ＭＭＵ請(qǐng)求數(shù)據(jù)包，如果發(fā)送的包要求不帶ｔａｇ，則負(fù)責(zé)將ｔａｇ去掉；然后計(jì)算數(shù)據(jù)包的ＣＲＣ；最后將包交給ＭＡＣ發(fā)送（特殊情況下，ＣＭＩＣ將直接把數(shù)據(jù)包以ＤＭＡ方式發(fā)送給ＣＰＵ）。

３　基于ＢＣＭ５６９０的交換整機(jī)設(shè)計(jì)

３．１ 硬件實(shí)現(xiàn)

筆者在設(shè)計(jì)中采用了兩片ＢＣＭ５６９０和四片ＢＣＭ５４６４，外加四個(gè)ＳＦＰ接口的千兆光接口來(lái)實(shí)現(xiàn)１６端口的１０／１００／１０００Ｍ的電口和４個(gè)千兆光口的交換整機(jī)。ＢＣＭ５４６４是ＢｒｏａｄＣｏｍ的四端口的千兆ＰＨＹ。

圖４是該交換整機(jī)的主控板硬件結(jié)構(gòu)，其硬件電路由交換單元、物理接口單元、ＲＪ４５和燈接口單元、光接口單元、控制單元、ＣＰＵ連接器單元、時(shí)鐘單元、電源單元組成。其中交換單元選用了兩片ＢＣＭ５６９０，它們之間通過(guò)Ｈｉ－Ｇｉｇ口背靠背連接實(shí)現(xiàn)通信，帶有與其它大部分單元的接口。每片ＢＣＭ５６９０通過(guò)ＰＣＩ接口與ＣＰＵ連接器相連,主要用來(lái)與ＣＰＵ通信以實(shí)現(xiàn)對(duì)芯片的管理。

圖４所示電路中的ＣＰＵ采用Ｍｏｔｏｒｏｌａ公司的ＰＰＣ８２４０，主要負(fù)責(zé)整個(gè)系統(tǒng)的運(yùn)轉(zhuǎn)調(diào)度。１２個(gè)電口通過(guò)背板總線與各個(gè)線卡相連，以實(shí)現(xiàn)各線卡的上聯(lián)功能。當(dāng)主控板單獨(dú)作為一個(gè)獨(dú)立的三層交換機(jī)時(shí)，它將同時(shí)作為與其它三層設(shè)備互聯(lián)的接口。４個(gè)千兆光接口與本設(shè)備上聯(lián)可擴(kuò)展以太網(wǎng)的傳輸距離。

本系統(tǒng)使用了兩個(gè)背靠背連接的ＢＣＭ５６９０來(lái)進(jìn)行設(shè)計(jì)，這樣可將該系統(tǒng)歸為ｃａｓｃａｄｅ模式。在堆疊完成之后，通過(guò)在堆疊口的以太網(wǎng)包首部加上頭信息，可使芯片與芯片之間、系統(tǒng)與系統(tǒng)之間通過(guò)Ｂｒｏａｄｃｏｍ專(zhuān)有的通信協(xié)議來(lái)實(shí)現(xiàn)相互之間的信息傳輸，從而實(shí)現(xiàn)數(shù)據(jù)包在不同芯片、不同系統(tǒng)之間的轉(zhuǎn)發(fā)。

另外，還可以通過(guò)設(shè)置ＩＰＩＣ ＣＯＮＦＩＧ 寄存器(ＩＰＩＣ＿ＣＡＳＣＡＤＥ, ＭＹ＿ＭＯＤＩＤ)、ＭＯＤＰＯＲＴ表和Ｇｉｇａ ｂｉｔ端口ＣＯＮＦＩＧ寄存器來(lái)對(duì)堆疊進(jìn)行配置。

３．２ 軟件實(shí)現(xiàn)

ａ．初始化流程

在設(shè)計(jì)軟件模塊的初始化流程時(shí)，首先是頭模式的設(shè)置，由于ＢＣＭ５６９０固定工作在小頭?ｌｉｔｔｌｅ＿ｅｎｄｉａｎ?模式，而ＰＰＣ８２４０工作在大頭模式，因此需要對(duì)頭模式進(jìn)行設(shè)置；接下來(lái)是查找ＰＣＩ設(shè)備，以獲取各個(gè)ＰＣＩ設(shè)備的設(shè)備號(hào)以及各自的基地址；之后應(yīng)對(duì)堆疊模式進(jìn)行設(shè)置，以便兩片ＢＣＭ５６９０之間的二層表內(nèi)容能夠互通；最后是基本交換功能和ＤＭＡ通道的配置。

ｂ．軟件結(jié)構(gòu)

圖５是筆者設(shè)計(jì)的軟件結(jié)構(gòu)簡(jiǎn)圖。其中涉及驅(qū)動(dòng)程序和驅(qū)動(dòng)程序封裝的是ＳＡＬ層、Ｄｒｉｖｅｒ?qū)雍停拢茫蛯?。ＳＡＬ層可?duì)操作系統(tǒng)與驅(qū)動(dòng)層進(jìn)行隔離，可提供ＰＣＩ中斷以及ＰＣＩ設(shè)備的查找、線程、中斷、同步和內(nèi)存管理。Ｄｒｉｖｅｒ?qū)影ǎ拢茫停担叮梗凹拇嫫鞯脑L問(wèn)方式實(shí)現(xiàn)、表的初始化、內(nèi)存初始化、芯片堆疊模式的設(shè)置、Ｌ２和Ｌ３地址的操作與查找、數(shù)據(jù)包的發(fā)送／接收以及端口的管理等。