轉向32GT/s PCI Express設計所面臨的挑戰(zhàn)
在計算和網(wǎng)絡應用中采用PCI Express® (PCIe) 接口非常普遍,這些應用包括中央處理器(CPU)、圖形處理器(GPU)、網(wǎng)絡接口卡(NIC)、交換機、服務器以及諸如固態(tài)設備(SSD)之類更 新型的存儲系統(tǒng),等等。然而,當今的網(wǎng)絡和快速興起的人工智能(AI)應用均要求在加速器 和GPU中采用更大的帶寬以及更快的互連,以便發(fā)送和接收更大量的數(shù)據(jù)。
鑒于PCIe在此類應用中的廣泛使用以及越來越大的帶寬需求,PCI-SIG產(chǎn)業(yè)聯(lián)盟最近宣布了最新規(guī)范PCIe 5.0,它把數(shù)據(jù)速率提高到32GT/s,并使鏈路帶寬增加一倍,從64GB/s 提高到128GB/s。 圖1顯示了PCIe 互連和總帶寬的演變。
圖1:PCI-SIG帶寬增長
PCIe 5.0規(guī)范主要處理速度提升以及相關物理層(PHY層)的修改。然而,轉向32GT/s設計時,將會帶 來 系統(tǒng)設計人員及PHY設計人員都必須考慮的幾項挑戰(zhàn)。本文描述了轉向32GT/s速度的PCIe設計所面臨的挑戰(zhàn),以及設計人員如何能夠利用新的PCIe 5.0接口成功設計出系統(tǒng)。
系統(tǒng)設計師面臨的挑戰(zhàn)
印刷電路板(PCB)的走線、連接器、電纜乃至IC封裝都是系統(tǒng)級的帶寬限制因素,它們使 得高 數(shù)據(jù) 速率 的設計變得具有挑戰(zhàn)性。高信號頻率增加了銅損和功率損耗,這會導致傳輸距離減小。另外,更高 信號 頻 率中存在的通道損失會導致信號完整性(SI)問題。
為了滿足各種應用的需求,PCIe通道的種類有很多,既有不包含連接器的“芯片到芯片”拓撲結構,也 有 包 含背板接口的復雜服務器拓撲結構,而且這樣的背板 接口還包括多個 PCB卡和兩個 或多個連 接器。 如圖2至圖5所示,大多數(shù)PCIe通道在每一端都由一個IC封裝組成,而且?guī)в卸鄠€PCB,其中包括: 處 理 器 板、附加卡和轉接卡;它們?nèi)窟B接至一個或多個夾層卡或PCIe卡機電(CEM)連接器。
圖2:“芯片到芯片”接口,最簡單的通道,沒有連接器
圖3(a):帶有一個夾層連接器的通道
圖3(b):帶有一個邊緣連接器(附加卡)的通道
圖4(a):帶有兩個連接器并使用一個轉接卡和一個附加卡的通道
圖4(b):帶有兩個線路卡和兩個連接器的標準背板通道
圖5:具有兩個以上連接器的復雜背板通道
歷史上,PCIe系統(tǒng)設計人員把通用低成本FR4 PCB材料和引線鍵合(wirebond)封裝用于 高達 8GT/s 數(shù) 據(jù) 速率(Gen3)的大多數(shù)應用,這種做法已被證明是成功的。但是,在32GT/s的數(shù) 據(jù)速率下 使用 這 種材料 和封裝并不可行。
由于通道損耗的增加,即使在最大速率為16GT/s的PCIe 4.0中(它對于在下一代電路板設計中保持 現(xiàn)有 的 通道長度是必不可少的),大多數(shù)設計人員也正在從FR4 PCB轉向更低損耗的材料,如MEGTRON。 PCB在 設計上也可以在走線之間采用更寬的空間間隔,以便進一步提高系統(tǒng)級SI性能。同樣,對于SI,許多設計將 使用增強的CEM連接器或定制的夾層連接器,并且將回鉆PCB通孔,以便盡量縮短截線(stub)長度。在 某些通道很長的情況下,也可以使用重定時器。
然而,所有這些增強都是有代價的。MEGTRON材料的成本可能比標準FR4材料高出1.2倍至2.5倍,而且PCB 走線可能需要進一步加大間隔以獲得更好的抖動(jitter)性能,從而導致更大、更昂貴的 PCB。如果 采用 截線(stub)回鉆(電路板制造過程中的一個增量步驟),也會增加 PCB的總成本。 另一個需要考慮 的因 素是,增強的和定制的表面貼裝連接器如何比標準通孔CEM連接器更為昂貴。此外,采用時脈 重驅(qū)器會 增 加物料清單(BOM)成本、數(shù)據(jù)路徑延遲和系統(tǒng)功耗;它們也會占據(jù)PCB上額外區(qū)域,這會增加電路 板及 組裝成本。
為了驗證其設計,系統(tǒng)設計人員必須與信號完整性工程師、封裝設計人員、SoC設計人員 以及電 路板 布局 設計人員密切合作,對其通道中的每個組件進行建模,并驗證其整個端到端性能。
PHY設計師面臨的挑戰(zhàn)
對16GT/s PHY設計進行漸進式改進在大多數(shù)應用中并不足以滿足PCIe 5.0通道 要求。 由于在 32GT/s 速 度下信道損耗顯著增加,發(fā)射器(TX)和接收器(RX)中的均衡電路需要顯著的改進。另外,更 嚴 格 的 抖動參數(shù)和抖動限制以及回波損耗規(guī)格也要求在TX和RX中重新設計許多子電路。
預計PCIe 5.0的PHY將通過控制器以及單獨參考時鐘獨立擴展頻譜計時(SRIS)來支持通道通路裕量(Lane margining)請保留英文描述等功能,同時滿足在過程、電壓和溫度角(Corner)建議保留英文 等方 面 更 嚴格的時序和抖動要求。
此類增強和額外的限制使得設計PCIe 5.0 32GT/s PHY變得非常復雜,需要許多方面的能力來實現(xiàn)低功耗、小面積和低延遲的PHY,同時提供最佳信號和電源完整性(PI)性能。
具有精確模型、經(jīng)過硅驗證的PHY使得設計人員能夠?qū)Χ说蕉送ǖ肋M行建模、設計和模擬,以便對系統(tǒng)設計進行驗證和優(yōu)化。
小結
在諸如網(wǎng)絡、存儲和新興人工智能等數(shù)據(jù)密集型應用中,對帶寬的要求越來越高,這迫切需要更快的互連,例如在32GT/s速度下的新型PCIe 5.0技術。但是,設計人員必須了解并考慮在轉向32GT/s PCIe設計時 面臨 的諸多挑戰(zhàn)。在更高的數(shù)據(jù)速率下解決信號完整性、封裝和通 道性能等問 題需要在多 個領域具 備充分 能 力。這就是為什么越來越多的片上系統(tǒng)(SoC)設計人員采用經(jīng) 過驗證的第三方 IP來進行成功的 IC集成的 原因。
許多企業(yè)都在利用諸如Synopsys這樣可靠且經(jīng)過驗證的第三方IP和電源完整性服務。借助于Synopsys以數(shù)十年PCIe專業(yè)知識為基礎的面向PCIe 5.0的IP,SoC設計 人員可 以盡早啟 動其32GT/s 的設計。 SoC設計 人 員可以與Synopsys合作,以討論在更高數(shù)據(jù)速率下PCIe通道的性能需求,同時解決IP集成、時序收斂、信 號完整性、封裝和制造方面的需求。我們將在隨后發(fā)布的文檔中詳細闡述每項挑戰(zhàn)。