PMC與Mellanox聯(lián)合展示 NVMe over RDMA 以及P2P的高速傳輸

加快數(shù)據(jù)傳輸并將CPU及DDR總線的使用效率推到極致是一個(gè)好的數(shù)據(jù)中心架構(gòu)的評(píng)估標(biāo)準(zhǔn)。日前，PMC將其N(xiāo)VRAM技術(shù)與高速網(wǎng)卡公司Mellanox聯(lián)合，共同展示了NVMe over RDMA 以及P2P的高速傳輸實(shí)例，有效將CPU以及DDR總線資源解放出來(lái)，并顯著地提升了數(shù)據(jù)傳輸速度。此次聯(lián)合演示包含兩部分，首先展示了如何將NVMe和RDMA組合起來(lái)，在遠(yuǎn)端大規(guī)模提供低延遲、高性能、基于塊的NVM訪問(wèn)。第二部分的演示則將Mellanox的RDMA對(duì)端發(fā)起操作與PMC的Flashtec NVRAM加速卡集成在一起，將內(nèi)存映射的I/O（MMIO）作為一個(gè)RDMA目標(biāo)，以實(shí)現(xiàn)遠(yuǎn)端大規(guī)模的持久性內(nèi)存訪問(wèn)。下面將逐一作詳細(xì)介紹：

NVMe over RDMA （NoR） 展示出將NVMe協(xié)議延展到RDMA之上的潛在可能。該項(xiàng)演示中共采用了兩臺(tái)電腦，一臺(tái)作為客戶端，另一臺(tái)則作為服務(wù)器——其中配備Mellanox ConnectX-3 Pro NIC，且通過(guò)RoCEv2相連。演示中所采用的NVMe設(shè)備即為性能極高而延遲極低的PMC Flashtec NVRAM 加速卡。下圖為該演示的框圖。

此演示顯示出，利用RDMA來(lái)傳送NVMe命令及數(shù)據(jù)結(jié)果帶來(lái)了微乎其微的額外延遲，且不影響吞吐量。

對(duì)比本地NVMe設(shè)備與遠(yuǎn)端NVMe設(shè)備的平均延遲，如下表所示，NoR方案中延遲增加低于10微妙。

而另外這組數(shù)據(jù)則對(duì)比了本地NVMe設(shè)備與遠(yuǎn)端NVMe設(shè)備吞吐量的測(cè)試結(jié)果。從下表中可以看出，NoR方案中吞吐量并無(wú)減少。

此項(xiàng)演示中，通過(guò)在標(biāo)準(zhǔn) RDMA之上增加服務(wù)器CPU和DRAM的分流，采用對(duì)端發(fā)起的方式來(lái)將遠(yuǎn)端客戶端與一臺(tái)服務(wù)器的NVRAM/NVMe設(shè)備直連。我們將Mellanox提供的RoCEv2-capable ConnectX-3 Pro RDMA NIC與PMC的Flashtec NVRAM加速卡組合在一起，實(shí)現(xiàn)NIC和NVRAM之間的對(duì)端發(fā)起操作。對(duì)端發(fā)起操作可以實(shí)現(xiàn)遠(yuǎn)端客戶對(duì)NVRAM加速卡的直接訪問(wèn)，相比傳統(tǒng)的RDMA流程，可降低延遲，且有效地釋放CPU和DRAM資源。

同樣，該演示采用的兩臺(tái)電腦，一臺(tái)作為客戶端，另一臺(tái)則作為服務(wù)器。利用服務(wù)器中的PCIe交換設(shè)備可以將對(duì)端發(fā)起操作的性能大大提升。

對(duì)比采用傳統(tǒng)RDMA和對(duì)端發(fā)起的RDMA時(shí)服務(wù)器上可用的后臺(tái)DRAM帶寬，用perftest得出的數(shù)據(jù)如下：

下表則對(duì)采用傳統(tǒng)RDMA和對(duì)端發(fā)起的RDMA時(shí)的平均延遲作出了比較，結(jié)果得自于RDMA mode of fio：

RDMA以及NVMe兩項(xiàng)技術(shù)均處于蓬勃上升的階段，RDMA能提供遠(yuǎn)距離、大規(guī)模的低延遲及高效率的數(shù)據(jù)移動(dòng)，而NVMe則能提供對(duì)SSD的低延遲訪問(wèn)。將兩項(xiàng)技術(shù)相結(jié)合能實(shí)現(xiàn)非凡的性能。