PMC與Mellanox聯(lián)合展示 NVMe over RDMA 以及P2P的高速傳輸

加快數(shù)據(jù)傳輸并將CPU及DDR總線的使用效率推到極致是一個好的數(shù)據(jù)中心架構(gòu)的評估標(biāo)準(zhǔn)。日前，PMC將其NVRAM技術(shù)與高速網(wǎng)卡公司Mellanox聯(lián)合，共同展示了NVMe over RDMA 以及P2P的高速傳輸實(shí)例，有效將CPU以及DDR總線資源解放出來，并顯著地提升了數(shù)據(jù)傳輸速度。此次聯(lián)合演示包含兩部分，首先展示了如何將NVMe和RDMA組合起來，在遠(yuǎn)端大規(guī)模提供低延遲、高性能、基于塊的NVM訪問。第二部分的演示則將Mellanox的RDMA對端發(fā)起操作與PMC的Flashtec NVRAM加速卡集成在一起，將內(nèi)存映射的I/O（MMIO）作為一個RDMA目標(biāo)，以實(shí)現(xiàn)遠(yuǎn)端大規(guī)模的持久性內(nèi)存訪問。下面將逐一作詳細(xì)介紹：

NVMe over RDMA （NoR） 展示出將NVMe協(xié)議延展到RDMA之上的潛在可能。該項(xiàng)演示中共采用了兩臺電腦，一臺作為客戶端，另一臺則作為服務(wù)器——其中配備Mellanox ConnectX-3 Pro NIC，且通過RoCEv2相連。演示中所采用的NVMe設(shè)備即為性能極高而延遲極低的PMC Flashtec NVRAM 加速卡。下圖為該演示的框圖。

此演示顯示出，利用RDMA來傳送NVMe命令及數(shù)據(jù)結(jié)果帶來了微乎其微的額外延遲，且不影響吞吐量。

對比本地NVMe設(shè)備與遠(yuǎn)端NVMe設(shè)備的平均延遲，如下表所示，NoR方案中延遲增加低于10微妙。

而另外這組數(shù)據(jù)則對比了本地NVMe設(shè)備與遠(yuǎn)端NVMe設(shè)備吞吐量的測試結(jié)果。從下表中可以看出，NoR方案中吞吐量并無減少。

此項(xiàng)演示中，通過在標(biāo)準(zhǔn) RDMA之上增加服務(wù)器CPU和DRAM的分流，采用對端發(fā)起的方式來將遠(yuǎn)端客戶端與一臺服務(wù)器的NVRAM/NVMe設(shè)備直連。我們將Mellanox提供的RoCEv2-capable ConnectX-3 Pro RDMA NIC與PMC的Flashtec NVRAM加速卡組合在一起，實(shí)現(xiàn)NIC和NVRAM之間的對端發(fā)起操作。對端發(fā)起操作可以實(shí)現(xiàn)遠(yuǎn)端客戶對NVRAM加速卡的直接訪問，相比傳統(tǒng)的RDMA流程，可降低延遲，且有效地釋放CPU和DRAM資源。

同樣，該演示采用的兩臺電腦，一臺作為客戶端，另一臺則作為服務(wù)器。利用服務(wù)器中的PCIe交換設(shè)備可以將對端發(fā)起操作的性能大大提升。

對比采用傳統(tǒng)RDMA和對端發(fā)起的RDMA時服務(wù)器上可用的后臺DRAM帶寬，用perftest得出的數(shù)據(jù)如下：

下表則對采用傳統(tǒng)RDMA和對端發(fā)起的RDMA時的平均延遲作出了比較，結(jié)果得自于RDMA mode of fio：

RDMA以及NVMe兩項(xiàng)技術(shù)均處于蓬勃上升的階段，RDMA能提供遠(yuǎn)距離、大規(guī)模的低延遲及高效率的數(shù)據(jù)移動，而NVMe則能提供對SSD的低延遲訪問。將兩項(xiàng)技術(shù)相結(jié)合能實(shí)現(xiàn)非凡的性能。