助力GDDR6在邊緣端AI推理應(yīng)用，Rambus推出24Gb/s的GDDR6 內(nèi)存接口子系統(tǒng)

據(jù)OpenAI的研究，AlexNet 到 AlphaGo Zero，數(shù)據(jù)的計(jì)算量增加了 300,000 倍。從2012年進(jìn)入現(xiàn)代AI時(shí)代后，GPU開始逐漸在AI領(lǐng)域大放異彩。通過GPU更強(qiáng)的并行計(jì)算能力，加速了AI的算法發(fā)展。從去年開始大熱的ChatGPT等大模型的發(fā)展，也離不開對大規(guī)模數(shù)據(jù)集的訓(xùn)練。這些人工智能應(yīng)用的快速發(fā)展，對處理器及帶寬進(jìn)一步提出了更高的要求和標(biāo)準(zhǔn)。

“但是，現(xiàn)在我們存在著一個(gè)非常重要的誤區(qū)，盡管算力的增長非常顯著，但是帶寬上的進(jìn)步卻無法改善，造成兩者間的不匹配。也就是說，在現(xiàn)有高算力的基礎(chǔ)之上，很多的GPU資源其實(shí)并沒有得到充分的占用和利用，這也就造成了現(xiàn)在的困境。”Rambus IP 核產(chǎn)品營銷高級總監(jiān) Frank Ferro指出了制約當(dāng)前AI發(fā)展的這一難題。為了應(yīng)對不斷增長的帶寬需求，提高接口帶寬的速度，Rambus推出了最新的GDDR6 PHY和控制器產(chǎn)品組合。全新的GDDR6 PHY達(dá)到了業(yè)界領(lǐng)先的24Gb/s的數(shù)據(jù)傳輸速率，成為新的行業(yè)標(biāo)桿。

AI推理向邊緣端轉(zhuǎn)移，GDDR6高速商用化進(jìn)行中

通常提到人工智能的應(yīng)用場景可以分為訓(xùn)練和推理兩大類。AI模型訓(xùn)練需要錄入大量的多模態(tài)數(shù)據(jù)，是一個(gè)對于算力消耗非常大，同時(shí)又非常耗時(shí)的過程。完成了對于AI訓(xùn)練之后，就可以將神經(jīng)網(wǎng)絡(luò)打造成完整模型，部署到邊緣和應(yīng)用場景中。推理相比訓(xùn)練對于算力的需求大幅下降，當(dāng)前訓(xùn)練通常在算力密集的數(shù)據(jù)中心、云服務(wù)器上進(jìn)行，而推理已經(jīng)逐步轉(zhuǎn)移到了邊緣端。在邊緣端部署AI推理，通常受限于邊緣端的場景，對于帶寬需求有所下降，但對于成本和功耗更為敏感。像NLP（自然語言處理）、數(shù)據(jù)庫管理等AI推理模型，都已經(jīng)開始在邊緣大量應(yīng)用。

“隨著AI推理的應(yīng)用不斷向邊緣端遷移，我們會把已經(jīng)訓(xùn)練過的系統(tǒng)實(shí)現(xiàn)更快的處理方式，處理速度的提高是非常大的遷移到邊緣端的優(yōu)勢。正是在這個(gè)變化的趨勢過程中，GDDR6也開始發(fā)揮它本身的作用。作為更加理想的方案，GDDR6有著高帶寬以及低時(shí)延的特性，能夠幫助邊緣端更好地處理數(shù)據(jù)?！盕rank Ferro分享到。

AI訓(xùn)練所需的帶寬通常是TB級的，而觀察當(dāng)前AI推理具體應(yīng)用，帶寬需求通常落在200～500Gb/s的范圍之間。從帶寬需求上來看，HBM更適合需要高帶寬低延遲的AI訓(xùn)練場景，而GDDR則更適合大容量高帶寬的AI推理場景。每一個(gè)GDDR6設(shè)備的帶寬都可以達(dá)到96Gb/s，因此將4、5個(gè)GDDR6設(shè)備組合在一起，就可以輕松滿足500Gb/s及以下的AI推理帶寬需求。

最高速率24Gb/s的GDDR6 PHY子系統(tǒng)

Rambus最新的GDDR6 PHY IP提供了高達(dá)24Gb/s的業(yè)界最高GDDR6內(nèi)存接口數(shù)據(jù)速率，可以為圖形處理、AI計(jì)算、和邊緣端網(wǎng)絡(luò)應(yīng)用提供高帶寬低功耗的數(shù)據(jù)傳輸。Rambus提供了PHY和控制器集成的子系統(tǒng)。如下圖所示是Rambus DDR6內(nèi)存接口子系統(tǒng)的應(yīng)用框圖，其中PHY物理層通過兩個(gè)16位插槽與DRAM進(jìn)行直接連接，另一側(cè)是DFI接口與內(nèi)存的控制器進(jìn)行連接，控制器會直接接入到整個(gè)系統(tǒng)的邏輯控制。中間兩個(gè)藍(lán)色的部分分別就是控制器和PHY，也就是一個(gè)完整的子系統(tǒng)，Rambus會根據(jù)客戶具體應(yīng)用場景和實(shí)際的訴求對子系統(tǒng)來進(jìn)行優(yōu)化，并將其作為完整的子系統(tǒng)來交付給客戶。

據(jù)悉，Rambus GDDR6 PHY 完全符合 JEDEC GDDR6 (JESD250) 標(biāo)準(zhǔn)，具備四大核心優(yōu)勢。首先是大幅提升的性能，每個(gè)引腳的速度高達(dá) 24 Gb/s，可為AI推理等應(yīng)用場景帶來巨大性能優(yōu)勢和收益。第二點(diǎn)優(yōu)勢來自對于功耗的優(yōu)秀管理，據(jù)Frank Ferro介紹，在GDDR6的設(shè)計(jì)過程當(dāng)中，工程師和設(shè)計(jì)師們在保證非常高的性能前提之下，也能夠保證其在相對比較低電壓的情況下運(yùn)行。這是非常具備挑戰(zhàn)性的，良好的功耗管理更符合邊緣端的應(yīng)用需求。第三大優(yōu)勢在于PHY和控制器的完整集成，將集成測試好的子系統(tǒng)直接交付給客戶，客戶直接基于子系統(tǒng)進(jìn)行定制化應(yīng)用。第四大優(yōu)勢在于系統(tǒng)層面的設(shè)計(jì)。系統(tǒng)要能夠達(dá)到24Gb/s下運(yùn)行，必須確保具有非常良好的系統(tǒng)級信號完整性（SI）。Rambus的信號完整性工程師，會在客戶設(shè)計(jì)初期就進(jìn)行緊密的合作，確?？蛻粝到y(tǒng)運(yùn)行時(shí)候能夠達(dá)到最高的性能。

GDDR6賦能邊緣推理應(yīng)用

不同邊緣計(jì)算的垂直市場對于GDDR都表現(xiàn)出了濃厚的興趣，其中汽車ADAS、網(wǎng)絡(luò)交換機(jī)、5G基礎(chǔ)架構(gòu)和數(shù)據(jù)中心等應(yīng)用中已經(jīng)有了GDDR5的大量用例，隨著GDDR6的逐步滲透，將會進(jìn)一步提升這些應(yīng)用中的占比。

目前在路上行駛的車輛通常使用帶寬低于 60GB/s 的 DRAM 內(nèi)存解決方案，而要達(dá)到L3、L4級別的自動駕駛，預(yù)計(jì)系統(tǒng)需要具備512GB/s～1024GB/s的帶寬，才能確保實(shí)現(xiàn)實(shí)時(shí)可靠的決策。因此GDDR6成為了滿足ADAS需求的理想選擇，內(nèi)存廠商已經(jīng)推出了面向車載應(yīng)用的GDDR產(chǎn)品。而在數(shù)據(jù)中心中，越來越多的PCIe加速卡也在采用GDDR6的內(nèi)存技術(shù)，來實(shí)現(xiàn)服務(wù)器的帶寬進(jìn)一步提升。在網(wǎng)絡(luò)層面的應(yīng)用中，越來越多的具體網(wǎng)絡(luò)應(yīng)用場景都已經(jīng)開始在邊緣端實(shí)現(xiàn)。尤其是有的應(yīng)用要求所有傳入的數(shù)據(jù)必須在本地進(jìn)行實(shí)時(shí)處理，這種需求對本身產(chǎn)品架構(gòu)的要求會很高。因此傳統(tǒng)的DDR方案已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足要求了。要達(dá)到這樣要求，就需要有很多的傳統(tǒng)DDR設(shè)備。而采用GDDR6就能夠大幅度降低網(wǎng)絡(luò)邊緣設(shè)備對DDR數(shù)量的需求，這也是GDDR6能夠在邊緣設(shè)備得到更加廣泛部署的一個(gè)原因。

GDDR6在各個(gè)垂直領(lǐng)域的滲透率將會逐步提升，而GDDR6的應(yīng)用也必然會增加對于GDDR6接口PHY子系統(tǒng)的市場需求。據(jù)Frank Ferro介紹，Rambus的GDDR6 接口IP已經(jīng)實(shí)現(xiàn)了流片，正在進(jìn)行相關(guān)仿真，預(yù)計(jì)將會在今年夏天推出完整的最終硅片。