同時計算和存儲！Macronix 為人工智能應(yīng)用創(chuàng)造創(chuàng)新內(nèi)存

人工智能 (AI) 應(yīng)用程序已在我們的日常生活中無處不在。隨著傳感器、5G通信、邊緣計算等技術(shù)的不斷演進，大規(guī)模數(shù)據(jù)中心，包括汽車、工廠自動化設(shè)備、醫(yī)療保健設(shè)備、各種消費電子產(chǎn)品和小型電池供電的物聯(lián)網(wǎng)(IoT ) 節(jié)點，逐漸從數(shù)字化和網(wǎng)絡(luò)化功能的加入，演變?yōu)閾碛胁煌瑢哟蔚摹爸悄堋薄?

這些智能系統(tǒng)可以將收集到的大量數(shù)據(jù)轉(zhuǎn)化為有用的信息，做出快速決策并實時做出適當(dāng)?shù)捻憫?yīng)，或者將數(shù)據(jù)傳輸?shù)皆贫诉M行深入分析，以獲得更高價值的見解。能否充分發(fā)揮作用，不僅取決于中央處理器(CPU)的計算能力，還取決于內(nèi)存，內(nèi)存不再只負責(zé)簡單的數(shù)據(jù)存儲功能，而在共享方面開始發(fā)揮越來越重要的作用處理器的計算任務(wù)。

Donald Huang 是非易失性存儲器集成組件的全球領(lǐng)導(dǎo)者 Macronix International Co., Ltd. (Macronix) 的產(chǎn)品營銷部總監(jiān)。他以配備先進駕駛輔助系統(tǒng)(ADAS)和自動駕駛功能的智能網(wǎng)聯(lián)汽車為例，表示這種配備攝像頭、激光雷達和雷達等傳感器的系統(tǒng)每天可以產(chǎn)生高達數(shù) TB 的數(shù)據(jù)。因此，它的內(nèi)存不僅需要大量的存儲容量和高傳輸帶寬，而且還必須滿足對可靠性和質(zhì)量要求非常高的嚴格汽車規(guī)范。而且，

此外，他強調(diào)，當(dāng)人工智能應(yīng)用從云端遷移到邊緣時，對于車輛等邊緣設(shè)備需要安全性和快速響應(yīng)，內(nèi)存在實時數(shù)據(jù)處理和高速傳輸方面提供的支持是必不可少的，而對降低系統(tǒng)功耗和成本的解決方案的需求也在上升。

黃先生指出，為了滿足人工智能應(yīng)用對高存儲容量、高速傳輸和低延遲的要求，內(nèi)存組件在系統(tǒng)中的角色已經(jīng)開始發(fā)生范式轉(zhuǎn)變;過去，閃存在系統(tǒng)中只起到純后端存儲的作用，支持前端DRAM和處理器的嵌入式SRAM。然而，隨著數(shù)據(jù)量的顯著增加以及對傳輸帶寬和速度的要求越來越高，他表示，需要一種全新的內(nèi)存架構(gòu)來應(yīng)對這些新興應(yīng)用。

他接著解釋說，為了應(yīng)對大數(shù)據(jù)的需求，目前主流的NAND和NOR閃存已經(jīng)從2D結(jié)構(gòu)轉(zhuǎn)向3D結(jié)構(gòu)，以實現(xiàn)更高的存儲密度和更低的成本。而人工智能系統(tǒng)也希望閃存更靠近計算單元，以支持高速訪問并降低數(shù)據(jù)傳輸功耗。如今的新一代閃存直接在內(nèi)部增加計算功能，準備從幕后走向前臺，與中央處理器(CPU)和圖形處理器(GPU)并肩作戰(zhàn)?！癕acronix 最新的 FortiX 系列 3D NAND/NOR 閃存就是這樣一種‘以內(nèi)存為中心’的創(chuàng)新解決方案，”Donald 說。

FortiX系列產(chǎn)品除了提供3D閃存的高存儲容量、穩(wěn)定的質(zhì)量和可靠性外，還具有支持實時數(shù)據(jù)處理、高傳輸帶寬和低功耗的額外優(yōu)勢。Donald表示，F(xiàn)ortiX解決方案的內(nèi)存搜索(IMS)和內(nèi)存計算(CIM)是數(shù)模架構(gòu)的計算功能。當(dāng)傳統(tǒng)的存儲和計算分離的馮諾依曼架構(gòu)遇到延遲和功耗瓶頸時，這種新架構(gòu)不僅可以大大減少內(nèi)存與CPU/GPU之間的數(shù)據(jù)傳輸。這不僅提高了速度并降低了功耗，而且還可以節(jié)省對模數(shù)轉(zhuǎn)換器、微控制器和 GPU 組件的需求，從而降低整體系統(tǒng)成本。FortiX 是 Macronix 團隊多年研發(fā)的心血結(jié)晶。相關(guān)技術(shù)論文近年來在國際電子器件會議(IEDM)、國際固態(tài)電路會議(ISSCC)等全球?qū)W術(shù)研討會上受到青睞。此外，F(xiàn)ortiX 一直在申請專利。

FortiX 的 IMS 功能可以直接從內(nèi)存中的現(xiàn)有數(shù)據(jù)中搜索和比較數(shù)據(jù)(精確或接近)，并支持并行輸入。Donald解釋說，3D NAND適用于大數(shù)據(jù)量(>64Gb)的應(yīng)用，而3D NOR則支持TCAM和Hamming Distance Sorter架構(gòu)的高速應(yīng)用。有多種創(chuàng)新架構(gòu)提供靈活的選項來幫助對象檢測/圖像識別，包括智能車輛的車道識別等應(yīng)用。CIM 功能支持逐位邏輯運算，可以在深度神經(jīng)網(wǎng)絡(luò)推理任務(wù)中執(zhí)行所需的 MAC 運算。Donald補充說，在性能方面，與傳統(tǒng)的馮諾依曼架構(gòu)體系相比，F(xiàn)ortiX IMS 3D NAND內(nèi)部搜索速度高達300Gb/s，其每秒數(shù)據(jù)查詢率(QPS)可提高10倍以上，其運行功耗(有功功率)僅為300mW左右，遠低于DRAM的1W功耗。此外，在 FortiX IMS 3D NAND 加速器運行后，數(shù)據(jù)量可以減少到只有原始數(shù)據(jù)量的 5%，大大減少了馮諾依曼架構(gòu)系統(tǒng)后續(xù)運行的數(shù)據(jù)移動，從而不僅降低功耗和總成本，同時顯著提高性能。

不過，Donald 也強調(diào)，新的 FortiX 架構(gòu)不同于現(xiàn)有的標(biāo)準閃存產(chǎn)品。為充分發(fā)揮 FortiX 的優(yōu)勢，Macronix 在產(chǎn)品開發(fā)的早期就與客戶密切合作，針對不同的應(yīng)用部署類似于特定應(yīng)用的標(biāo)準產(chǎn)品，然后將產(chǎn)品設(shè)計成通用型。產(chǎn)品參考行業(yè)標(biāo)準，包括內(nèi)存接口。Macronix 能夠為客戶提供出色的技術(shù)支持，是因為 Macronix 不僅擁有自己的 fab 生產(chǎn)線來保證內(nèi)存產(chǎn)品的質(zhì)量和可靠性，而且還擁有強大的軟硬件工程師團隊支持設(shè)計階段。雖然 FortiX 系列產(chǎn)品尚未正式公布，但 Donald 透露，Macronix 一直在積極推動與目標(biāo)應(yīng)用客戶的設(shè)計合作，并有可能在未來兩到三年內(nèi)推出終端產(chǎn)品，他也看好這一創(chuàng)新技術(shù)在人工智能時代的發(fā)展前景。Macronix 歡迎對 FortiX 感興趣的廠商共同探索和開發(fā)“以內(nèi)存為中心”解決方案的更多潛在應(yīng)用。