超越L5算力，低帶寬需求、低延遲，Imagination推出車載級(jí)AI推理大殺器

時(shí)間：2023-01-09 20:35:04

關(guān)鍵字：汽車算力 ADAS

手機(jī)看文章

掃描二維碼
隨時(shí)隨地手機(jī)看文章

[導(dǎo)讀]歷時(shí)兩年，多方收集車載用戶需求，Imagination推出性能強(qiáng)大的4系列NNA隨著汽車向智能化的發(fā)展不斷深入，車載應(yīng)用對(duì)算力的要求在不斷提高。傳統(tǒng)的數(shù)字駕艙和人機(jī)交互功能對(duì)算力要求較低，但在高級(jí)駕駛輔助系統(tǒng)（ADAS）中，對(duì)算力的需求明顯增加，比如：車道偏離檢測(cè)可能需要10 GFLOPS（每秒10億次浮點(diǎn)運(yùn)算）算力，行人預(yù)測(cè)可能需要500GFLOPS。

歷時(shí)兩年，多方收集車載用戶需求，Imagination推出性能強(qiáng)大的4系列NNA隨著汽車向智能化的發(fā)展不斷深入，車載應(yīng)用對(duì)算力的要求在不斷提高。傳統(tǒng)的數(shù)字駕艙和人機(jī)交互功能對(duì)算力要求較低，但在高級(jí)駕駛輔助系統(tǒng)（ADAS）中，對(duì)算力的需求明顯增加，比如：車道偏離檢測(cè)可能需要10 GFLOPS（每秒10億次浮點(diǎn)運(yùn)算）算力，行人預(yù)測(cè)可能需要500GFLOPS。

自動(dòng)駕駛功能的實(shí)現(xiàn)，更離不開(kāi)高算力，L2級(jí)別自動(dòng)駕駛需要10 TOPS（每秒萬(wàn)億次整數(shù)運(yùn)算）算力，L3至L4級(jí)別自動(dòng)駕駛則需要50至100 TOPS算力，實(shí)現(xiàn)L5級(jí)別全自動(dòng)駕駛需要500 TOPS以上的算力。

車載應(yīng)用對(duì)算力的需求

除了算力要求高，車載處理由于需要適應(yīng)高速行駛場(chǎng)景，所以對(duì)任務(wù)處理實(shí)時(shí)性要求極高，這就需要處理數(shù)據(jù)的延遲很低，總而言之，車載智能應(yīng)用隨自主化程度提高，對(duì)性能的需求達(dá)到了極致。

為滿足車載智能對(duì)算力的極致要求，全球著名IP廠商Imagination Technologies（以下簡(jiǎn)稱Imagination）歷時(shí)兩年，多方收集車載用戶需求，并針對(duì)車載需求全力優(yōu)化，推出了新一代神經(jīng)網(wǎng)絡(luò)加速器（NNA）產(chǎn)品IMG Series4 NNA，4系列使用全新的多核架構(gòu)，可提供600 TOPS甚至更高的算力，而且在處理大型神經(jīng)網(wǎng)絡(luò)時(shí)延遲極低，所需帶寬極小，而且整個(gè)架構(gòu)設(shè)計(jì)中貫穿功能安全（functional safety）理念，以幫助其車載芯片客戶通過(guò)車規(guī)認(rèn)證。

Imagination的神經(jīng)網(wǎng)絡(luò)加速器系列產(chǎn)品到現(xiàn)在已經(jīng)是第三代，前兩代2NX和3NX主要面向移動(dòng)終端、物聯(lián)網(wǎng)、安防監(jiān)控等領(lǐng)域，以算力密度和能效比著稱，采用2NX和3NX技術(shù)的芯片在AI benchmark等AI排名中名列前茅。

而4系列進(jìn)一步提升了性能并推出了多核架構(gòu)，在5納米工藝節(jié)點(diǎn)，可以提供超過(guò)12 TOPS每平方毫米的性能密度，30 TOPS每瓦的性能功耗比，單核算力直達(dá)12.5 TOPS。

Imagination 4系列性能優(yōu)勢(shì)

多核集群算力更是成倍增長(zhǎng)，4系列支持集群內(nèi)配置 2個(gè)、4個(gè)、6個(gè)或者8個(gè)單核，包含8個(gè)單核的集群算力即達(dá)到100 TOPS,6個(gè)集群算力達(dá)600 TOPS，可滿足L5級(jí)別自動(dòng)駕駛或數(shù)據(jù)中心等多種計(jì)算密集型應(yīng)用場(chǎng)景。

多核算力成倍增長(zhǎng)

除了算力爆炸性提升，Imagination在多核處理方面有多項(xiàng)創(chuàng)新性技術(shù)應(yīng)用于4系列NNA。首先是正在申請(qǐng)專利的Tensor Tiling（試譯為“張量切分”）技術(shù)，Imagination稱之為ITT。

張量切分技術(shù)示例

ITT的概念，是在空間維度上對(duì)每個(gè)張量進(jìn)行拆分，利用片上存儲(chǔ)加深算子融合，從而減少神經(jīng)網(wǎng)絡(luò)執(zhí)行過(guò)程中通過(guò)外部存儲(chǔ)交換的中間特征圖，進(jìn)而降低對(duì)內(nèi)存帶寬的需求。根據(jù)Imagination的統(tǒng)計(jì)，最大可減少內(nèi)存帶寬需求90%。這在計(jì)算大型網(wǎng)絡(luò)時(shí)優(yōu)勢(shì)十分明顯。

4系列NNA多核技術(shù)支持批處理，可以分配批處理任務(wù)的各組份到各個(gè)NNA單核，每個(gè)核獨(dú)立工作，這種分配適合批處理小型網(wǎng)絡(luò)。

4系列NNA還可以對(duì)任務(wù)在更多維度拆分和調(diào)度，所有單核可以相互協(xié)同，并行處理一個(gè)推理任務(wù)，這樣減少了網(wǎng)絡(luò)推理的延遲，理想情況下協(xié)同并行處理的吞吐量與獨(dú)立并發(fā)處理相同，這種配置適合網(wǎng)絡(luò)層很大的神經(jīng)網(wǎng)絡(luò)計(jì)算任務(wù)。對(duì)于一個(gè)8核集群，理想情況下任務(wù)并行執(zhí)行的延遲會(huì)減少為單核獨(dú)立執(zhí)行時(shí)的1/8。

不同單核也可以運(yùn)行不同的工作負(fù)載。這種情況程序可以根據(jù)需要進(jìn)行不同的配置，例如總是用所有單核并行處理用戶任務(wù)，或者為特定任務(wù)保留一個(gè)或一組單核，或者運(yùn)行時(shí)動(dòng)態(tài)分配。每個(gè)工作負(fù)載都可以被切分，開(kāi)發(fā)者在平衡延遲和任務(wù)吞吐量之間有很大的靈活性。

在安全方面，4系列NNA包含IP級(jí)別的安全功能，且設(shè)計(jì)流程符合ISO 26262功能安全標(biāo)準(zhǔn)，可以幫助客戶獲得ISO 26262認(rèn)證。Imagination Technologies人工智能業(yè)務(wù)高級(jí)總監(jiān)Andrew Grant特別強(qiáng)調(diào)，與業(yè)界有些安全功能加入后會(huì)影響性能不同，4系列是在不影響性能的情況下，安全地進(jìn)行神經(jīng)網(wǎng)絡(luò)推理。4系列的硬件安全機(jī)制可以保護(hù)編譯后的網(wǎng)絡(luò)、網(wǎng)絡(luò)的執(zhí)行和數(shù)據(jù)處理管道。

Andrew Grant表示，Imagination在汽車領(lǐng)域耕耘多年，現(xiàn)在汽車儀表盤(pán)市場(chǎng)有40%以上都采用了Imagination的技術(shù)，而Imagination今年先后推出的GPU BXS和4系列NNA都將汽車領(lǐng)域視為重要目標(biāo)市場(chǎng)，這兩者可以結(jié)合使用,4系列NNA負(fù)責(zé)人工智能推理任務(wù)，BXS GPU負(fù)責(zé)控制與其他圖像相關(guān)處理工作，二者在應(yīng)用時(shí)有非常強(qiáng)的互補(bǔ)協(xié)力作用。隨著這兩款強(qiáng)力產(chǎn)品的加入，相信Imagination在汽車市場(chǎng)的份額會(huì)進(jìn)一步增加。

更多精彩