超越L5算力，低帶寬需求、低延遲，Imagination推出車載級AI推理大殺器

時間：2023-01-09 20:35:04

關鍵字：汽車算力 ADAS

手機看文章

掃描二維碼
隨時隨地手機看文章

[導讀]歷時兩年，多方收集車載用戶需求，Imagination推出性能強大的4系列NNA隨著汽車向智能化的發(fā)展不斷深入，車載應用對算力的要求在不斷提高。傳統(tǒng)的數(shù)字駕艙和人機交互功能對算力要求較低，但在高級駕駛輔助系統(tǒng)（ADAS）中，對算力的需求明顯增加，比如：車道偏離檢測可能需要10 GFLOPS（每秒10億次浮點運算）算力，行人預測可能需要500GFLOPS。

歷時兩年，多方收集車載用戶需求，Imagination推出性能強大的4系列NNA隨著汽車向智能化的發(fā)展不斷深入，車載應用對算力的要求在不斷提高。傳統(tǒng)的數(shù)字駕艙和人機交互功能對算力要求較低，但在高級駕駛輔助系統(tǒng)（ADAS）中，對算力的需求明顯增加，比如：車道偏離檢測可能需要10 GFLOPS（每秒10億次浮點運算）算力，行人預測可能需要500GFLOPS。

自動駕駛功能的實現(xiàn)，更離不開高算力，L2級別自動駕駛需要10 TOPS（每秒萬億次整數(shù)運算）算力，L3至L4級別自動駕駛則需要50至100 TOPS算力，實現(xiàn)L5級別全自動駕駛需要500 TOPS以上的算力。

車載應用對算力的需求

除了算力要求高，車載處理由于需要適應高速行駛場景，所以對任務處理實時性要求極高，這就需要處理數(shù)據(jù)的延遲很低，總而言之，車載智能應用隨自主化程度提高，對性能的需求達到了極致。

為滿足車載智能對算力的極致要求，全球著名IP廠商Imagination Technologies（以下簡稱Imagination）歷時兩年，多方收集車載用戶需求，并針對車載需求全力優(yōu)化，推出了新一代神經網(wǎng)絡加速器（NNA）產品IMG Series4 NNA，4系列使用全新的多核架構，可提供600 TOPS甚至更高的算力，而且在處理大型神經網(wǎng)絡時延遲極低，所需帶寬極小，而且整個架構設計中貫穿功能安全（functional safety）理念，以幫助其車載芯片客戶通過車規(guī)認證。

Imagination的神經網(wǎng)絡加速器系列產品到現(xiàn)在已經是第三代，前兩代2NX和3NX主要面向移動終端、物聯(lián)網(wǎng)、安防監(jiān)控等領域，以算力密度和能效比著稱，采用2NX和3NX技術的芯片在AI benchmark等AI排名中名列前茅。

而4系列進一步提升了性能并推出了多核架構，在5納米工藝節(jié)點，可以提供超過12 TOPS每平方毫米的性能密度，30 TOPS每瓦的性能功耗比，單核算力直達12.5 TOPS。

Imagination 4系列性能優(yōu)勢

多核集群算力更是成倍增長，4系列支持集群內配置 2個、4個、6個或者8個單核，包含8個單核的集群算力即達到100 TOPS,6個集群算力達600 TOPS，可滿足L5級別自動駕駛或數(shù)據(jù)中心等多種計算密集型應用場景。

多核算力成倍增長

除了算力爆炸性提升，Imagination在多核處理方面有多項創(chuàng)新性技術應用于4系列NNA。首先是正在申請專利的Tensor Tiling（試譯為“張量切分”）技術，Imagination稱之為ITT。

張量切分技術示例

ITT的概念，是在空間維度上對每個張量進行拆分，利用片上存儲加深算子融合，從而減少神經網(wǎng)絡執(zhí)行過程中通過外部存儲交換的中間特征圖，進而降低對內存帶寬的需求。根據(jù)Imagination的統(tǒng)計，最大可減少內存帶寬需求90%。這在計算大型網(wǎng)絡時優(yōu)勢十分明顯。

4系列NNA多核技術支持批處理，可以分配批處理任務的各組份到各個NNA單核，每個核獨立工作，這種分配適合批處理小型網(wǎng)絡。

4系列NNA還可以對任務在更多維度拆分和調度，所有單核可以相互協(xié)同，并行處理一個推理任務，這樣減少了網(wǎng)絡推理的延遲，理想情況下協(xié)同并行處理的吞吐量與獨立并發(fā)處理相同，這種配置適合網(wǎng)絡層很大的神經網(wǎng)絡計算任務。對于一個8核集群，理想情況下任務并行執(zhí)行的延遲會減少為單核獨立執(zhí)行時的1/8。

不同單核也可以運行不同的工作負載。這種情況程序可以根據(jù)需要進行不同的配置，例如總是用所有單核并行處理用戶任務，或者為特定任務保留一個或一組單核，或者運行時動態(tài)分配。每個工作負載都可以被切分，開發(fā)者在平衡延遲和任務吞吐量之間有很大的靈活性。

在安全方面，4系列NNA包含IP級別的安全功能，且設計流程符合ISO 26262功能安全標準，可以幫助客戶獲得ISO 26262認證。Imagination Technologies人工智能業(yè)務高級總監(jiān)Andrew Grant特別強調，與業(yè)界有些安全功能加入后會影響性能不同，4系列是在不影響性能的情況下，安全地進行神經網(wǎng)絡推理。4系列的硬件安全機制可以保護編譯后的網(wǎng)絡、網(wǎng)絡的執(zhí)行和數(shù)據(jù)處理管道。

Andrew Grant表示，Imagination在汽車領域耕耘多年，現(xiàn)在汽車儀表盤市場有40%以上都采用了Imagination的技術，而Imagination今年先后推出的GPU BXS和4系列NNA都將汽車領域視為重要目標市場，這兩者可以結合使用,4系列NNA負責人工智能推理任務，BXS GPU負責控制與其他圖像相關處理工作，二者在應用時有非常強的互補協(xié)力作用。隨著這兩款強力產品的加入，相信Imagination在汽車市場的份額會進一步增加。

更多精彩