AI推理走向通用應用，“周易”X2 NPU助力生態(tài)繁榮

據(jù)安謀科技統(tǒng)計，過去一年中國有60個用到了NPU的芯片項目，而其中55%的都是選擇了自研NPU。自研NPU也就意味著軟件工具鏈也都各有所不同，因此在AI應用的推理側，有著非常嚴重的碎片化的現(xiàn)象。為了解決這種NPU硬件碎片化問題，加速NPU生態(tài)發(fā)展，安謀科技近日發(fā)布了其最新的”周易“X2 NPU產(chǎn)品。憑借著可拓展的算力架構、自定義的算子、大模型優(yōu)化架構以及開放的Compass軟件平臺，“周易”X2 NPU不是為了單獨解決某一個問題、或者某一個應用痛點而來，而是為了解決全行業(yè)的端側AI推理難題，助力AI走入通用應用層面。

“周易”X2 NPU——適用多類型端側推理，兼具高效低耗

“無論是手持終端設備、汽車應用場景還是像現(xiàn)在十分火熱的GPT和邊緣側高性能計算場景，對于人工智能的算力要求是成倍提升的?！卑仓\科技產(chǎn)品總監(jiān)楊磊分享到。手機上的算力已經(jīng)達到了30TOPS，PC上也有了45TOPS的高算力方案推出，而在汽車上已經(jīng)有了幾百TOPS的算力需求；像Chat-GPT這樣的大模型對于算力的需求更是以成倍增加。安謀科技最新發(fā)布的“周易”X2 NPU，就能夠很好地解決以上這些場景中的算力難題。

據(jù)悉，“周易”X2 NPU是基于安謀科技最新的“周易”V3架構指令集，相比前代產(chǎn)品有了非常多的性能提升。首先是在算力上，能夠支持實現(xiàn)320TOPS的子系統(tǒng)的算力。第二是通過i-Tiling技術，大幅減少帶寬需求，進一步提升計算效率，從而大幅降低系統(tǒng)的成本。第三是實時任務調(diào)度，通過專門的硬件加速調(diào)度器來做實時的任務調(diào)度和管理，從而滿足汽車等高實時性的應用場景。第四是支持混合精度計算，包括定點計算、整數(shù)型計算和浮點計算，并且可以很好地平衡整體功耗、計算密度和計算精度。第五是專門優(yōu)化的Transformer性能，針對圖像處理等進行了專門的優(yōu)化。第六是增加了無損的權重壓縮的技術，實現(xiàn)了帶寬的節(jié)省。第七是針對手持電池供電設備進行了低功耗優(yōu)化，在7nm節(jié)點能夠做到10TOPS/w的能效。第八是針對手機拍照中的AI降噪、視頻超分插幀等進行了專門的優(yōu)化。

據(jù)安謀科技執(zhí)行副總裁、產(chǎn)品研發(fā)負責人劉澍介紹，“周易”X2 NPU第一個瞄準的是汽車市場。而在此次發(fā)布會上，安謀科技也展示了一個面向汽車場景的320TOPS參考方案。在一個子系統(tǒng)中集成了四個Cluster，每個Cluster中集成了4個核和Cluster Management。

與國際上比較通用的汽車SoC對比，在跑Swin-Transformer，采用相似的MAC數(shù)量的前提下，“周易”X2可以實現(xiàn)最高260%的性能優(yōu)勢。除了一些MAC配置比較重的算子外，安謀科技還針對了Softmax、instance Normalization、Layer Normalization、Slice、矩陣運算等都進行了合理優(yōu)化，才能達到這個實測結果。

而針對移動端場景，安謀科技展示了一個對標業(yè)界旗艦手機的30TOPS方案，在一個X2 Cluster中集成了三個核，提供了AI降噪、視頻超分等專門的優(yōu)化。在與其他旗艦SoC的對比中，“周易”X2 SoC可以實現(xiàn)同樣的精度水平，但在MobileNet、UNET、YOLO等典型網(wǎng)絡中能提供更好的性能優(yōu)勢。

而除了上述展示的分別汽車和移動端這兩大類應用場景的子系統(tǒng)外，劉澍還表示“周易”X2 NPU可以滿足更高算力的邊緣服務器類的應用需求，未來還會推動針對新興領域的高性能子系統(tǒng)開發(fā)，希望把“周易”X系列NPU推向更多大算力的領域，不斷地發(fā)展。

第三代“周易”架構——并行、可拓展和軟硬件耦合

為什么“周易”X2 NPU有這么好的彈性，能夠?qū)崿F(xiàn)從幾十TOPS到幾百TOPS的算力拓展，而且還都兼顧了很好的能效比？這背后的奧秘就來自其最新的第三代“周易”架構，以及與Compass軟件平臺的緊密耦合。

“周易”X2 NPU的計算核心分為兩個大的部件，一個是可編程、靈活的單元，采用了VLIN架構，負責通用向量處理；另一個是專門負責Tensor處理的、集合了多種高不同種類算子的加速單元；兩者有機地結合在一起構成了一個基本的NPU核，多個NPU的核可以進一步組成Cluster，多個Cluster進一步還可以繼續(xù)拓展。

一個Cluster中的拓展除了兩部分計算單元外，還需要高帶寬的內(nèi)部NoC、Debug單元、電源管理單元以及內(nèi)部的Memory，構成一個計算的Cluster。TSM（Task Scheduling Manager）是一個關鍵部件，可以將計算任務調(diào)度到合適的核或Cluster上。

另一個優(yōu)勢在于，“周易”架構能做到高效能AI固定運算和靈活編程要求的有效平衡。安謀科技開發(fā)了很多高效能的NN算子，可供客戶直接調(diào)用；而且提供了很多可重配置的結構單元，來適配客戶的更多新算子。還開發(fā)了專門的NN Compiler，整合了i-Tiling的技術節(jié)省帶寬。從底層軟件、到中間部件，包括runtime、IDE、Simulator等都在“周易”Compass軟件平臺上實現(xiàn)了整合，而且安謀科技還提供了界面友好的OpenCL Compiler，通過一次編程個就可以將多類運算單元整合起來。在頂層，安謀科技定義了一套套Compass IR的公開標準接口，將IR直接對接到上層神經(jīng)網(wǎng)絡或底層硬件。此外，“周易” V3架構中還有一個核心部件是量化部件，可以把各種浮點的原始模型量化到合適精度，在NPU上進行最高效的運行。

據(jù)安謀科技NPU研發(fā)高級總監(jiān)孫錦鴻介紹，“周易”架構已經(jīng)發(fā)展到第三代，設計思路上遵行“并行”和“可拓展性”，在同構和異構的單元中得到統(tǒng)一。整個“周易”NPU的設計核心思想在指令和數(shù)據(jù)處理單元的同構計算里做到了最大并行。如果在異構上，可以把數(shù)據(jù)的Channel和Batch、甚至異構算子做成并行，在同構和異構的單元里得到統(tǒng)一。在此基礎上擴展的核和Cluster，通過不同顆粒度的并行性來體現(xiàn)到整個“周易”架構的強擴展性。雖然“周易”V3架構的擴展維度很多樣，但都可以通過統(tǒng)一的OpenCL界面把不同擴展性的計算單元，不同的核通過統(tǒng)一的編程方式進行統(tǒng)一編程，提供較好用戶體驗。

在“周易”V3架構上，提供了專門針對圖優(yōu)化的策略，結合Transpose合成，通過相同/類似算子融合，可以大大減少處理流水線，從而減少帶寬，提高運算效率。在發(fā)布會現(xiàn)場展示了一個車載的處理模型，通過“周易” Compass軟件平臺：做了8bit的量化，再做了圖優(yōu)化，之后再放到IP里面運行，最后實時輸出分割后原生的圖像結果。這一模型的運算復雜度比傳統(tǒng)CNN模型更為復雜，同時精度上也會更好。

孫錦鴻表示，“周易”V3架構的研發(fā)的最難點在于如何把易用性、可編程性或最有效地把軟件遷移到“周易”的產(chǎn)品上，做到軟硬件的平衡。要實現(xiàn)這一難題，安謀科技在“周易”架構上提供了支持統(tǒng)一編程的OpenCL界面、Primitive（原語）方法實現(xiàn)高效算子整合、支持TVM的統(tǒng)一框架實現(xiàn)與CPU、GPU的異構聯(lián)動，從而讓其最終得以實現(xiàn)如此好的軟硬件協(xié)同。

NPU生態(tài)的構建和意義

目前端側的AI推理應用，尚處在發(fā)展階段，因此在NPU硬件生態(tài)上呈現(xiàn)出碎片化的現(xiàn)狀。據(jù)安謀科技調(diào)研，去年中國包含NPU的項目有60個左右，其中就出現(xiàn)了接近40種方案。每換一個硬件平臺，也就意味著整個軟件工具鏈的改變，這對于需要切換軟硬件平臺的應用開發(fā)者而言及其復雜。“怎樣能在推理側使生態(tài)更加友好，尤其是對于軟件開發(fā)者、應用開發(fā)者更加友好，可以讓他們更加方便、快捷地進行應用的開發(fā)和部署，是安謀科技一直在深入思考的問題?！睏罾诜窒淼?。

NPU的軟件移植流程通常包括以下幾個步驟：浮點模型訓練好之后，要針對硬件進行定點的量化，最終變成可執(zhí)行的代碼；代碼還需要在軟件仿真平臺和硬件開發(fā)板上進行測試，最終部署到硬件上。在這個開發(fā)的過程中，越是以算法和數(shù)據(jù)為核心的合作伙伴，越有強烈的軟件工具鏈白盒的訴求。

基于此行業(yè)痛點，安謀科技推出了“周易”NPU軟件開源計劃。該計劃包括了幾個部分：第一是實現(xiàn)了“周易”中間表示層的開放，第二是免費授權“周易”V3架構，鼓勵自研NPU實現(xiàn)“周易”架構兼容。

中間表示層指的是一個非常重要的抽象層級，在底層的細粒度的指令之上，類似于高級指令集。這是一個比較大粒度的抽象層級，簡稱為IR，安謀科技實現(xiàn)了IR層的整個規(guī)范的全面開源，從而滿足了開發(fā)者在應用移植和部署過程中對于白盒開發(fā)的需求?！凹词故亲鲎匝蠳PU的合作伙伴，周易開源計劃也可以幫助到他們節(jié)省約50%的軟件工作量?！睏罾诜窒淼?，“而對于上層的算法開發(fā)者而言，開源的好處是給了他們一個較為統(tǒng)一硬件方案?！?

此前Arm就圍繞著CPU IP進行了一些開源項目的嘗試，而此次安謀科技的“周易”軟件開源計劃，是其整個生態(tài)伙伴計劃的重要組成部分。據(jù)悉，安謀科技的全部自研產(chǎn)品，包括“周易”NPU、“山?！盨PU、“星辰”CPU、“玲瓏”ISP、VPU等都可以提供給生態(tài)伙伴，透過TVM的設計和Compass平臺，就能讓“周易”NPU跟Arm其他CPU、GPU結合起來，形成合理的異構運算調(diào)度。而且這個合作伙伴的定義不僅局限于芯片設計客戶，也包括上下游所有的參與者。譬如汽車應用而言，包括OEM、Tier1、Tier2、軟件開發(fā)者和創(chuàng)新設備商等都屬于生態(tài)參與者的一部分。

結語

隨著ChatGPT的興起，大模型讓AI走入通用應用，AI將會成為一種基礎的計算支持，成為賦能各種應用升級的沃土。而大模型、多模態(tài)輸入等對于算力的要求越來越高，走入通用后的端側的硬件碎片化問題，都是當下端側NPU發(fā)展的挑戰(zhàn)。安謀科技的“周易”X2 NPU推出，有望解決這一挑戰(zhàn)，并且真正實現(xiàn)NPU生態(tài)的繁榮。

劉澍表示，安謀科技將一直堅持“本土創(chuàng)新、全球標準”的理念，不斷完善自研產(chǎn)品矩陣，和Arm IP形成優(yōu)勢互補，通過這樣的方式滿足本土客戶需求，發(fā)揮本土資源能力，支持產(chǎn)業(yè)繁榮發(fā)展。