亚洲一日国产日韩欧美,日韩综合无尺码码电影

[導(dǎo)讀]OPPO第一顆自研芯片，影像專用NPU——MariSilicon X深度解析

近日，OPPO在今年的INNO DAY活動上發(fā)布了第一款自研芯片——馬里亞納X（ MariSilicon X）。這是一款NPU芯片，但非通常意義上的NPU，而是專門用于影像處理的NPU芯片。這不僅是一款性能參數(shù)超強(qiáng)的芯片，更是手機(jī)的計算影像邁入“一機(jī)雙芯”時代的開啟?！?strong>SoC+影像專用NPU”的雙芯方案會帶來手機(jī)影像Pipeline管線上全鏈條的最優(yōu)解，實(shí)現(xiàn)軟件AI算法和硬件計算資源的緊密耦合，突破旗艦手機(jī)的影像體驗(yàn)。

馬里亞納，OPPO先身探索

先來看一下MariSilicon X的表現(xiàn)，據(jù)OPPO介紹有四大特點(diǎn)：

?AI能效突破：18TOPS AI算力；11.6TOPS/w能效比。（參考蘋果A15的NPU算力為15.8TOPS；運(yùn)行同樣的OPPO的AI降噪算法的速度是搭載驍龍888的Find X3 Pro的20倍，能效比達(dá)到40倍。）

?20bit Ultra HDR：覆蓋100萬:1的最大亮度范圍，是目前行業(yè)主流HDR能力（驍龍8、天璣9000）4倍

?實(shí)時RAW處理：支持20bit RAW計算，計算前置為整個影像鏈路帶來無損的高質(zhì)量數(shù)據(jù)，基礎(chǔ)畫質(zhì)的提升、預(yù)覽即成像、三方App畫質(zhì)提升

?RGBW Pro模式：雙鏈路的設(shè)計和2x RAW計算，實(shí)現(xiàn)8.6dB的信噪比和1.7倍解析力提升

通過這些強(qiáng)大的特性加持，MariSilicon X大幅提升了夜景視頻拍攝的畫質(zhì)，將計算影像推向了4K+20bit RAW+AI+Ultra HDR的新極限。

馬里亞納，OPPO先身探索

實(shí)現(xiàn)如此強(qiáng)大性能的背后，究竟有哪些奧秘？我們接下來一起來解析下MariSilion X的內(nèi)“芯”。

MariSilicon X：一顆影像處理專用NPU芯片

MariSilicon X采用的是自研DSA架構(gòu)，其中包含多個IP：有自研NPU IP—MariNeuro、自研ISP IP—MariLumi、自研MIPI接口IP、Arm控制IP以及自主設(shè)計的雙層內(nèi)存系統(tǒng)等。

MariLumi主要進(jìn)行圖像信號的降噪和HDR處理，MariNeuro主要負(fù)責(zé)AI降噪算法加速，自研MIPI用于對接各種圖像傳感器，包括OPPO和Sony定制的傳感器，Arm控制IP主要用于IO口控制等，雙層內(nèi)存架構(gòu)用于內(nèi)部數(shù)據(jù)搬運(yùn)。

馬里亞納，OPPO先身探索

NPU core：MariNeuro

對于計算影像應(yīng)用而言，算力自然是越高越好。但受限于手機(jī)的外形和當(dāng)下的電池能量密度，所以對于這顆NPU的功耗也有著嚴(yán)格的要求，不能單純追求算力高，對于能效的控制反而更為關(guān)鍵。OPPO在最開始產(chǎn)品定義的時候就充分考慮了，將該NPU的功耗限制在手機(jī)功率約束范圍內(nèi)，在這個限制內(nèi)進(jìn)行整體的架構(gòu)設(shè)計。

“手機(jī)上一顆NPU設(shè)計的關(guān)鍵難點(diǎn)不在于算力。因?yàn)榭梢酝ㄟ^增加面積，把算力堆起來，但達(dá)到11.6 TOPS/w要難的多。”O(jiān)PPO 芯片產(chǎn)品高級總監(jiān)姜波表示，“有一個NPU不難，但這個NPU真的能用到那個應(yīng)用場景，在這個應(yīng)用場景算法約束的情況下達(dá)到這樣的能耗效率，是非常難的?！?/p>

如何理解“應(yīng)用場景算法約束下達(dá)到這樣的能耗效率”這一點(diǎn)呢？以Find X3 Pro舉例，雖然搭載的驍龍888平臺上NPU算力很高，但跑OPPO的AI降噪算法最大只能跑到2幀，功耗達(dá)到1.7W?！?幀”只能應(yīng)用在拍照上，遠(yuǎn)遠(yuǎn)達(dá)不到30fps的視頻拍攝最低門檻。如果將算力提高到30fps的水平，功耗也會是1.7W的數(shù)倍，這完全超出了手機(jī)的能耗約束水平。

馬里亞納，OPPO先身探索

而在OPPO自研的MariNeuro NPU上，可以在800mW的功耗約束范圍內(nèi)達(dá)到40fps的水平。既然視頻拍攝30fps就已經(jīng)足夠，為何要做到40fps？姜波表示，4K 30fps只是一個基礎(chǔ)的要求，為了提供更好的影像效果，比如在夜景錄制的場景下，要在開啟AI降噪同時開啟HDR，這時就需要更多的算力，并且SoC中也會激活一些算力，這時候整體功耗就會提高。在這種場景下，考慮了整個鏈路的功耗，所以MariNeuro需要在30fps 800mW的表現(xiàn)上有足夠的冗余的性能，因此最終在800mW的功耗約束范圍上達(dá)到40fps水平。如果不開啟AI降噪，實(shí)時拍攝4K 60幀的HDR視頻也毫無壓力。

ISP core：MariLumi

MariSilicon X上搭載的自研ISP IP-MariLumi主要功能是HDR和降噪，采用雙鏈路的設(shè)計和2路20bit實(shí)時RAW計算，配合NPU的加速達(dá)到了120dB的降噪水平，開啟RGBW Pro模式可以實(shí)現(xiàn)8.6dB的信噪比提升。

20bit-120dB意味著對于一張圖片而言，最亮和最暗的部分相差100萬倍。參考當(dāng)前的旗艦SoC（高通驍龍8 gen1和天璣9000）都是將計算位數(shù)提高到了18bit，圖片信噪比做到25萬倍左右。OPPO通過新增MariSilicon X這一顆芯片，將手機(jī)影像處理的效果突破了旗艦SoC的設(shè)定的極限。

馬里亞納，OPPO先身探索

在OPPO的測試平臺上進(jìn)行對比，在4K場景下有MariSilicon X加持的圖形亮部可以達(dá)到了8dB增益，圖形暗部增益可以達(dá)到12bit，也就是8倍提升。

為了實(shí)現(xiàn)影像體驗(yàn)突破，從最前端圖像傳感器這一層面上，OPPO此前就與索尼進(jìn)行了深度傳感器定制。但例如RGBW這種類型的定制傳感器，整體行業(yè)應(yīng)用量較少，所以SoC廠商并沒有做到最好的適配。需要傳感器端將RGBW信息轉(zhuǎn)換成傳統(tǒng)RGGB信息，然后傳到SoC進(jìn)行處理。但這一轉(zhuǎn)換過程中就會造成有用信息的丟失，因此無法發(fā)揮出RGBW定制傳感器的最佳效果。MariSilicon X就起到了很好的承上啟下的紐帶作用，通過雙路超采樣pipeline（RGB+W），與前端的傳感器實(shí)現(xiàn)了緊密耦合，直接在RAW域上進(jìn)行實(shí)時計算。這樣既保證了發(fā)揮定制RGBW傳感器的最佳效果，也優(yōu)化了整體處理鏈路的計算資源分配。

雙層內(nèi)存系統(tǒng)

MariSilicon X是一個算法與硬件緊密耦合的芯片，因此片上內(nèi)存的設(shè)計和大小也都是根據(jù)應(yīng)用場景進(jìn)行定制化設(shè)計的結(jié)果。據(jù)悉其采用256MB的LPDDR4X的內(nèi)存顆粒，是片上獨(dú)立內(nèi)存子系統(tǒng)帶寬，遠(yuǎn)遠(yuǎn)大于傳統(tǒng)的DDR讀寫速度，可以實(shí)現(xiàn)Tb級讀寫速度，提供8.5GB/s的影像專用帶寬，為AI的高效運(yùn)算提供充分的內(nèi)存讀寫支持。

據(jù)姜波介紹：“對于NPU和AI處理而言，因?yàn)槭且粚訉佑嬎愕?，所以有大量中間的運(yùn)算數(shù)據(jù)。如果來回在DDR上進(jìn)行搬運(yùn)，就無法達(dá)成需要的目標(biāo)。 ”

馬里亞納，OPPO先身探索

6nm臺積電制程

為了將整顆NPU的功耗控制在手機(jī)功耗水平之內(nèi)，OPPO選擇了臺積電的6nm工藝制程，這是臺積電第一個主流的采用EUV的制程。據(jù)姜波分享，在早期評估階段，在OPPO想要的芯片表現(xiàn)的需求上，必須上到6nm才能滿足。在6nm的工藝節(jié)點(diǎn)上進(jìn)行芯片設(shè)計，尤其是這么多自研IP的設(shè)計，本身也面臨了非常多的挑戰(zhàn)。但最終出來的成片效果非常理想，功耗表現(xiàn)等都與最初的設(shè)想相匹配。

馬里亞納，OPPO先身探索

一機(jī)雙芯：拉出影像鏈上第二條性能上升曲線

目前常規(guī)的影像處理鏈條是“圖像傳感器采集信號??SoC中的ISP進(jìn)行信號處理??顯示”，計算影像的算法跑在SoC上，所以追求更好效果的方式是SoC廠商迫近更高的影像處理極限，圖像傳感器也迫近更好的性能。但這里面存在著一些難以突破的限制：SoC廠商把握不準(zhǔn)用戶場景需求，定制傳感器和SoC無法完美配合，終端廠商的定制算法與SoC硬件資源無法緊密耦合...在OPPO追求極致用戶影像體驗(yàn)的路上——后端上優(yōu)化和積累算法、在最前端傳感器定制，但不管怎么，都無法突破現(xiàn)在這條影像處理鏈上的掣肘。

手機(jī)計算影像的時代，軟硬件的緊密耦合才能發(fā)揮出最佳效果。所以O(shè)PPO的MariSilicon X出現(xiàn)了，影像鏈變成了“傳感器??影像專用NPU??SoC??顯示”，在NPU上追求算法和硬件的緊密耦合，這是一條新的性能上升曲線的出現(xiàn)。

馬里亞納，OPPO先身探索

計算重心前置的價值

首先，新增的MariSilicon X作為影像專用NPU，釋放了原先后端SoC中的影像處理和計算壓力，將計算中心前置。另外MariSilicon X將除了HDR AI降噪之外的復(fù)雜算法都在RAW上實(shí)時處理，這種處理的前移進(jìn)一步保證了后鏈上接收到的影像質(zhì)量。

據(jù)姜波分享，手機(jī)影像從傳感器進(jìn)入之后，一般是三段式，從RAW到RGB到Y(jié)UV，其實(shí)每一段都有信息損耗，目前傳統(tǒng)的SoC上面都是基于YUV做的，比如降噪、HDR等。在RAW域上對于傳感器的最原始數(shù)據(jù)進(jìn)行處理，才能達(dá)到最好的效果。MariSilicon X的實(shí)時RAW處理有著影像線性度、色彩更好的優(yōu)勢，可以保持更多原始信息，實(shí)現(xiàn)更高的處理效果。OPPO的芯片設(shè)計團(tuán)隊(duì)在最初定義這顆芯片時候，就充分考慮了定制化NPU芯片與OPPO定制sensor有一個最緊密的耦合、最大限度的優(yōu)化。

“通過MariSilicon X這顆影像專用芯片，我們達(dá)成了OPPO的自研算法與OPPO自研芯片的深度耦合，以及作為終端廠商，我們看到了整個影像鏈從傳感器的定制開始、到傳感器信號的接收處理、再到圖像處理鏈條的優(yōu)化，讓算法在NPU上做到性能的最大化和最優(yōu)化，這是一種非常深入的垂直整合，相信這也是OPPO作為手機(jī)終端廠商可以達(dá)到的差異化的點(diǎn)。”

推動行業(yè)前進(jìn)的意義

MariSilicon X是OPPO在自己當(dāng)下行業(yè)位置上能夠作出的影像體驗(yàn)最大化的突破。因?yàn)樯袩o自研SoC，所以無法直接在SoC中設(shè)計和調(diào)用NPU和ISP資源來實(shí)現(xiàn)與前端定制傳感器、終端算法的緊密耦合，實(shí)現(xiàn)軟硬件的最佳協(xié)同來達(dá)到其所期用戶體驗(yàn)效果。這種在SoC外掛一個影像專用NPU的方式，固然會給終端增加較高成本，但對于追求用戶體驗(yàn)的OPPO而言并不介意。

OPPO此舉為行業(yè)中計算影像的前進(jìn)提供了一種新的技術(shù)路線，也只有終端廠商在深入了解了用戶的發(fā)展需求之后，才可以進(jìn)行這種探索。因?yàn)殡m然成本的增加較高，但相比手機(jī)終端上極致體驗(yàn)提升而言并不為過；相反手機(jī)SoC廠商作為芯片供應(yīng)商，如果進(jìn)行這種細(xì)致的行業(yè)方向探索，試錯成本會較高。

手機(jī)SoC廠商會不會后期跟進(jìn)這種思路，直接在SoC中為ISP專門開辟NPU的資源，并且提供與之緊密耦合的算法，達(dá)到目前MariSilicon X芯片新建立的旗艦影像體驗(yàn)？非常有這種可能。但我們認(rèn)為這種可能不會成為OPPO的顧慮，反而更是一種利好。首先這種集成從系統(tǒng)角度考慮是一種更好的方案，另外這也會為OPPO帶來的終端上成本降低。對于OPPO而言，走到了對的方向上，走到了行業(yè)的前面，這種意義已經(jīng)足夠。

OPPO新的護(hù)城河顯現(xiàn)：真正造芯能力

一提到終端廠商造芯，行業(yè)內(nèi)有一種理所當(dāng)然的看法是——“直接買IP，交給設(shè)計服務(wù)即可，并沒什么了不起”。出現(xiàn)這種聲音來自兩個方面：一是因?yàn)樾酒O(shè)計的門檻較高，回報周期長，終端廠商確實(shí)難以踏入；二是因?yàn)槟壳靶袠I(yè)內(nèi)IP廠商和芯片設(shè)計服務(wù)已經(jīng)非常成熟，這的確也是行業(yè)內(nèi)不少終端造芯的真實(shí)寫照。但經(jīng)過了對MariSilicon X芯片的全面了解之后，可以看到OPPO絕非如此。

引用行業(yè)內(nèi)資深人士邵魏博士的一句話：“芯片項(xiàng)目是人類歷史上最細(xì)微也是最宏大的工程，研發(fā)投入大，項(xiàng)目收益高，試錯成本極高。”一個芯片需要經(jīng)過芯片設(shè)計、晶圓制造、封裝測試三個重要的環(huán)節(jié)。如果單純看芯片的設(shè)計，需要經(jīng)過需求分析??芯片定義??架構(gòu)設(shè)計??邏輯設(shè)計??物理實(shí)現(xiàn)，以及驗(yàn)證仿真和原型驗(yàn)證等環(huán)節(jié)。不僅如此，在當(dāng)下的芯片產(chǎn)業(yè)中，為了摩爾定律的延續(xù)，芯片設(shè)計者還要與晶圓制造廠、封測廠也保持密切的合作，將芯片在先進(jìn)節(jié)點(diǎn)和封裝上的實(shí)現(xiàn)。

馬里亞納，OPPO先身探索

圖源：極客時間《說透芯片》

為什么說OPPO是具備了真正的造芯能力？首先從MariSilicon X這顆芯片整體來看，這并不是一個小芯片，其中包含了自研NPU核、ISP的核、Arm核、MIPI核、兩層內(nèi)存架構(gòu)等。雖然實(shí)現(xiàn)的功能看起來非常聚焦，但體現(xiàn)了OPPO小到IP核、大到SoC的設(shè)計能力。

馬里亞納，OPPO先身探索

最初的產(chǎn)品定義開始，姜波認(rèn)為是最難的部分，用戶痛點(diǎn)、OPPO能力、呈現(xiàn)價值這三方面需要連起來做思考?！笆紫鹊谝徊绞嵌ㄎ挥脩敉袋c(diǎn)，就是OPPO能做什么，也就是有了這個技術(shù)之后能給用戶呈現(xiàn)什么，以及給到用戶的價值在哪，這是第一步。而且要看解決用戶痛點(diǎn)需要的基礎(chǔ)能力是什么，這個基礎(chǔ)能力其實(shí)涉及方方面面，可能涉及OPPO自己的技術(shù)積累，這個積累包含硬件設(shè)計、已有IP、算法，涉及各個方方面面。能否將這些方面垂直整合起來，實(shí)現(xiàn)至少有一個點(diǎn)是有突破性的，這個點(diǎn)對用戶有價值的（這就是技術(shù)演進(jìn)的難點(diǎn)）?！?/p>

在產(chǎn)品定義之后，MariSilicon X芯片團(tuán)隊(duì)就比著不同部分功能需求，在市場上找合適參數(shù)的IP。6nm的先進(jìn)制程節(jié)點(diǎn)上不是沒有相應(yīng)的IP，但經(jīng)過一番調(diào)研之后，設(shè)計團(tuán)隊(duì)發(fā)現(xiàn)既有的IP并不能滿足其MariSilicon X芯片在終端層面功耗性能極致的要求。所以不論是NPU、ISP，甚至是MIPI接口，MariSilicon X芯片團(tuán)隊(duì)都進(jìn)行了自主的研發(fā)。但也這就意味著每一個自研的IP，理論上都要單獨(dú)經(jīng)過一個Test chip的驗(yàn)證和流片，以確保其滿足預(yù)先設(shè)想的參數(shù)表現(xiàn)。確認(rèn)自研的各個IP沒有問題之后，再將所有的IP進(jìn)行布局和RTL綜合，后面才會進(jìn)行布線、流片和驗(yàn)證的工作。

馬里亞納，OPPO先身探索

在6nm的工藝上，針對每一個自研IP進(jìn)行流片驗(yàn)證，這本身對于這顆NPU的設(shè)計而言就是極大的挑戰(zhàn)。和經(jīng)過多個自研IP的流片驗(yàn)證之后，就會消耗極大的時間和精力。姜波表示，“如果按照那樣的流程，今天我很難做在這兒跟大家share這個芯片，我們克服了好多自研上的問題，尤其是你跑到一個更新的工藝制程上，的確是有更多挑戰(zhàn)的，我們對于自研IP的功耗和性能進(jìn)行了非常精細(xì)的預(yù)研預(yù)判。這里面有很多細(xì)節(jié)，這只是其中一個例子?！?/p>

在芯片制造的過程中，要實(shí)現(xiàn)一顆成熟的芯片，需要在流片、fix、bug修復(fù)、流片的這一過程上反復(fù)完善。但據(jù)姜波透露，OPPO的MariSilicon X芯片一次流片就成功了，這也意味著其只花了一次流片費(fèi)用，并沒有額外的Fix和bug修復(fù)的費(fèi)用。

所以從MariSilicon X的整個誕生的過程，我們可以看到OPPO的造芯能力是實(shí)實(shí)在在，已經(jīng)具備了世界一流的專業(yè)系統(tǒng)級芯片設(shè)計能力。

現(xiàn)在的先進(jìn)芯片設(shè)計者不僅要懂芯片設(shè)計，同樣也要在設(shè)計過程中保持與IP商、晶圓廠的緊密的配合。這種IP設(shè)計能力、系統(tǒng)級芯片設(shè)計能力、和芯片設(shè)計上下游的協(xié)作能力，是OPPO有別與其他終端廠商的新的護(hù)城河。