PROPHESEE 攜手高通，神經(jīng)擬態(tài)視覺技術(shù)助力手機(jī)影像質(zhì)量突破新高

· 人類對(duì)世界的認(rèn)識(shí)并非基于柵格(raster-based)或基于幀(frame-based)。Prophesee 事件視覺傳感器受人眼視覺原理啟發(fā)，能夠修復(fù)由傳統(tǒng)圖像傳感器造成的運(yùn)動(dòng)模糊及其他圖像質(zhì)量問題，特別是在高動(dòng)態(tài)場景和低光照環(huán)境下，能夠使手機(jī)影像更接近真實(shí)體驗(yàn)。

· 高通技術(shù)公司是高端手機(jī)技術(shù)的全球領(lǐng)導(dǎo)者，雙方合作將加速 Prophesee 的解決方案在手機(jī)行業(yè)的快速部署。

· 雙方將攜手優(yōu)化 Prophesee Metavision 神經(jīng)擬態(tài)事件視覺傳感技術(shù)(包括傳感器和軟件)與驍龍移動(dòng)平臺(tái)的深度融合。相關(guān)開發(fā)套件將由 Prophesee 于今年內(nèi)推出。

2023 年 2 月 28 日，中國上海 ——Prophesee 與高通技術(shù)公司今日宣布，雙方將合作優(yōu)化 Prophesee Metavision 事件視覺傳感器與高通驍龍移動(dòng)平臺(tái)的深度融合，為智能手機(jī)提供神經(jīng)擬態(tài)視覺技術(shù)在速度、性能和成像質(zhì)量方面的優(yōu)勢。借助 Prophesee 事件視覺傳感器的異步像素檢測以及連續(xù)事件流輸出，為智能手機(jī)廠家提供一種高效快速的途徑來顯著提升相機(jī)影像性能，特別是在高速移動(dòng)的動(dòng)態(tài)場景(例如運(yùn)動(dòng)場景)以及低光照環(huán)境下。此外，Prophesee 正在開發(fā)一個(gè)開發(fā)套件，以支持搭載驍龍平臺(tái)的下一代設(shè)備集成 Metavision 傳感器技術(shù)。

圖1 – 運(yùn)動(dòng)場景：高速運(yùn)動(dòng)場景的初步去模糊結(jié)果，通過結(jié)合 Prophesee Metavision 傳感技術(shù)(包括傳感器和算法)與驍龍平臺(tái)獲得

高通產(chǎn)品管理副總裁 Judd Heape 表示：“神經(jīng)擬態(tài)視覺技術(shù)突破了行業(yè)現(xiàn)有的游戲規(guī)則，能夠解決傳統(tǒng)相機(jī)的局限并提升整體用戶體驗(yàn)，Prophesee 無疑是這一領(lǐng)域的領(lǐng)導(dǎo)者，我們有信心雙方的合作將進(jìn)一步推動(dòng)領(lǐng)先的 OEM 部署神經(jīng)擬態(tài)視覺技術(shù)，從而開啟移動(dòng)影像技術(shù)的全新時(shí)代。” Judd Heape 補(bǔ)充道： “由于事件相機(jī)的成像不受快門的限制，即便是在惡劣的環(huán)境下，也能夠顯著提升搭載驍龍的下一代智能手機(jī)的影像性能，為我們的客戶解鎖一系列全新的可能性?！?

圖2 - 高通產(chǎn)品管理副總裁 Judd Heape 在驍龍峰會(huì)上介紹 Prophesee Metavision 技術(shù)

Prophesee 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Luca Verre 表示：“我們很高興能夠與高通建立戰(zhàn)略合作關(guān)系，共同推動(dòng)事件視覺技術(shù)與驍龍生態(tài)的集成與發(fā)展。高通驍龍是全球最受歡迎的移動(dòng)平臺(tái)之一，通過此次合作，產(chǎn)品開發(fā)人員將能夠大幅提升手機(jī)攝影的性能及影像質(zhì)量，優(yōu)化用戶體驗(yàn)，這是基于幀的傳統(tǒng)成像方式難以實(shí)現(xiàn)的?！?

工作原理

Prophesee 突破性的事件視覺傳感器能夠?yàn)槭謾C(jī)攝影提供全新的感知維度。由于事件視覺傳感僅關(guān)注場景中的動(dòng)態(tài)變化，能夠迅速響應(yīng)并連續(xù)追蹤像素變化，從而打破了傳統(tǒng)的成像范式。

Metavision 傳感器中的每個(gè)像素都有一個(gè)內(nèi)嵌的邏輯核(logic core)，使其能夠作為神經(jīng)元來工作。 每個(gè)像素都能根據(jù)各自感應(yīng)到的光子數(shù)量，異步且智能地激活自身。像素的每次激活稱為一個(gè)“事件(event)”，所以在本質(zhì)上，事件是由場景動(dòng)態(tài)驅(qū)動(dòng)的，其采集速度也始終與實(shí)際場景動(dòng)態(tài)相匹配。

通過同步 Prophesee 事件傳感器和基于幀的傳感器的數(shù)據(jù)，手機(jī)攝影可以實(shí)現(xiàn)高性能的圖像去模糊。系統(tǒng)能夠?qū)⑹录鞲衅饕晕⒚霝閱挝挥涗浀氖录畛涞絻蓭瑘D像的間隙，通過算法提取純動(dòng)態(tài)信息，從而修復(fù)運(yùn)動(dòng)模糊。

支持 Prophesee 事件視覺傳感技術(shù)的開發(fā)套件預(yù)計(jì)將于今年上市。