圖像處理與計(jì)算機(jī)視覺一體化：未來的必然趨勢(shì)

消費(fèi)者和企業(yè)總想“以少獲多”，并且總會(huì)這樣做；這也在無形中推動(dòng)了我們的市場(chǎng)發(fā)展，為技術(shù)創(chuàng)新者創(chuàng)造了無限機(jī)會(huì)。在系統(tǒng)領(lǐng)域，“以少獲多”往往意味著“高度集成”。將更多功能集中到一個(gè)芯片中可以降低成本，使解決方案在價(jià)格敏感的市場(chǎng)上更具競(jìng)爭(zhēng)力，還可以降低功耗，延長(zhǎng)電池壽命，減少移動(dòng)或遠(yuǎn)程應(yīng)用的維護(hù)，解決充電難題。

我們已經(jīng)習(xí)慣許多終端設(shè)備中使用AI驅(qū)動(dòng)的計(jì)算機(jī)視覺（CV）。目前，許多ADAS（高級(jí)駕駛輔助系統(tǒng)）應(yīng)用程序主要用于防撞（包括向前行駛和倒車）、車道偏離檢測(cè)，當(dāng)然，更多的是用于自動(dòng)和半自動(dòng)車輛。無人機(jī)不再依賴我們導(dǎo)航、感知和躲避障礙物。AR（增強(qiáng)現(xiàn)實(shí)）和VR（虛擬現(xiàn)實(shí)）設(shè)備需要與視覺結(jié)合的人工智能來感知我們的位置和姿勢(shì)，以確保低延遲的優(yōu)質(zhì)體驗(yàn)（最大限度避免暈動(dòng)?。榱藴p少存儲(chǔ)需求，用于運(yùn)動(dòng)/動(dòng)作相機(jī)的攝像頭正趨向于利用AI來捕捉重要的視頻序列，。設(shè)施安全應(yīng)用程序同樣只需捕獲重要序列，比如在畫面中移動(dòng)的人，更重要的是避免持續(xù)的人工監(jiān)視。

為什么我們希望將圖像處理添加到這些功能中呢？可以從任何需要一個(gè)廣角視圖，甚至是360度全景視圖的用例開始，我們已經(jīng)熟悉了在最近一些汽車的前/后視圖屏幕上可以選擇顯示俯視圖。這是如何做到的？其方法是通過拼接兩個(gè)或多個(gè)相機(jī)的視圖，然后進(jìn)行矯正，以生成某種程度的無失真圖像。當(dāng)然，圖像渲染的質(zhì)量水平各不相同，有的圖像明顯沒有其他圖像那么清晰。其中一個(gè)重要應(yīng)用是在倒車時(shí)利用后視攝像頭檢測(cè)障礙物，并自動(dòng)觸發(fā)剎車。

從中，我們可以更加深入地了解圖像處理的重要性。OEM（原始設(shè)備制造商）不希望使用多個(gè)后視攝像頭（成本高昂），他們更希望選用配備廣角鏡頭的單一攝像頭。你可能見過這些“魚眼”鏡頭捕捉的圖像有趣，但高度失真。這種失真的矯正處理（實(shí)時(shí)自適應(yīng)去扭曲校正）不僅僅是為了美觀，而是在通過神經(jīng)網(wǎng)絡(luò)處理圖像以檢測(cè)目標(biāo)之前的必要步驟。許多安全應(yīng)用程序同樣需要做此類預(yù)處理。如果可以使用帶矯正功能的單個(gè)魚眼鏡頭，而不是多個(gè)攝像頭，那么整個(gè)設(shè)備就會(huì)更便宜。

圖像穩(wěn)定是另一個(gè)重要應(yīng)用，尤其是對(duì)于體育活動(dòng)領(lǐng)域的消費(fèi)者而言。如果你要從滑雪斜坡上滑下來，或者從巖石嶙峋的山腰騎車下來，你肯定不希望你的頭戴式相機(jī)記錄下顛簸的畫面。大多數(shù)人都希望所有不平穩(wěn)的動(dòng)作能平穩(wěn)成像。圖像處理還可以幫助在低光條件下增強(qiáng)對(duì)比度，也可以支持自動(dòng)對(duì)焦應(yīng)用。雖然這些功能需要不同類型的處理元件，但是將它們組合到一個(gè)高效的嵌入式處理器中就可以集中實(shí)現(xiàn)所有性能，優(yōu)化功率，更重要的是可以降低許多價(jià)格敏感性應(yīng)用設(shè)備的成本。

這些想法很好，但是這樣高度集成的解決方案會(huì)不會(huì)很快被下一代產(chǎn)品所淘汰？或者在下一次的網(wǎng)絡(luò)訓(xùn)練中得到更差的處理效果？畢竟，神經(jīng)網(wǎng)絡(luò)算法的發(fā)展非?？臁Ｄ銓⑷绾螒?yīng)對(duì)這些變化？首先，你需要圖形編譯器的支持。該編譯器能夠從行業(yè)標(biāo)準(zhǔn)的學(xué)習(xí)平臺(tái)映射到目標(biāo)網(wǎng)絡(luò)，并通過選擇每個(gè)層的定點(diǎn)位寬來優(yōu)化目標(biāo)網(wǎng)絡(luò)。其次，你必須按要求重新設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)架構(gòu)，并且能夠模擬更新，以優(yōu)化功率和性能，然后重新運(yùn)行編譯器，將訓(xùn)練好的網(wǎng)絡(luò)映射到你更新的設(shè)備上。

此外，還需要為圖像處理提供充足的冗余，以便于可以充分利用最新技術(shù)。進(jìn)一步了解CEVA NeuPro-解決方案如何實(shí)現(xiàn)該目標(biāo)。