智慧視覺是新基建等眾多行業(yè)的關(guān)鍵技術(shù)，伴隨著行業(yè)的發(fā)展，畫質(zhì)技術(shù)與AI技術(shù)不斷成熟、相輔相成，并且呈現(xiàn)出越來越強(qiáng)的融合的趨勢。上海海思聚焦端側(cè)技術(shù)，在畫質(zhì)和AI方面堅持投入不斷創(chuàng)新，致力于為行業(yè)伙伴提供最領(lǐng)先的智慧視覺技術(shù)與解決方案。
視覺不但是生物演進(jìn)過程中的里程碑，隨著智能時代的到來，也成為智能終端最重要的基礎(chǔ)能力之一，在交通管理、消費(fèi)電子、工業(yè)智造、智能汽車等諸多領(lǐng)域有著廣泛的應(yīng)用?！盁o圖無真相”，視覺是這些產(chǎn)業(yè)最不可或缺的能力，先后經(jīng)歷了看得見、看得清、看得懂的不斷升級，伴隨著從模擬，到數(shù)字化、網(wǎng)絡(luò)化、智能化的演進(jìn)。在視覺技術(shù)使能的眾多產(chǎn)業(yè)蓬勃發(fā)展的大潮中，海思深耕ISP圖像處理、視頻編解碼、AI計算等核心技術(shù)，以更清晰更智能的視覺SoC芯片方案，與產(chǎn)業(yè)伙伴共同推動產(chǎn)業(yè)從高清到超高清的升級，不斷提升全天候圖像畫質(zhì)，挖掘視頻數(shù)據(jù)價值，使能更多行業(yè)應(yīng)用。
“看得清”仍然是產(chǎn)業(yè)升級的重要動力
從智慧城市、智能汽車等行業(yè)的應(yīng)用來看，視覺技術(shù)面臨的主要挑戰(zhàn)來自全天候圖像捕獲、價值數(shù)據(jù)獲取等方面。雖然目前整個產(chǎn)業(yè)已經(jīng)進(jìn)入4K/8K超高清時代，但是“看得清”仍然是產(chǎn)業(yè)升級動力之一，尤其是低照度、逆光等場景，仍然是業(yè)界公認(rèn)的難題，普遍存在視頻畫質(zhì)差、目標(biāo)不清晰、進(jìn)而影響后續(xù)AI識別率等難題。
海思多年來深耕ISP圖像處理技術(shù)，通過不斷超越的技術(shù)手段，即使在極端的低照度和逆光等場景，也能提供令人驚艷的畫質(zhì)。
在暗光場景，海思綜合利用8級3D降噪和多光譜融合多種技術(shù)提供了業(yè)界最優(yōu)秀的暗光成像品質(zhì)。其中8級3D降噪技術(shù)利用8級濾波器進(jìn)行降噪處理，它可以在空域濾波過程中同時實現(xiàn)圖像去噪和增強(qiáng)，以及在時域濾波過程中混合兩種不同的時間模式。8級3D降噪技術(shù)還包含兩個用于細(xì)節(jié)增強(qiáng)的IE模塊和一個銳化模塊，可以在實現(xiàn)更強(qiáng)的去噪的同時，保留并增強(qiáng)更多的圖像細(xì)節(jié)。而多光譜融合則通過紅外補(bǔ)光，在ISP將可見光、850nm、940nm等常見光譜融合，在不增加光污染的同時，最終使圖像效果達(dá)到暗光全彩，細(xì)節(jié)紋理豐富，過曝區(qū)和非過曝區(qū)準(zhǔn)確處理。
例如在光線不足的地下停車場，海思的8級3D降噪與多光譜融合技術(shù)結(jié)合能夠讓圖像達(dá)到暗光全彩的效果，細(xì)節(jié)紋理更加豐富，噪聲大幅降低，能夠在暗光下精準(zhǔn)記錄信息，大大減少視覺死角。
在逆光等高動態(tài)范圍場景，海思能夠基于圖像目標(biāo)區(qū)域(隧道出入口等)進(jìn)行檢測及分類，實時調(diào)整曝光策略，提升特定區(qū)域的成像效果。在靜態(tài)場景，在目標(biāo)辨識度、整體細(xì)節(jié)、清晰度、色彩飽和度等方面，表現(xiàn)均優(yōu)于業(yè)界領(lǐng)先水平;在出入隧道等動態(tài)場景，海思技術(shù)在實測中表現(xiàn)出曝光準(zhǔn)確，調(diào)整迅速的特點(diǎn)，對行車安全有很大幫助。
“看得懂”使能智慧視覺更豐富的應(yīng)用
近年來數(shù)據(jù)、算力、算法不斷進(jìn)步，特別是視頻數(shù)據(jù)與AI結(jié)合，極大地推動了智能終端的升級和廣泛應(yīng)用。全聯(lián)網(wǎng)、全高清帶來圖像質(zhì)量大幅提升的同時，也帶來龐大數(shù)據(jù)量，從視頻到結(jié)構(gòu)化數(shù)據(jù)的智能轉(zhuǎn)換成為行業(yè)發(fā)展重點(diǎn)。上海海思在2016年布局AI視覺處理芯片，2018年推出跨時代旗艦處理器，引領(lǐng)視覺相關(guān)產(chǎn)業(yè)向AI化發(fā)展，幫助行業(yè)合作伙伴在海量場景中快速獲取價值目標(biāo)信息。
由于端側(cè)的特點(diǎn)，實現(xiàn)算力的同時需要綜合考慮成本、功耗等多種元素。深度神經(jīng)網(wǎng)絡(luò)計算的特點(diǎn)是基于大量的矩陣乘法，分解下來的最基礎(chǔ)單元是MAC乘加運(yùn)算。海思通過自研的達(dá)芬奇魔方架構(gòu)對矩陣乘加計算進(jìn)行加速，并針對智能終端的特點(diǎn)，提供新一代高性價比達(dá)芬奇端側(cè)AI引擎，通過硬件和軟件結(jié)合的優(yōu)化，實現(xiàn)PPA(Performance Power Area)以及MAC利用率大幅領(lǐng)先行業(yè)水平。僅有算力也是不夠的，為了滿足不同的應(yīng)用場景和開發(fā)需求，開發(fā)者還迫切需要更容易使用的開發(fā)套件，高效率高質(zhì)量的完成開發(fā)。海思AI芯片支持業(yè)界主流開發(fā)框架：PyTorch、TensorFlow、Caffe、MindSpore，并且支持ONNX開放神經(jīng)網(wǎng)絡(luò)交換格式，能夠靈活適配不同的開發(fā)框架。
除了基于神經(jīng)網(wǎng)絡(luò)的應(yīng)用，海思還深入分析智慧視覺應(yīng)用的特點(diǎn)，結(jié)合豐富的實戰(zhàn)經(jīng)驗，將部分計算機(jī)視覺的算子直接硬化集成，例如圖像縮放、顏色空間轉(zhuǎn)換、基本濾波處理、目標(biāo)檢測、車牌識別、3D深度檢測等基礎(chǔ)CV算子，不僅運(yùn)算更高效，而且開發(fā)更便捷，可廣泛應(yīng)用在智慧城市、無人機(jī)、機(jī)器人、AGV、輔助駕駛等多種場景。
當(dāng)視覺進(jìn)入AI時代，智慧視覺也逐步成為必不可少的社會效率工具。例如智慧停車場將停車場管理帶入無人值守時代，利用攝像機(jī)+AI自動識別車牌，從取卡到“無感”，降低了人力和卡片維護(hù)系統(tǒng)成本，提升了駕車出行的效率。
從刷卡到非接觸打卡，從人員值守到快速通勤，智慧視覺在辦公場景的應(yīng)用也大大提升了園區(qū)管理的效率。2020年疫情期間，實體打卡、接觸式指紋識別打卡逐漸被智能打卡取代：多通道智慧視覺能力被應(yīng)用于眾多智慧打卡機(jī)、通道閘機(jī)中，與多維感知融合，提升通勤效率同時減少人員接觸，有力保障了園區(qū)有序管理。
視覺與AI的深度融合是產(chǎn)業(yè)發(fā)展的大勢所趨
基于濾波等傳統(tǒng)技術(shù)的圖像處理技術(shù)在暗光、寬動態(tài)等場景的效果逐漸遇到一定的瓶頸，獲得顯著的改進(jìn)越來越困難，而利用AI進(jìn)行圖像增強(qiáng)逐漸成為研究新熱點(diǎn)并取得了顯著的進(jìn)展。根據(jù)海思研究表明，利用神經(jīng)網(wǎng)絡(luò)技術(shù)對圖像中的噪聲進(jìn)行檢測和去除，疊加多光譜技術(shù)不僅更好的區(qū)分了運(yùn)動物體和靜止背景，而且改善噪聲形態(tài)及提高信噪比，0.1 Lux下智能識別率預(yù)估可達(dá)到95%以上。除了暗光去噪，AI還可用于寬動態(tài)DRC等多種場景。近年來AI對靜態(tài)照片的優(yōu)化已經(jīng)廣泛應(yīng)用于高端手機(jī)的相機(jī)拍照并獲得了不錯的效果，而視覺行業(yè)的特點(diǎn)要求能夠?qū)Ω叻直媛?、高幀率的視頻應(yīng)用AI進(jìn)行實時調(diào)優(yōu)，對算法算力的要求更高，特別是如何在端側(cè)算力環(huán)境下高效實現(xiàn)AI ISP功能，獲得相比傳統(tǒng)ISP更優(yōu)的效果，是海思以及產(chǎn)業(yè)伙伴正在探索的方向。
視覺與AI是新基建眾多領(lǐng)域的關(guān)鍵技術(shù)，也是智能終端最重要的基礎(chǔ)能力，它們在數(shù)據(jù)、算法、算力的推動下不斷進(jìn)步，滿足更多行業(yè)和場景的應(yīng)用需求，并且呈現(xiàn)出越來越強(qiáng)的融合的趨勢。上海海思能力覆蓋感知、計算、聯(lián)接、表達(dá)、以及半導(dǎo)體工程工藝等多方面，特別是以視覺產(chǎn)業(yè)為基礎(chǔ)，在端側(cè)視覺感知、AI計算領(lǐng)域有深厚的經(jīng)驗和業(yè)界領(lǐng)先的核心能力，堅持投入，不斷創(chuàng)新，為行業(yè)伙伴提供最領(lǐng)先的技術(shù)與解決方案，為智慧城市、智慧家庭、智慧出行等場景的智能終端打造性能領(lǐng)先、安全可靠的半導(dǎo)體基石。
下載文檔
