21ic電子網訊：金秋九月，手機市場變得異常熱鬧，大有你方唱罷我登場的陣勢——魅族MX3剛發(fā)布，小米3、索尼Xperia Z1、Galaxy Note III、iPhone 5S/C、OPPO N1陸續(xù)熱鬧登場……幾乎無一例外，相機功能成為了這些業(yè)界矚目的明星產品主要功能訴求之一。在智能手機日趨同質化的今天，相機也成為了廠商在產品宣傳上重點進行差異化的焦點之一，防抖動、高速連拍、美顏……各種功能特性扯足眼球。
正所謂外行熱鬧，內行看門道，各種宣傳說辭背后，是軟硬件技術實力的比拼。手機相機受尺寸限制，難免先天不足——鏡頭必須盡量小以適應手機相機的封裝，這導致圖像傳感器獲取的圖像信號難以像數碼相機一樣的出色，因此作為數碼相機功能的關鍵功能模塊的圖像處理器（ISP）擔當起了提升圖像傳感器捕獲的圖像質量的“重任”。
在這些“明星”產品中，魅族MX3手機相機公開采用了富士通4通道ISP芯片。無獨有偶，在當前國內外多個主流品牌的熱門機型中，包括魅族MX2、三星Galaxy Note II和Galaxy ZOOM，以及OPPO的幾款主流主流手機產品中，我們也能發(fā)現富士通ISP技術的身影。為此，筆者近日特別采訪了富士通半導體公司圖像處理技術負責人Holmes 沈，期待挖掘出手機相機ISP的“那些事”。
解析主流數碼相機ISP Milbeaut的技術基因
富士通數碼相機ISP產品家族基于其2000年開始推出的圖像處理器Milbeaut技術，目前已經發(fā)展到第六代。作為數碼相機產品的核心器件，Milbeaut算是實實在在的“幕后英雄”， 其名號并不為大多數人所知，甚至網上也難以搜到太多相關介紹。但Holmes拋出的第一個數據就讓人不得不對Milbeaut刮目相看：“Milbeaut占據全球數碼相機ISP市場超過50%的份額，全球知名數碼相機廠商幾乎都與我們有合作，在單反數碼相機中同樣有大量的成功應用。”
近年來，高像素相機逐漸成為中高端手機的主流配置，而獨立ISP具有的突出圖形處理能力，開始替代500萬像素時代的集成ISP，這類獨立ISP開始走向手機應用的舞臺。當前智能手機廠商大都傾向于采用專用的ISP，因為這樣能實現可以與高端數碼相機媲美的圖像質量和性能。而富士通半導體公司基于其占據數碼相機市場領先優(yōu)勢的圖像處理器Milbeaut開發(fā)了針對手機相機應用的Milbeaut Mobile ISP系列，成功地將其在數碼相機ISP芯片上的領先技術成功復制到手機相機應用上。據悉，在日本廠商生產的配備800萬像素以上攝像頭的終端中，富士通的圖像處理LSI確保了近80％的份額。
“在2008年，第三代Milbeaut Mobile ISP就率先采用了多種在數碼相機中成功應用的功能，如靜態(tài)圖像拍照的連續(xù)自動對焦、人臉識別、。”Holmes指出，“第六代Milbeaut Mobile ISP MBG046就采用了幾乎所有的相機功能，而且還具有高清視頻（1920x1080像素）連續(xù)自動對焦，以及市場需求視頻處理器。”在采訪中，Holmes對Milbeaut的領先功能特性如數家珍：“MBG046基本的功能特性包括實時轉換和校正來自傳感器的信號，并輸出到應用處理器。ISP針對手機相機系統進行了優(yōu)化，能使應用處理器直接顯示接收到的圖像數據，并無需修改直接存儲這些數據……”按照Holmes的詳細介紹，Milbeaut Mobile ISP MBG046主要功能特性可以總結如下：
高速圖像處理。MBG046圖像處理器執(zhí)行基本的圖像處理功能，可以實現每秒24幀、每幀8MB的圖像處理，以及每秒超過30幀的高清圖像處理。幾乎所有的基本圖像處理功能由硬件實現，從而可以實現很高的處理速度和低功耗。此外，由于應用處理器是手機相機在圖像處理的流程中的下一級，如果來自傳感器的數據不能及時轉換以及進行校準處理，對于拍攝視頻這種對響應速度很敏感的應用來說，就會存在延時的問題。Milbeaut Mobile ISP通過將由圖像處理器單元處理過的圖像數據直接發(fā)送到圖像輸出單元，而不是通常方案中經由SDRAM進行各種插值處理，從而實現了快速處理，消除了信號轉換、校正處理導致的延時。
超強的噪聲消除功能。由于Milbeaut Mobile ISP產品面對的相機應用一般不可能采用可與數碼相機媲美的相機鏡頭，要保證圖像質量具有挑戰(zhàn)性，特別是處理圖像噪聲非常重要。因此，MBG046圖像處理器采用了比數碼相機更強大的機制來保證對亮度噪聲和色彩噪聲的消除。為消除噪聲同時不降低分辨率，在MBG046中采用了最新的技術，從而可以同時采用不同的噪聲消除方法以匹配圖像質量。
優(yōu)化的軟件配置。軟件處理是相機系統中的一個重要部分，是硬件序列控制和“3A”（自動白平衡調整、自動曝光調整、自動對焦調整）運算不可或缺的部分。設計上，富士通將那些涉及復雜處理，但是運算量輕的任務轉移到軟件實現，而將運算量很大的圖像數據處理由專用硬件實現。這樣的配置能讓更多的CPU資源用于額外的軟件圖像處理（運動補償、人臉識別等），從而可以讓系統更靈活，也能將更多資源用于實現先進的處理性能。
定制化設計服務帶來差異設計機會
芯片的技術特性之外，Holmes還非常強調富士通針對客戶需求提供定制化設計服務的價值。“技術支持是客戶看重富士通的另外一個方面，我們可以根據客戶對相機功能、性能的定義，結合我們的專業(yè)Knowhow去幫助客戶最快實現產品市場化。”Holmes指出，“比如最新發(fā)布的魅族MX3手機，在產品定義的階段，我們的十多位技術專家組成的技術支持團隊就參與進去了。”
魅族MX3發(fā)布獲得業(yè)界廣泛好評，尤其其相機功能采用四通道富士通ISP，實現了同等配置下諸多突破性的性能設計——每秒20張連拍、零延時拍照技術、第四代白平衡算法， MX3采用的富士通四通道ISP芯片與傳統的雙通道ISP相比傳輸速度快兩倍……而這些獨特的功能特性背后是大量對關鍵技術的設計探討和創(chuàng)新探索，如在魅族公開宣傳中提到的針對第四代白平衡算法進行了數萬次優(yōu)化；“零延時拍照”技術在按下拍照鍵的瞬間，巧妙地從前面1/8秒中挑選出最佳的畫面，從而避開快門抖動。
富士通強調的三大核心競爭力：品質、生態(tài)系統和技術支持
Holmes還提到另外一個定制化的設計細節(jié)——在MX3的相機方案中，富士通工程師團隊通過與魅族設計團隊聯合設計，實現了前置200萬像素攝像頭與后置800萬像素攝像頭共享同一顆ISP，這樣確保了前后相機拍照時照片品質的一致性。而此前，很多前置攝像頭采用了傳感器模塊內置ISP進行前拍圖像處理，照片的一致性通常難以保證。
“事實上，這樣的定制化設計服務在很多主要客戶中進行，這種貼身的定制化設計合作，可以幫助客戶借用我們的專業(yè)經驗彌補他們的不足。”Holmes指出，“數碼相機設計涉及到大量的專業(yè)技術知識和IP，這不僅是很多手機廠商所欠缺的，甚至也是很多ISP廠商所難以具備的，因為這背后是需要大量的案例和時間的技術積累。”據悉，富士通目前負責Milbeaut產品的工程師團隊超過150人，這其中大部分都具有8、9年的研發(fā)經驗。“大陸的研發(fā)團隊與客戶的設計團隊一起工作，他們豐富的經驗能滿足絕大部分的客戶需求，對于更深層的技術定制化需求，富士通日本的核心團隊可以參與提供支持。”Holmes說道。
未來發(fā)展趨勢對ISP要求更多
近日，有專業(yè)分析人士認為，2014年業(yè)界將推出1600萬像素手機，2015年手機可能出現2k、4k需求，人臉識別以及手勢功能即將成為高端手機的標配……除了更高的像素，這些發(fā)展趨勢對相機模塊主要特性提出更高的要求，例如更高幀率，更突出的3A性能、更具挑戰(zhàn)性的低功耗設計等等。
“對于智能手機應用而言，低功耗特性是個永遠的話題。”Holmes指出，“如何利用軟硬件優(yōu)化，甚至借助獨特的工藝技術來實現低功耗都是ISP供應商必須解決的挑戰(zhàn)。”據悉，目前富士通M10MO ISP在1080P@30FPS下的平均功耗約280mW，是業(yè)界很低的水平。“未來我們可能借助40nm甚至20nm及以下的半導體工藝實現更低的功耗。”Holmes表示。在低功耗方面，富士通擁有SuVolta公司的深度耗盡溝道（DDC）技術授權，采用該技術可以將芯片功耗進一步降低15~20%。富士通最新推出的MB86S22AA Milbeau圖像處理器就是業(yè)界首款基于DDC晶體管的芯片，與現有產品相比就實現了約兩倍的處理性能，而功耗卻降低了30%。
“另外值得指出的是，更高像素的圖像處理以及2K、4K視頻將與當前的圖像處理方式存在很大的差異，將要求更高的帶寬，成本、功耗也將面臨很大壓力，這都對圖像處理器供應商的技術能力帶來很大的挑戰(zhàn)。”Holmes指出。據Holmes透露，富士通支持諸多領先新特性的ISP產品預計今年年底或明年初面市，將支持16M@30FPS拍照、H.264視頻壓縮格式、1080P@60FPS視頻功能等等。而且在算法上將有新的升級，包括采用新的噪聲消除算法、新的CI算法。
關于即將面市的Milbeaut Mobile ISP新品還有哪些突出功能和性能？電路設計和算法上將有哪些創(chuàng)新思路？對手機相機將產生哪些影響？對于這些問題，Holmes沒有透露更多技術細節(jié)，我們拭目以待吧。
下載文檔
