模糊圖片立刻變清晰 看Google超分辨率技術(shù)RAISR是如何實現(xiàn)的！

網(wǎng)絡(luò)上充斥著大量的圖片，不過，這些圖片的質(zhì)量不都是好的，有些是收帶寬限制人為壓縮的，有的是拍攝設(shè)備不太好，拍的不夠清晰，有的是上傳到網(wǎng)絡(luò)上自動壓縮的，這些都使得畫質(zhì)變差，如今高分辨率顯示屏幕正在家庭和移動設(shè)備上普及，因此，把低分辨率圖片轉(zhuǎn)化為高清晰版本，并可在多種設(shè)備上查看和分享，正在成為一項巨大的需求。日前，Google 推出了一項新技術(shù) RAISR，其全稱是“Rapid and Accurate Image Super-Resolution”，意為“快速、精確的超分辨率技術(shù)”。

RAISR 這項技術(shù)能利用機器學(xué)習(xí)，把低分辨率圖片轉(zhuǎn)為高分辨率圖片。它的效果能達到甚至超過現(xiàn)在的超分辨率解決方案，同時速度提升大約 10 至 100 倍，且能夠在普通的移動設(shè)備上運行。而且，Google 的技術(shù)可以避免產(chǎn)生混疊效應(yīng)(aliasing artifacts)。

之前已經(jīng)具有透過升采樣方式，把低分辨率圖片重建為尺寸更大、像素更多、更高畫質(zhì)圖片的技術(shù)。最廣為人知的升采樣方式是線性方法，即透過把已知的像素值進行簡單、固定的組合，以添加新的像素值。因為使用固定的線性過濾器(一個恒定卷積核對整個圖片的無差別處理)，該方法速度很快。但是它對于重建高清作品里生動的細節(jié)有些力不從心。正如下面這張圖片，升采樣的圖片看起來很模糊，很難稱得上畫質(zhì)提升。

▲ 左為原始圖片;右為升采樣處理后圖片。

對于 RAISR，Google 另辟蹊徑得采用機器學(xué)習(xí)，用一對低分辨率、高分辨率圖片訓(xùn)練該程序，以找出能選擇性應(yīng)用于低分辨率圖片中每個像素的過濾器，這樣能生成媲美原始圖片的細節(jié)。目前有兩種訓(xùn)練 RAISR 的方法：

第一種是“直接”方式，過濾器在成對高、低分辨率圖片中直接學(xué)習(xí)。

第二種方法需要先對低分辨率圖片應(yīng)用低功耗的的升采樣，然后在升采樣圖片和高分辨率圖片的組合中學(xué)習(xí)過濾器。

“直接”方式處理起來更快，但第二種方法照顧到了非整數(shù)范圍的因素，并且更好地利用硬件性能。

無論是哪種方式，RAISR 的過濾器都是根據(jù)圖像的邊緣特征訓(xùn)練的：亮度和色彩梯度、平實和紋理區(qū)域等。這又受到方向(direction，邊緣角度)、強度(strength，更銳利的邊緣強度更高)和黏性(coherence，一項量化邊緣方向性的指標)的影響。以下是一組 RAISR 過濾器，從一萬對高、低分辨率圖片中學(xué)習(xí)得到(低分辨率圖片經(jīng)過升采樣)。該訓(xùn)練過程耗費約 1 小時。

注：3 倍超分辨率學(xué)習(xí)，獲得的 11×11 過濾器集合。過濾器可以從多種超分辨率因素中學(xué)習(xí)獲得，包括部分超分辨率。注意當圖中邊緣角度變化時，過濾器角度也跟著旋轉(zhuǎn)。相似的，當強度提高時，過濾器的銳利度也跟著提高;黏性提高時，過濾器的非均相性(anisotropy)也提高。

從左至右，學(xué)習(xí)得到的過濾器與處理后的邊緣方向有選擇性的呼應(yīng)。舉例來說，最底一行中間的過濾器最適合強水平邊緣(90 度梯度角)，并具有高黏性(直線的而非彎曲的邊緣)。如果這個水平邊緣是低對比度的，那么如同圖中最上一行，另一個過濾器就被選擇。

實際使用中，RAISR 會在已經(jīng)學(xué)習(xí)到的過濾器列表中選擇最合適的過濾器， 應(yīng)用于低分辨率圖片的每一個像素周圍。當這些過濾器被應(yīng)用于更低畫質(zhì)的圖像時，它們會重建出相當于原始分辨率的細節(jié)，這大幅優(yōu)于線性、雙三(bicubic)、蘭索斯(Lancos)解析方式。

▲ RAISR 演算法運行圖式下：原始圖像(左)，2 倍雙三解析(中)，RAISR 效果(右)。

一些運用 RAISR 進行圖片增強的范例：

▲ 上：原始圖片，下：RAISR 2 倍超分辨率效果。

▲ 左：原始圖片，右：RAISR 3 倍超分辨率效果。

超分辨率技術(shù)更復(fù)雜的地方在于如何避免混疊效應(yīng)，例如龜紋(Moire patterns)和高頻率內(nèi)容在低分辨率下渲染產(chǎn)生的鋸齒(對圖像人為降級的情形)。這些混疊效應(yīng)的產(chǎn)物會因?qū)?yīng)部分的形狀不同而變化，并且很難消除。

▲ 左：正常圖像;右：右下角有龜紋(混疊效應(yīng))的圖像。

線性方法很難恢復(fù)圖像結(jié)構(gòu)，但是 RAISR 可以。下面是一個例子，左邊是低分辨率的原始圖片，左 3 和左 5 有很明顯的空間頻率混淆(aliased spatial frequencies)，而右側(cè)的 RAISR 圖像恢復(fù)了其原始結(jié)構(gòu)。RAISR 的過濾器學(xué)習(xí)方法還有一項重要的優(yōu)點：用戶可以把消除噪音以及各類壓縮演算法的產(chǎn)物做為訓(xùn)練的一部分。當 RAISR 被提供相應(yīng)的范例后， 它可以在圖片銳化之外學(xué)會消除這些效果，并把這些功能加入過濾器。

▲ 左：有強混疊效應(yīng)的原始圖片;右：RAISR 處理后效果。

超分辨率技術(shù)利用不同的方法已經(jīng)有了不少進展。如今，透過把機器學(xué)習(xí)與多年來不斷發(fā)展的成像技術(shù)相結(jié)合，圖像處理技術(shù)有了長足的進步，并帶來許多好處。舉例來說，除了放大手機上的圖片，用戶還可以在低分辨率和超高清下捕捉、儲存、傳輸圖像，使用更少的移動網(wǎng)絡(luò)數(shù)據(jù)和儲存空間，而且不會產(chǎn)生肉眼能觀察到的畫質(zhì)降低。

小結(jié)：自從喬布斯 2010 年在 iPhone 4s 上推出“視網(wǎng)膜屏幕”概念之后，數(shù)碼產(chǎn)品市場開啟了一場超高清顯示革命。如今，家用顯示器逐步走向 4K，各大手機廠商也競相推出 2K 旗艦機。但 2K、4K 內(nèi)容的缺乏一直是困擾行業(yè)發(fā)展的痛點。之前的超分辨率技術(shù)受成本、硬件限制，主要應(yīng)用于專業(yè)領(lǐng)域，未能大范圍普及。

此次 Google RAISR 大幅降低了圖像增強的時間成本和硬件要求，有望實現(xiàn)超分辨率技術(shù)在消費領(lǐng)域的應(yīng)用，把充斥網(wǎng)絡(luò)的低畫質(zhì)圖片轉(zhuǎn)化為高清圖片，大幅提高視覺效果和用戶體驗。十分期待將來 RAISR 在移動設(shè)備的應(yīng)用，例如把消費者手機拍攝的照片轉(zhuǎn)化為媲美單反畫質(zhì)的高清美圖。