像素不夠，后期修圖來(lái)湊？
在知乎搜索低像素修圖，結(jié)果求助帖多到刷不完，而且從PS技巧、插件神器到各類(lèi)修圖App教程多到眼花繚亂，重點(diǎn)是效果不知道會(huì)怎么樣。
不過(guò)，近日杜克大學(xué)（Duke University）研究團(tuán)隊(duì)開(kāi)發(fā)了一款A(yù)I修圖黑科技PULSE，可以解決所有低像素?zé)?。?jù)說(shuō)它能夠?qū)D像原始分辨率放大64倍，任何渣畫(huà)質(zhì)都可以秒變高清、逼真圖像，甚至被打了馬賽克的人臉圖像，毛孔、皺紋，頭發(fā)也都能被清晰還原。
馬賽克秒變高清人像
PULSE是一種新型超分辨率算法，它通過(guò)潛在空間探索對(duì)照片采樣，可以將16x16像素的低分辨率（Low Resolution，簡(jiǎn)稱(chēng)LR）放大到1024x1024像素的高分辨率（High Resolution，簡(jiǎn)稱(chēng)HR），在幾秒內(nèi)增加了64倍，而傳統(tǒng)方法最多只能放大8倍。
先來(lái)看一組示例，修圖界最難處理的LR大頭照，經(jīng)過(guò)PULSE也可以秒變高清、細(xì)膩的圖像。
更重要的是，PULSE可以定位面部的關(guān)鍵特征，以更高分辨率生成一組類(lèi)似的細(xì)節(jié)。圖中盡管頭像被打上了馬賽克，PULSE也可以自行“想象”出諸如眉毛、睫毛、頭發(fā)、臉型等面部細(xì)節(jié)，形成高清、逼真人像。
不過(guò)，過(guò)度虛化產(chǎn)生的人像只是一種虛擬的新面孔，事實(shí)上它并不存在。正因如此，這項(xiàng)技術(shù)不能用于身份識(shí)別。比如監(jiān)控?cái)z像頭拍攝的失焦、無(wú)法辨別的圖片，不能通過(guò)PULSE還原成真實(shí)存在的人像。
一位杜克大學(xué)研究小組的計(jì)算機(jī)科學(xué)家Cynthia Rudin說(shuō)“此前從來(lái)沒(méi)有如此超高分辨率的圖像被制作出來(lái)，它能夠產(chǎn)生不存在的新面孔，而且看起來(lái)很真實(shí)”。
同時(shí)，她補(bǔ)充到，這項(xiàng)研究所采取的技術(shù)可以廣泛應(yīng)用于醫(yī)學(xué)、顯微鏡、天文學(xué)，以及衛(wèi)星圖像等領(lǐng)域。另外，該研究團(tuán)隊(duì)已將論文已經(jīng)發(fā)表至預(yù)印論文庫(kù)arVix，同時(shí)被IEEE國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議（CVPR 2020）收錄。
“縮減損失”，超越常規(guī)修圖法
對(duì)于一個(gè)LR圖像，傳統(tǒng)將HR分辨率部分匹配給LR圖像而獲取超高分辨率（SR）的方式，往往會(huì)導(dǎo)致HR圖像出現(xiàn)感光度差、不平滑，畫(huà)面失真的情況。
在本次研究中，杜克大學(xué)研究團(tuán)隊(duì)開(kāi)拓了一種新思路，提出新型超分辨率算法PULSE，它不是遍歷LR圖像來(lái)慢慢添加細(xì)節(jié)，而是發(fā)現(xiàn)與HR相對(duì)應(yīng)的LR，通過(guò)“縮減損失”的方式得到SR圖像。
原始LR(第一行),PULSE輸出HR（中間行）,HR對(duì)應(yīng)的LR(最后一行)
PULSE使用了生成對(duì)抗網(wǎng)絡(luò)（GAN），它是一種訓(xùn)練模型，顧名思義，通過(guò)對(duì)抗博弈的方式來(lái)進(jìn)行目標(biāo)訓(xùn)練。其主要結(jié)構(gòu)包括一個(gè)生成器（Generator）和一個(gè)鑒別器（Discriminator），在同一組照片訓(xùn)練中，一個(gè)負(fù)責(zé)訓(xùn)練接收到的圖像并輸出，一個(gè)負(fù)責(zé)接收該輸出，并檢驗(yàn)其是否足夠逼真。
以下是與原圖對(duì)比后的試驗(yàn)結(jié)果：
圖中，第一行為原圖，第二行為通過(guò)“縮減損失”得到的HR所對(duì)應(yīng)的LR，而第三行經(jīng)過(guò)PULSE得到的HR，可以看出，盡管與原圖還存在細(xì)微的差別，但還原度已經(jīng)非常高。
論文中表明，為了檢驗(yàn)PULSE在SR方面的優(yōu)勢(shì)，杜克大學(xué)研究團(tuán)隊(duì)采用4種不同的圖像縮放方法與其進(jìn)行了比較研究。本次研究利用CelebA HQ數(shù)據(jù)集中的1440張圖像，以x8，x64的比例因子，對(duì)LR面部圖像，尤其是眼部、唇部以及頭發(fā)等細(xì)節(jié)之處進(jìn)行了試驗(yàn)。
PULSE呈現(xiàn)出了明顯的優(yōu)勢(shì)，尤其是在X64分辨率下，模糊頭像被完全還原，尤其是在眼唇等細(xì)節(jié)之處，其他方法幾乎達(dá)不到這樣的效果。
另外，針對(duì)測(cè)試結(jié)果，研究人員采用感知超分辨率常見(jiàn)的MOS測(cè)試方式，邀請(qǐng)五位評(píng)分者對(duì)圖像結(jié)果進(jìn)行了1-5的打分，結(jié)果顯示，HR源高清圖像分辨率得分為3.74，而PULSE達(dá)到了3.60，僅差0.14，可以說(shuō)幾乎達(dá)到了真實(shí)的高質(zhì)量圖像的水平。
不過(guò)，研究人員也承認(rèn)PULSE還不是很完美。它產(chǎn)生的高分辨率圖像與專(zhuān)業(yè)原圖像相比還有一定的差別。但隨著技術(shù)和工具的改進(jìn)，這項(xiàng)技術(shù)會(huì)被一點(diǎn)點(diǎn)的完善。
現(xiàn)在研究團(tuán)隊(duì)已經(jīng)將PULSE發(fā)布到Github開(kāi)源平臺(tái)，而且收割了569科顆星星。有修圖煩惱的朋友可以安裝體驗(yàn)一下~（Github地址：https://github.com/adamian98/pulse）
視頻會(huì)員活動(dòng)匯總>>
愛(ài)奇藝視頻會(huì)員限時(shí)優(yōu)惠5折
優(yōu)酷視頻會(huì)員年卡5折購(gòu)(99元)
騰訊視頻會(huì)員年費(fèi)99元/京東plus聯(lián)合年卡128元
芒果TV 13個(gè)月 98元（6.16-6.22）
下載文檔
