120Hz刷新率的手機(jī)屏幕雖好 但還需要插幀技術(shù)來幫忙

這兩年，高刷新率屏幕除了在PC、筆記本端開始流行以外，在手機(jī)上也作為重要的賣點(diǎn)出現(xiàn)了，今年更是作為最新的流行趨勢(shì)成為新一代熱點(diǎn)，市場(chǎng)上不斷涌現(xiàn)出屏幕刷新率為90Hz、120Hz的新手機(jī)。

這塊占據(jù)手機(jī)正面絕大比例的屏幕可以說是手機(jī)硬件的窗戶，它直觀地提供著更為流暢更為真實(shí)的畫面，毫無疑問，高刷新率屏幕將會(huì)是未來手機(jī)的標(biāo)配。而最近發(fā)布的Oppo Find X2 Pro和一加8系列手機(jī)上面除了將屏幕的刷新率提高到120Hz以外，還另外使用了名為MEMC的視頻插幀技術(shù)，這是為什么呢？

與觀看現(xiàn)實(shí)景物不同的是，我們通過屏幕看到的并不是“毫無間隔”的連續(xù)景象，而其實(shí)是一幀幀畫面。這些畫面在極短的時(shí)間內(nèi)迅速地顯現(xiàn)、消失，通過視覺殘留現(xiàn)象讓人腦誤以為是連貫的。一般而言，單位時(shí)間內(nèi)人眼看到的連續(xù)幀越多，我們對(duì)影像的主觀感受即為更真實(shí)更自然，這也是高刷新率屏幕提升用戶體驗(yàn)的核心要點(diǎn)。

舉一個(gè)簡(jiǎn)單的例子，下面的這張動(dòng)圖很清晰地描述了不同幀率間的區(qū)別：最左邊以15fps運(yùn)動(dòng)的方塊有明顯的卡頓感，而最右邊以60fps運(yùn)動(dòng)的方塊則相當(dāng)流暢。那這跟MEMC視頻插幀技術(shù)有什么關(guān)系呢？我們平常看到的視頻都是低幀率的嗎？

高刷新率的屏幕需要高幀率的內(nèi)容

是的，你答對(duì)了。我們平?？吹降木W(wǎng)絡(luò)視頻，或者是在電影院里看到的電影等等大多都是以24、25或30fps呈現(xiàn)的，少數(shù)內(nèi)容會(huì)以60fps的形式出現(xiàn)，他們有什么區(qū)別呢？仔細(xì)觀看下面這張動(dòng)圖中的籃球，是不是覺得最右邊的籃球不管怎么動(dòng)都很清晰，而最左邊的在下落時(shí)是模糊的？對(duì)了，這就是高幀率視頻最為直觀的好處，即使視頻內(nèi)容中的主體在高速運(yùn)動(dòng)，它也能讓你看清楚細(xì)節(jié)。

既然高幀率視頻有這樣的好處，那為什么我們現(xiàn)在的視頻還都是24、25或30fps的呢？這是由歷史原因造成的。

回想一下你在各種地方見過的電影、電視劇或是各種家庭錄像，是不是很少見到以60fps形式呈現(xiàn)的，尤其是電影，基本上全部都是24fps的。電影工業(yè)在上個(gè)世紀(jì)三十年代將拍攝與播放的幀率統(tǒng)一成了24fps，而后電視廣播系統(tǒng)有的用25fps（PAL），有的用30fps（NTSC），這些上個(gè)時(shí)代的制作方式一直被保留了下來，雖然近期在影視行業(yè)內(nèi)部也有不少換用高幀率制作的制作人和作品，但對(duì)于大局并沒有產(chǎn)生太大的影響，未來很長(zhǎng)一段時(shí)間內(nèi)低幀率的影視內(nèi)容仍然將占據(jù)絕對(duì)主流。

跟隨著影視行業(yè)腳步成長(zhǎng)起來的網(wǎng)絡(luò)視頻和短視頻制作行業(yè)自然也是遵從著前人們的經(jīng)驗(yàn)，沿用著低幀率制作手法。但隨著移動(dòng)互聯(lián)網(wǎng)以及智能設(shè)備的發(fā)展，內(nèi)容與設(shè)備硬件能力之間的矛盾逐漸顯現(xiàn)出來了：手機(jī)屏幕的刷新率已經(jīng)往90Hz，甚至120Hz去了，而我們?nèi)粘Ｓ^看到的視頻內(nèi)容中只有少部分采用了60fps，大部分仍然停留在低幀率基準(zhǔn)上，我們?cè)谟^看視頻時(shí)沒能用上硬件的能力，豈不是有些浪費(fèi)？

原因還是像上面所說的，短時(shí)間內(nèi)并不會(huì)有很多內(nèi)容創(chuàng)作者切換去制作高幀率內(nèi)容，而是逐漸地使用以高幀率為基準(zhǔn)的制作手法，這將是一個(gè)相當(dāng)漫長(zhǎng)的過渡過程。在這個(gè)漫長(zhǎng)的過渡期中，我們只好用一些過渡手段，比如說，我們自己來造高幀率的內(nèi)容，怎么造呢？

這時(shí)候就要請(qǐng)出在電視和PC上面已經(jīng)有較為成熟應(yīng)用的插幀技術(shù)，它可以對(duì)低幀率內(nèi)容進(jìn)行補(bǔ)充，讓它“升級(jí)”成高幀率的。這項(xiàng)技術(shù)需要一定量的計(jì)算，可以由CPU做通用計(jì)算完成，也可以將計(jì)算任務(wù)交給專門的插幀芯片來處理，而隨著半導(dǎo)體工藝的進(jìn)步，專門的插幀芯片已經(jīng)可以做進(jìn)手機(jī)，于是，我們?cè)诮衲昕吹搅薕PPO和一加將硬件插幀這套解決方案集成進(jìn)新機(jī)型中，在手機(jī)端達(dá)成了對(duì)視頻進(jìn)行插幀這樣的目標(biāo)。

插幀技術(shù)的簡(jiǎn)要原理

說了那么多，我們還是簡(jiǎn)單地講一講插幀技術(shù)是什么，以及它的實(shí)現(xiàn)原理。插幀的意思就是往原本連貫的兩幀圖像之間插入新的幀，這個(gè)幀可以是重復(fù)之前幀的復(fù)制幀，可以是全黑的黑幀，也可以是通過計(jì)算得到的介于兩幀之間的中間幀。

插重復(fù)幀和插黑幀都是比較簡(jiǎn)單的插幀手法，兩者都能解決視頻幀率不夠的問題，但是效果一般，其中前者比較常見，PC上有些視頻播放器會(huì)自動(dòng)在播放幀率不夠60Hz的視頻時(shí)插入復(fù)制幀以達(dá)成同步。而插黑幀則是在減少拖影，改善動(dòng)態(tài)畫面等方面有著更好的表現(xiàn)，但是會(huì)讓顯示器/電視犧牲掉一定的亮度。

而最后一種插幀方法—;—;插入中間幀—;—;就需要通過計(jì)算來產(chǎn)生了，目前的中間幀一般都是通過運(yùn)動(dòng)預(yù)測(cè)與補(bǔ)償（Motion Estimation/Motion Compensation）算法來計(jì)算得到的，它可以是對(duì)圖像進(jìn)行全局分析進(jìn)行計(jì)算，也可以是先將圖像進(jìn)行分塊然后再計(jì)算。

插幀中的運(yùn)動(dòng)預(yù)測(cè)與補(bǔ)償算法邏輯跟視頻編碼中所使用的算法有點(diǎn)像，常見的插幀算法同樣是將畫面分成一定大小的塊，然后通過比對(duì)兩幀之間的差異尋找出現(xiàn)運(yùn)動(dòng)的塊，通過分析圖像塊的運(yùn)動(dòng)趨勢(shì)，再輔以計(jì)算得到中間幀。

插幀技術(shù)已經(jīng)來到我們身邊

在登陸手機(jī)之前，插幀技術(shù)已經(jīng)在我們身邊的一些電子設(shè)備上面有應(yīng)用了，其中效果比較好且比較常見的就是各種電視機(jī)，比如索尼在旗下電視機(jī)中引入的Motionflow技術(shù)就是其中的代表。

從示意圖上可以看到，Motionflow技術(shù)將插黑幀與插中間幀相結(jié)合，實(shí)現(xiàn)了將原本幀率為60fps的輸入源插幀到240fps的特性。應(yīng)用在電視機(jī)上面的插幀技術(shù)有效減少了拖影，提高了動(dòng)態(tài)清晰度，提升了人們觀影時(shí)的體驗(yàn)?，F(xiàn)在很多電視機(jī)廠商都已經(jīng)引入類似Motionflow的插幀技術(shù)了，比如國(guó)內(nèi)的一些互聯(lián)網(wǎng)電視品牌都將該技術(shù)作為一大賣點(diǎn)來宣傳。

而在PC端上面，插幀技術(shù)也早已被人們應(yīng)用，甚至AMD直接將這類技術(shù)扶正，由顯卡硬件提供相關(guān)支持，也就是Fluid Motion Video。因?yàn)橛泄俜降闹С?，它便利好用效果不錯(cuò)，被不少玩家所贊譽(yù)，可惜目前新一代的RDNA架構(gòu)暫時(shí)還不支持該特性。還有像Smooth Video Project（SVP）這樣的插幀軟件，能夠充分利用PC硬件算力對(duì)視頻進(jìn)行插幀?？偠灾?，對(duì)視頻內(nèi)容進(jìn)行插幀的目的就是提高視頻的流暢度。

高幀率是星辰大海

如果高幀率是星辰大海，那么插幀技術(shù)就是我們沖向這片大海的沖鋒艇。由于影視行業(yè)的轉(zhuǎn)向還很漫長(zhǎng)，短時(shí)間內(nèi)我們需要通過插幀的手段來“提前”感受高幀率視頻的好處，除了傳統(tǒng)的基于MEMC的插幀算法外，現(xiàn)在業(yè)界還在研究基于人工智能的插幀技術(shù)，以彌補(bǔ)傳統(tǒng)插幀算法在復(fù)雜場(chǎng)景下會(huì)出現(xiàn)的缺陷問題，比如由上海交大Bao Wenbo博士等人研發(fā)出來的DAIN插幀算法就利用上了神經(jīng)網(wǎng)絡(luò)。

這些新的由深度學(xué)習(xí)提供支持的算法已經(jīng)得到了廣泛的應(yīng)用，上至百年前的電影，下至近幾年的新片，它都能夠很好地應(yīng)對(duì)，比如我們之前就介紹過有人將百年前的《火車進(jìn)站》插幀至60fps，其中使用的正是上面介紹過的DAIN算法，其實(shí)際效果還是相當(dāng)優(yōu)秀的。

高幀率儼然已經(jīng)成為時(shí)代新聲，不管是高刷新率屏幕還是高幀率內(nèi)容，都是人們?cè)谧非蟮男迈r玩意兒。在這個(gè)天天對(duì)著屏幕看的數(shù)字時(shí)代，高幀率應(yīng)用直接有效地提升著我們使用設(shè)備時(shí)的體感，讓眼睛看到的景象更為自然合理。

原本我們?cè)陔娨暬騊C端才能夠體驗(yàn)到由插幀技術(shù)補(bǔ)足的視頻內(nèi)容，現(xiàn)在隨著硬件插幀功能被手機(jī)集成，我們?cè)谑謾C(jī)端也能夠享受到它在視覺體驗(yàn)上面帶來的巨大提升，每時(shí)每刻都可以體驗(yàn)到60幀甚至120幀的影視內(nèi)容，可以說是大大降低了體驗(yàn)高幀率內(nèi)容的門檻，讓那塊高刷新率屏幕物有所值。

毫無疑問，插幀技術(shù)走入手機(jī)是一件好事，因?yàn)楹玫募夹g(shù)需要被大范圍的推廣開來為普通用戶所知，才能成為真正優(yōu)秀的技術(shù)。如果說之前的插幀技術(shù)是小眾玩物的話，那么在手機(jī)廠商的推動(dòng)下，它有望變成一項(xiàng)大眾技術(shù)，被更多人感知到，在視覺層面上提供更好的體驗(yàn)，受益的，是每天都要用手機(jī)進(jìn)行娛樂的我們。同時(shí)，插幀技術(shù)的流行也能夠讓更多內(nèi)容創(chuàng)作者選擇制作原生高幀率的內(nèi)容來滿足新時(shí)代用戶們的新需求。