這兩年，高刷新率屏幕除了在PC、筆記本端開始流行以外，在手機上也作為重要的賣點出現(xiàn)了，今年更是作為最新的流行趨勢成為新一代熱點，市場上不斷涌現(xiàn)出屏幕刷新率為90Hz、120Hz的新手機。
這塊占據(jù)手機正面絕大比例的屏幕可以說是手機硬件的窗戶，它直觀地提供著更為流暢更為真實的畫面，毫無疑問，高刷新率屏幕將會是未來手機的標配。而最近發(fā)布的Oppo Find X2 Pro和一加8系列手機上面除了將屏幕的刷新率提高到120Hz以外，還另外使用了名為MEMC的視頻插幀技術，這是為什么呢？
與觀看現(xiàn)實景物不同的是，我們通過屏幕看到的并不是“毫無間隔”的連續(xù)景象，而其實是一幀幀畫面。這些畫面在極短的時間內(nèi)迅速地顯現(xiàn)、消失，通過視覺殘留現(xiàn)象讓人腦誤以為是連貫的。一般而言，單位時間內(nèi)人眼看到的連續(xù)幀越多，我們對影像的主觀感受即為更真實更自然，這也是高刷新率屏幕提升用戶體驗的核心要點。
舉一個簡單的例子，下面的這張動圖很清晰地描述了不同幀率間的區(qū)別：最左邊以15fps運動的方塊有明顯的卡頓感，而最右邊以60fps運動的方塊則相當流暢。那這跟MEMC視頻插幀技術有什么關系呢？我們平?？吹降囊曨l都是低幀率的嗎？
高刷新率的屏幕需要高幀率的內(nèi)容
是的，你答對了。我們平?？吹降木W(wǎng)絡視頻，或者是在電影院里看到的電影等等大多都是以24、25或30fps呈現(xiàn)的，少數(shù)內(nèi)容會以60fps的形式出現(xiàn)，他們有什么區(qū)別呢？仔細觀看下面這張動圖中的籃球，是不是覺得最右邊的籃球不管怎么動都很清晰，而最左邊的在下落時是模糊的？對了，這就是高幀率視頻最為直觀的好處，即使視頻內(nèi)容中的主體在高速運動，它也能讓你看清楚細節(jié)。
既然高幀率視頻有這樣的好處，那為什么我們現(xiàn)在的視頻還都是24、25或30fps的呢？這是由歷史原因造成的。
回想一下你在各種地方見過的電影、電視劇或是各種家庭錄像，是不是很少見到以60fps形式呈現(xiàn)的，尤其是電影，基本上全部都是24fps的。電影工業(yè)在上個世紀三十年代將拍攝與播放的幀率統(tǒng)一成了24fps，而后電視廣播系統(tǒng)有的用25fps（PAL），有的用30fps（NTSC），這些上個時代的制作方式一直被保留了下來，雖然近期在影視行業(yè)內(nèi)部也有不少換用高幀率制作的制作人和作品，但對于大局并沒有產(chǎn)生太大的影響，未來很長一段時間內(nèi)低幀率的影視內(nèi)容仍然將占據(jù)絕對主流。
跟隨著影視行業(yè)腳步成長起來的網(wǎng)絡視頻和短視頻制作行業(yè)自然也是遵從著前人們的經(jīng)驗，沿用著低幀率制作手法。但隨著移動互聯(lián)網(wǎng)以及智能設備的發(fā)展，內(nèi)容與設備硬件能力之間的矛盾逐漸顯現(xiàn)出來了：手機屏幕的刷新率已經(jīng)往90Hz，甚至120Hz去了，而我們?nèi)粘Ｓ^看到的視頻內(nèi)容中只有少部分采用了60fps，大部分仍然停留在低幀率基準上，我們在觀看視頻時沒能用上硬件的能力，豈不是有些浪費？
原因還是像上面所說的，短時間內(nèi)并不會有很多內(nèi)容創(chuàng)作者切換去制作高幀率內(nèi)容，而是逐漸地使用以高幀率為基準的制作手法，這將是一個相當漫長的過渡過程。在這個漫長的過渡期中，我們只好用一些過渡手段，比如說，我們自己來造高幀率的內(nèi)容，怎么造呢？
這時候就要請出在電視和PC上面已經(jīng)有較為成熟應用的插幀技術，它可以對低幀率內(nèi)容進行補充，讓它“升級”成高幀率的。這項技術需要一定量的計算，可以由CPU做通用計算完成，也可以將計算任務交給專門的插幀芯片來處理，而隨著半導體工藝的進步，專門的插幀芯片已經(jīng)可以做進手機，于是，我們在今年看到了OPPO和一加將硬件插幀這套解決方案集成進新機型中，在手機端達成了對視頻進行插幀這樣的目標。
插幀技術的簡要原理
說了那么多，我們還是簡單地講一講插幀技術是什么，以及它的實現(xiàn)原理。插幀的意思就是往原本連貫的兩幀圖像之間插入新的幀，這個幀可以是重復之前幀的復制幀，可以是全黑的黑幀，也可以是通過計算得到的介于兩幀之間的中間幀。
插重復幀和插黑幀都是比較簡單的插幀手法，兩者都能解決視頻幀率不夠的問題，但是效果一般，其中前者比較常見，PC上有些視頻播放器會自動在播放幀率不夠60Hz的視頻時插入復制幀以達成同步。而插黑幀則是在減少拖影，改善動態(tài)畫面等方面有著更好的表現(xiàn)，但是會讓顯示器/電視犧牲掉一定的亮度。
而最后一種插幀方法—;—;插入中間幀—;—;就需要通過計算來產(chǎn)生了，目前的中間幀一般都是通過運動預測與補償（Motion Estimation/Motion Compensation）算法來計算得到的，它可以是對圖像進行全局分析進行計算，也可以是先將圖像進行分塊然后再計算。
插幀中的運動預測與補償算法邏輯跟視頻編碼中所使用的算法有點像，常見的插幀算法同樣是將畫面分成一定大小的塊，然后通過比對兩幀之間的差異尋找出現(xiàn)運動的塊，通過分析圖像塊的運動趨勢，再輔以計算得到中間幀。
插幀技術已經(jīng)來到我們身邊
在登陸手機之前，插幀技術已經(jīng)在我們身邊的一些電子設備上面有應用了，其中效果比較好且比較常見的就是各種電視機，比如索尼在旗下電視機中引入的Motionflow技術就是其中的代表。
從示意圖上可以看到，Motionflow技術將插黑幀與插中間幀相結合，實現(xiàn)了將原本幀率為60fps的輸入源插幀到240fps的特性。應用在電視機上面的插幀技術有效減少了拖影，提高了動態(tài)清晰度，提升了人們觀影時的體驗?，F(xiàn)在很多電視機廠商都已經(jīng)引入類似Motionflow的插幀技術了，比如國內(nèi)的一些互聯(lián)網(wǎng)電視品牌都將該技術作為一大賣點來宣傳。
而在PC端上面，插幀技術也早已被人們應用，甚至AMD直接將這類技術扶正，由顯卡硬件提供相關支持，也就是Fluid Motion Video。因為有官方的支持，它便利好用效果不錯，被不少玩家所贊譽，可惜目前新一代的RDNA架構暫時還不支持該特性。還有像Smooth Video Project（SVP）這樣的插幀軟件，能夠充分利用PC硬件算力對視頻進行插幀?？偠灾?，對視頻內(nèi)容進行插幀的目的就是提高視頻的流暢度。
高幀率是星辰大海
如果高幀率是星辰大海，那么插幀技術就是我們沖向這片大海的沖鋒艇。由于影視行業(yè)的轉(zhuǎn)向還很漫長，短時間內(nèi)我們需要通過插幀的手段來“提前”感受高幀率視頻的好處，除了傳統(tǒng)的基于MEMC的插幀算法外，現(xiàn)在業(yè)界還在研究基于人工智能的插幀技術，以彌補傳統(tǒng)插幀算法在復雜場景下會出現(xiàn)的缺陷問題，比如由上海交大Bao Wenbo博士等人研發(fā)出來的DAIN插幀算法就利用上了神經(jīng)網(wǎng)絡。
這些新的由深度學習提供支持的算法已經(jīng)得到了廣泛的應用，上至百年前的電影，下至近幾年的新片，它都能夠很好地應對，比如我們之前就介紹過有人將百年前的《火車進站》插幀至60fps，其中使用的正是上面介紹過的DAIN算法，其實際效果還是相當優(yōu)秀的。
高幀率儼然已經(jīng)成為時代新聲，不管是高刷新率屏幕還是高幀率內(nèi)容，都是人們在追求的新鮮玩意兒。在這個天天對著屏幕看的數(shù)字時代，高幀率應用直接有效地提升著我們使用設備時的體感，讓眼睛看到的景象更為自然合理。
原本我們在電視或PC端才能夠體驗到由插幀技術補足的視頻內(nèi)容，現(xiàn)在隨著硬件插幀功能被手機集成，我們在手機端也能夠享受到它在視覺體驗上面帶來的巨大提升，每時每刻都可以體驗到60幀甚至120幀的影視內(nèi)容，可以說是大大降低了體驗高幀率內(nèi)容的門檻，讓那塊高刷新率屏幕物有所值。
毫無疑問，插幀技術走入手機是一件好事，因為好的技術需要被大范圍的推廣開來為普通用戶所知，才能成為真正優(yōu)秀的技術。如果說之前的插幀技術是小眾玩物的話，那么在手機廠商的推動下，它有望變成一項大眾技術，被更多人感知到，在視覺層面上提供更好的體驗，受益的，是每天都要用手機進行娛樂的我們。同時，插幀技術的流行也能夠讓更多內(nèi)容創(chuàng)作者選擇制作原生高幀率的內(nèi)容來滿足新時代用戶們的新需求。
下載文檔
