人工智能在視頻領(lǐng)域的新趨勢與落地應(yīng)用

（文章來源：百家號）

在場景需求的推動下，以及背后算法、算力、數(shù)據(jù)的支撐下，AI 已經(jīng)慢慢走出實驗室，開始擁抱產(chǎn)業(yè)，這其中也包括 RTC 行業(yè)。在實時視頻、實時音頻、實時傳輸、視頻內(nèi)容檢索與推薦、實時交互等層面，都已經(jīng)出現(xiàn)了與 AI 結(jié)合的落地應(yīng)用。

近幾年來，超分辨率在計算機視覺領(lǐng)域逐漸成為一個研究熱點，在圖像的增強、去噪、細節(jié)恢復(fù)，以及圖像放大等方面有著廣泛的應(yīng)用前景，并且也引起了無論是學(xué)術(shù)界還是工業(yè)界的重視。開場，聲網(wǎng)AI算法工程師周世付為大家進行了"深度學(xué)習(xí)在移動端實時視頻超分辨率的應(yīng)用和探索"的主題分享。他分別從超分是如何解決移動RTC的一些痛點，超分的發(fā)展現(xiàn)狀以及存在的問題，以及超分算法在移動RTC的落地過程中遇到的一些挑戰(zhàn)以及聲網(wǎng)在這方面做的一些工作三個方面來展開分享。

"做GAN經(jīng)常會遇到一個問題，就是對抗神經(jīng)網(wǎng)絡(luò)模型容易出現(xiàn)模式坍塌，在超分領(lǐng)域也會存在模式坍塌的問題。聲網(wǎng)Agora做了一些改進，減少模式坍塌發(fā)生的概率。另外在圖像失真度這方面做了一些改進。我們的效果跟ESR來對比，我們能夠比較好的去重構(gòu)，比如說像細節(jié)比較豐富的圖像。"他在分享中談到，"但是，超分的優(yōu)勢很明顯，就是它重構(gòu)出來的效果很好，它也為此要付出一個代價，就是它的運算復(fù)雜度很高。

分享中，他重點介紹了聲網(wǎng)在本屆RTC大會上發(fā)布的聲網(wǎng)Agora實時超分算法。該技術(shù)可以將實時傳輸中的視頻在原有分辨率的基礎(chǔ)上實現(xiàn)兩個方向的2倍同步放大，并獲得顯著的細節(jié)增強。同時支持在云端和移動終端上實時運行，并在移動終端達到非常出色的效果。

視頻網(wǎng)站面臨的挑戰(zhàn)之一就是視頻的分發(fā)，理解用戶，理解視頻內(nèi)容是解決目前視頻網(wǎng)站的一個關(guān)鍵的核心和要點。論壇上，Hulu（美國本土的在線視頻服務(wù)公司）首席研發(fā)經(jīng)理謝曉輝，為大家分享了"視頻內(nèi)容理解與推薦算法實踐"的主題分享。

推薦算法歷史的演進過程，推薦算法其實是研究人的一種科學(xué)。我們需要有一種非常精細的刻畫，然后去真實地理解用戶的興趣和他的意圖。"其次，他從顯式的基于高階語義的標簽刻畫、隱式的嵌入矢量表示、故事與情節(jié)的引人入勝、視覺/聽覺因素的影響四個方面闡釋了對內(nèi)容的深刻理解如何提升推薦系統(tǒng)性能，同時分享了Hulu基于內(nèi)容推薦方面做的探索和實踐，如將標簽精細化、實現(xiàn)標簽集合的擴充等。

具體來說，"我們利用熱播的劇場一些相對豐富的標簽作為標注信息，然后對長尾的內(nèi)容做標簽預(yù)測。我們大概最終支持180個左右的標簽，準確率在0.85左右，某種程度上很多標簽已經(jīng)是可用的程度。這些標簽語義其實非常高，比如大家可以看到，F(xiàn)antasy world等，類似這種語義其實已經(jīng)是非常高的語義。"謝曉輝分享到，"我們還可以利用搜索引擎找到一些初始的種子圖像，在Hulu上面跑，然后經(jīng)過人工篩選，重新構(gòu)成一個訓(xùn)練集，最終去訓(xùn)練我們的模型。"