當(dāng)前位置:首頁 > 芯聞號 > 充電吧
[導(dǎo)讀]AI 換臉又一次刷爆了朋友圈最近云畢業(yè)正當(dāng)時,各家科技公司順勢推出了自己的 AI 換臉技術(shù),結(jié)果又被同學(xué)們玩壞了!換臉這件事絕不能少了業(yè)界大佬們!不得不說,好看是不分性別的,彥宏兄氣質(zhì)滿分!仔細(xì)來看,

AI 換臉又一次刷爆了朋友圈

最近云畢業(yè)正當(dāng)時,各家科技公司順勢推出了自己的 AI 換臉技術(shù),結(jié)果又被同學(xué)們玩壞了!

換臉這件事絕不能少了業(yè)界大佬們!

不得不說,好看是不分性別的,彥宏兄氣質(zhì)滿分!

仔細(xì)來看,AI 換臉技術(shù)近些年還是成熟不少,整體的面部貼合度、細(xì)節(jié)處理都有了明顯的提升。近日,Deepfake 領(lǐng)域再一次取得了重要突破。據(jù)了解,迪士尼公司公布了一項最新研究成果,聲稱其人臉交換技術(shù)可達(dá)到業(yè)內(nèi)最高水平。

從效果圖來看,果然一點挑不出毛??!

據(jù)了解,迪士尼研究室與蘇黎世聯(lián)邦理工學(xué)院合作基于 GAN 提出了一種新型算法,它可以自動實現(xiàn)圖像 / 視頻中的人臉交換,同時保證數(shù)百萬級的高分辨率。

更值得關(guān)注的是,目前這項研究成果已初步計劃用于好萊塢大片制作,據(jù)說因為它可以改善電影質(zhì)量和后期制作成本。

走進(jìn)好萊塢大片的 Deepfake

人臉交換在電影行業(yè)并不罕見。在一些好萊塢大片經(jīng)常會用到替身演員完成一些專業(yè)的、高難度動作。為了保證電影效果,后期制作會花費大量成本。然而常見的計算機(jī)圖形合成技術(shù),效果常常差強(qiáng)人意,甚至?xí)轮嘏摹?/p>

這在時間和金錢方面都是非常大的成本消耗,因此,迪士尼公司特此聯(lián)合蘇黎世聯(lián)邦理工學(xué)院開展了此項合作研究。

近日,迪士尼公司對外宣稱,他們研究了一款新型人臉交換技術(shù),可用于電影或電視劇制作。他們聲稱該技術(shù)可在人臉交換過程中產(chǎn)生高分辨率,逼真的圖像 / 視頻,非常適合大屏幕播放。

局部融合更考驗換臉的技術(shù)難度。為了驗證算法性能,研究人員他們沒有對人臉的眼部、唇部等局部器官進(jìn)行了融合,效果也是非常驚人。

基于圖一,圖二、三分別進(jìn)行了唇部和眼部的局部人臉融合,可以看出局部融合度非常高,高清、自然,看不出一點破綻。同時它能夠隨著唇部抖動實時貼合,毫無跳脫感。而且研究人員證實,視頻中的人臉交換一般比靜態(tài)圖像效果更好。

局部人臉交換在動態(tài)視頻中的融合優(yōu)勢,這在電影場景中是非常必要的。

更值得關(guān)注的是它可以產(chǎn)生百萬級像素的分辨率。不過,研究人員表示他們采用了一種漸進(jìn)式的方法(Progressive Training)對源視頻 / 圖像進(jìn)行預(yù)訓(xùn)練,算法可從中提取較高分辨率圖像。下圖可明顯看到經(jīng)訓(xùn)練的人臉像素遠(yuǎn)高于未經(jīng)訓(xùn)練的結(jié)果。

研究人員介紹,基于高清分辨率和局部融合技術(shù)的新型算法最大限度地擴(kuò)展了人臉交換在電影中的應(yīng)用。除了替身演員的全臉交換外,如需要刻畫一位年齡逐漸增長的任務(wù)或已經(jīng)進(jìn)入垂暮之年的老人,可以根據(jù)需要為角色添加細(xì)微皺紋、發(fā)型和體態(tài)。

另外,它可以與其他作品完成表演上的替換,當(dāng)然這里可以對原視頻的背景和光照進(jìn)行特殊處理,以使他可以融入電影場景中。這也是區(qū)別于傳統(tǒng)后期制作的一種新方法。

基于梳狀模型的最新算法

那么這項 AI 換臉技術(shù)是如何實現(xiàn)的呢?我們先來看一組完整的換臉路徑圖:

人臉交換源的完整示意圖

步驟 1 和 2:對源圖像進(jìn)行面部識別、特征提取,以及標(biāo)準(zhǔn)化剪裁(1024x1024);

步驟 3:將圖像輸入通用編碼器進(jìn)行模型訓(xùn)練;

步驟 4:將解碼后輸出的圖像與需要匹配的目標(biāo)進(jìn)行多頻帶混合,最終得到人臉交換后的效果圖。

其中通用編碼器的訓(xùn)練模型是一個關(guān)鍵,這里研究人員采用的是一種漸進(jìn)式梳狀網(wǎng)絡(luò)結(jié)構(gòu)(Comb Model)面部交換主要是通過域轉(zhuǎn)移的方法來實現(xiàn)。我們使用通用編碼器將經(jīng)預(yù)處理的圖像嵌入共享的潛在空間中,然后使用與之對應(yīng)的解碼器將這些嵌入映射回像素空間中。通常域轉(zhuǎn)移主要在這兩個空間中進(jìn)行切換,但在本文中,研究人員擴(kuò)展了一種新的思路。

如我們圖中看到的,經(jīng)編碼器處理的圖像,被解碼器分支到 P 個域中,研究人員將這種架構(gòu)成為梳狀模型。這里各個編碼器就相當(dāng)于梳狀結(jié)構(gòu)的 “齒子”。

在這里,單個梳狀模型可以處理多個源目標(biāo)的人臉融合,而且與雙向模型相比,它可以有效減少訓(xùn)練的時間,同時明顯提高圖像的保真度。

如前文所說,模型訓(xùn)練采用的是一種漸進(jìn)式的方式。該過程通過對高分辨率圖像進(jìn)行下采樣,得到低分辨率圖像,然后在訓(xùn)練中再逐步輸入高分辨率,逐漸擴(kuò)展網(wǎng)絡(luò)的容量,最終得帶高保真圖像。

不過,這里要注意的是,最終輸出的圖像分辨率會受到原始數(shù)據(jù)集圖像分辨率的限制。如果數(shù)據(jù)集缺乏高分辨率,可以采用超分辨率的方式對圖像進(jìn)行預(yù)處理,不過最好采用特定于面部的 SR 訓(xùn)練方法。

除此之外,研究人員介紹,梳狀模型和多頻帶的混合策略,還有助于保持融合背景的光線和對比度。

對比分析,優(yōu)勢明顯

研究人員將漸進(jìn)式梳狀模型與目前三種開源的人臉技術(shù),分別為 Deepfake、DeepFaceLab 和 Nirkin et aI 進(jìn)行了對比研究。其中,Nirkin et aI 采用三維可變模型,不需要預(yù)訓(xùn)練。后兩者采用 Y 形自動編碼器結(jié)構(gòu)的實現(xiàn)。

人臉交換方法的比較

本次試驗對五組人臉進(jìn)行了對比。前兩列分別源圖像和目標(biāo)圖像,需要進(jìn)行 AI 融合,從之后的圖像可以看,本次研究模型在細(xì)節(jié)融合、圖像分辨率以及陰影處理上,要高于其他算法模型。

而且,它采用的多頻帶混合在消除偽影方面要明顯優(yōu)于泊松混合。DeepFakes 和 DeepFaceLab 都的使用是泊松混合(Poisson)。

不過,研究也存在明顯的局限性,比如顯示無法對戴眼鏡的人進(jìn)行穩(wěn)定的人臉交換,不是因為眼鏡部分無法渲染,而是無法將臉部與周圍圖像混合。研究人員曾嘗試調(diào)整輸入源與之相匹配,但結(jié)果時好時壞。

不過,研究人員也解釋在實際應(yīng)用或電影場景中,可能影響不大。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險,如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點: 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉