50倍效率做CG 這家公司能讓“阿凡達(dá)”變?nèi)崭瑒?/h1>
在這家公司位于上海虹橋的拍攝影棚內(nèi),四周布滿了光學(xué)捕捉攝像頭,身穿貼著光學(xué)標(biāo)記點(diǎn)的動(dòng)捕服和動(dòng)捕頭盔的演員正按照導(dǎo)演設(shè)置的情節(jié)做著夸張的動(dòng)作和表情。
與此同時(shí),演員們的表演數(shù)據(jù)實(shí)時(shí)傳入魔琺科技自研的軟件中。完成肢體、手指動(dòng)作、表情和眼神捕捉只是完成動(dòng)畫制作的第一步??紤]到虛擬角色和演員的身體、臉型比例、拓?fù)浣Y(jié)構(gòu)等等方面的差異,接下來系統(tǒng)要自動(dòng)完成表情和眼神重定向的步驟。
這時(shí)候,導(dǎo)演可以從顯示器觀看虛擬角色的動(dòng)畫效果,如果覺得不滿意,就會(huì)喊 cut 讓演員重拍。拍攝完成后,動(dòng)畫師會(huì)針對(duì)原始動(dòng)畫進(jìn)行精修和 CG 特效等后期制作,最終輸出由真人演員映射的虛擬角色的動(dòng)畫視頻。
這是魔琺科技的 AI 表演動(dòng)畫制作流程。自去年 10 月獲得數(shù)千萬人民幣天使輪融資后,今年 6 月,魔琺科技又獲得數(shù)億人民幣 A 輪融資。投資方來自紅杉資本、晨興資本、頭頭是道等,華興資本擔(dān)任獨(dú)家財(cái)務(wù)顧問。從泛娛樂內(nèi)容行業(yè)切入,魔琺科技創(chuàng)始人柴金祥稱,過去一年已經(jīng)在影視動(dòng)畫和游戲內(nèi)容制作實(shí)現(xiàn)了 0 到 1 的突破。
拓展業(yè)務(wù)維度是接下來的目標(biāo)之一。柴金祥稱,團(tuán)隊(duì)希望今年在虛擬 IP 線上直播、短視頻,線下互動(dòng)上做出「標(biāo)桿案例」,下一步的業(yè)務(wù)方向是打造應(yīng)用于教育、服務(wù)等行業(yè)的人工智能虛擬助手。
50 倍效率的 CG 怎么做? ? ?
喜愛好萊塢大片的影迷不難理解動(dòng)作捕捉。《阿麗塔》就是通過對(duì)扮演者羅莎·薩拉扎爾的動(dòng)作捕捉后進(jìn)行 CG 制作的電影角色,而這里的「動(dòng)作概念」更為寬泛,同時(shí)包括肢體動(dòng)作,手勢(shì),面部表情和眼神。
傳統(tǒng)制作一部動(dòng)畫,需要分為手繪、建模、綁定、分鏡、動(dòng)畫、燈光特效、后期剪輯幾大部分。據(jù)柴金祥稱,「一位高級(jí)的動(dòng)畫師一天能夠生產(chǎn)一秒鐘高質(zhì)量 3D 動(dòng)畫?!箘?dòng)捕技術(shù)的出現(xiàn)極大地解放了動(dòng)畫師的雙手。
從 1990 年,《全面回憶》首次引入動(dòng)捕技術(shù)至今,動(dòng)捕技術(shù)已經(jīng)發(fā)展了近三十年,雖然有《阿凡達(dá)》、《復(fù)仇者聯(lián)盟》等等使用動(dòng)捕技術(shù)的巔峰之作出現(xiàn),但是高難度和高成本也成為此項(xiàng)技術(shù)廣泛應(yīng)用于動(dòng)畫制作的門檻。
國(guó)外不乏優(yōu)秀的光學(xué)動(dòng)捕方案公司。深耕在肢體和手勢(shì)捕捉的英國(guó)動(dòng)捕公司 Vicon 就是其中一家,Vicon 不同程度上承擔(dān)了超過三十部好萊塢大片,包括《阿凡達(dá)》、《馴龍高手 2》等等。據(jù)柴金祥稱,好萊塢大片會(huì)選取不同的單點(diǎn)技術(shù)公司(分別從事肢體和手勢(shì),表情,眼神)做表演捕捉,然后拼湊在一起,再用人力精修。無可挑剔的視覺效果和巨大的制作成本是成正比的。
如何用技術(shù)解放「生產(chǎn)力」是柴金祥一開始就思考的問題。2000 年柴金祥博士攻讀卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)學(xué)院人工智能和機(jī)器人專業(yè)。公司成立一年多以來,魔琺科技研發(fā)出了集合肢體、手勢(shì),表情和眼神捕捉以及運(yùn)動(dòng),表情和眼神重定向六個(gè)技術(shù)的 AI 表演動(dòng)畫系統(tǒng)。雖然公司成立時(shí)間不長(zhǎng),但是柴金祥表示,這是自己和帶領(lǐng)的 15 個(gè)博士生在運(yùn)動(dòng)捕捉和人工智能動(dòng)畫領(lǐng)域?qū)⒔甑姆e累成果。
不過,魔琺科技沒有走「技術(shù)輸出」路線,而是為 B 端客戶制作和生產(chǎn)三維動(dòng)畫「成品」。柴金祥透露這樣做的原因有兩個(gè):一是動(dòng)捕技術(shù)對(duì)于 B 端客戶來說操作難度大;二是傳統(tǒng)動(dòng)畫制作依然是勞動(dòng)密集型產(chǎn)業(yè),行業(yè)普遍生產(chǎn)效率低,質(zhì)量參差不齊,在他看來售賣硬、軟件技術(shù)對(duì)行業(yè)變革不大。
「如果談競(jìng)爭(zhēng)對(duì)手的話,那就是勞動(dòng)密集型的傳統(tǒng)動(dòng)畫制作外包市場(chǎng)。」柴金祥說道,在 AI 表演動(dòng)畫加持下,動(dòng)畫師只需要承擔(dān)真人演員做不了的特效畫面,和最終的動(dòng)畫精修,對(duì)比傳統(tǒng)動(dòng)畫制作,制作效率能達(dá)到 50-60 倍的提升。
數(shù)據(jù)顯示,2017 年全球電子游戲消費(fèi)達(dá)到 7495 億元,全球付費(fèi)玩家已破 10 億;2017 年僅中國(guó)的動(dòng)漫產(chǎn)業(yè)市場(chǎng)規(guī)模就已經(jīng)達(dá)到了 1518.1 億元。
尤其是國(guó)產(chǎn)漫畫領(lǐng)域,雖然技術(shù)越來越成熟,但是漫長(zhǎng)的制作周期無法滿足周更,甚至日更的市場(chǎng)需求。柴金祥在游戲和影視動(dòng)畫中看到了潛力和機(jī)會(huì),「我們的打法基本上是從最頭部的客戶開始做,然后往下延展。」柴金祥透露,團(tuán)隊(duì)今年會(huì)替某頭部影視動(dòng)畫公司制作一部 15 集的番劇。
技術(shù)會(huì)反哺內(nèi)容?!负芏鄡?nèi)容行業(yè)從業(yè)者認(rèn)為,無所謂當(dāng)前的技術(shù)有多差,內(nèi)容是能先做出來的。實(shí)際上,技術(shù)至少能保證內(nèi)容出來的體驗(yàn)不低于某個(gè)閾值。」柴金祥稱,「等我們將制作成本降下來,內(nèi)容行業(yè)的人才愿意投入更多成本構(gòu)思(動(dòng)畫)情節(jié)。」
虛擬 IP 的市場(chǎng)有多大?
A 輪融資后,柴金祥表示會(huì)加速團(tuán)隊(duì)建設(shè)和業(yè)務(wù)擴(kuò)展。團(tuán)隊(duì)目前積極探索的領(lǐng)域包括虛擬形象直播、短視頻,以及虛擬形象線下互動(dòng),涵蓋 3D 卡通形象,二次元虛擬偶像,名人 IP 等等。據(jù)魔琺科技介紹,如果客戶對(duì)直播精度不高,魔琺科技提供消費(fèi)級(jí)產(chǎn)品,實(shí)現(xiàn)演員不用穿戴動(dòng)捕服和頭盔,僅僅通過攝像頭就能驅(qū)動(dòng) 3D 卡通角色進(jìn)行直播。
IP 的市場(chǎng)有多大?拿二次元虛擬偶像為例,自從日本虛擬偶像初音未來誕生以來,已經(jīng)在全球俘獲超過 6 億粉絲,2017 年,初音未來在上海的演唱會(huì)票價(jià)最高達(dá)到了 1480 元。這背后是快速增長(zhǎng)的二次元用戶群體,以及虛擬偶像延展到線下活動(dòng)、短視頻、周邊、品牌合作等方面的巨大潛力。
而在探索虛擬形象直播的業(yè)務(wù)上,魔琺科技也希望從中游內(nèi)容制作,走向上游 IP 開發(fā)和策劃。柴金祥表示,因?yàn)橛耙晞?dòng)畫和游戲的制作周期比較長(zhǎng),魔琺科技只專注于內(nèi)容制作。相比之下,直播和短視頻的業(yè)務(wù)鏈條短,魔琺科技會(huì)根據(jù) B 端客戶要求策劃或者合作策劃 IP。這也意味著,魔琺科技的商業(yè)化路徑從單一的收取內(nèi)容制作服務(wù)費(fèi),擴(kuò)展到與合作伙伴 IP 分成。
對(duì)于將技術(shù)落地在哪個(gè)賽道,柴金祥有自己的一套方法論。他表示會(huì)首先判斷技術(shù)實(shí)現(xiàn)的難易程度,如果滿足了技術(shù)上是可行的。另外一個(gè)前提是,技術(shù)落地后能否實(shí)現(xiàn)規(guī)?;!讣夹g(shù)是藏在后面的,等到有一天大家沒有看到背后的技術(shù),只看到前面產(chǎn)品的時(shí)候,我認(rèn)為這時(shí)作為一家技術(shù)公司,就比較成功了。」
當(dāng)前,魔琺科技也在不斷豐富自身的底層技術(shù)庫(kù),除了全棧式 AI 表演動(dòng)畫系統(tǒng),魔琺科技也自研了視覺交互系統(tǒng),能實(shí)現(xiàn)人臉識(shí)別、表情識(shí)別跟蹤、眼神追蹤,接下來將會(huì)自研或者與別人合作開發(fā)語音交互系統(tǒng),實(shí)現(xiàn)自然語言理解。依托于此,打造垂直行業(yè)的虛擬智能助手也在魔琺科技的未來規(guī)劃中。不過,柴金祥坦然會(huì)從虛擬形象直播,線下互動(dòng)等一類「弱交互」、「短鏈條」的賽道探索出發(fā),同時(shí)將經(jīng)驗(yàn)復(fù)用于其他賽道業(yè)務(wù)。
據(jù)魔琺團(tuán)隊(duì)透露,今年在影視制作和游戲方面陸陸續(xù)續(xù)會(huì)有合作消息出來,甚至有內(nèi)容上線。對(duì)于前景廣闊的泛娛樂內(nèi)容市場(chǎng)來說,0 到 1 的成績(jī)依然是起步階段。
「現(xiàn)在想制作『翻跟頭』動(dòng)作,還得需要演員表演。隨著表演數(shù)據(jù)越來越多,數(shù)據(jù)能直接合成我需要的動(dòng)畫內(nèi)容,就像從技能庫(kù)中抽取一個(gè)技能一樣,也許以后就不需要演員表演了?!共窠鹣檎f道,「說到底還是一個(gè)數(shù)據(jù)的時(shí)代?!鼓Кm科技未來想打造一個(gè)支撐虛擬世界內(nèi)容制作(影視、游戲、廣告等等)生態(tài)的平臺(tái),除了將表演動(dòng)畫智能化、數(shù)據(jù)化,制作流程管理上的數(shù)據(jù),也可以被標(biāo)準(zhǔn)化,賦能整個(gè)行業(yè)。