返回頂部
某公司推出數(shù)字人美妝博主,一條短視頻收獲百萬(wàn)粉絲;新華社推出數(shù)字記者,“TA”也是全球首個(gè)數(shù)字航天員,吸引眾多視線……如今虛擬數(shù)字人概念火熱,但要打造真正高逼真、超寫實(shí)的數(shù)字人,還有大量技術(shù)問(wèn)題要解決。
近日,“數(shù)字梅蘭芳”大師復(fù)現(xiàn)項(xiàng)目啟動(dòng)儀式在北京梅蘭芳大劇院舉行。由北京理工大學(xué)參與研制的全國(guó)首個(gè)高精度京劇數(shù)字人“梅蘭芳孿生數(shù)字人”在儀式現(xiàn)場(chǎng)亮相。
該項(xiàng)目以京劇大師梅蘭芳先生26歲時(shí)的模樣為原型,對(duì)其進(jìn)行復(fù)現(xiàn)。項(xiàng)目由中央戲劇學(xué)院、北京理工大學(xué)共同發(fā)起,騰訊公司提供技術(shù)支持,受到“北京高校卓越青年科學(xué)家”計(jì)劃資助,并得到了多家單位和梅蘭芳先生家人及弟子的大力支持。
北京理工大學(xué)光電學(xué)院研究員翁冬冬告訴科技日?qǐng)?bào)記者,未來(lái)他們將不斷進(jìn)行模型實(shí)時(shí)化升級(jí),并在多個(gè)場(chǎng)景應(yīng)用落地,力爭(zhēng)打造國(guó)內(nèi)第一套真正意義上的可實(shí)時(shí)交互的“京劇數(shù)字人”。
掃描,分解,構(gòu)建
做數(shù)字人表情有講究
虛擬數(shù)字人是存在于數(shù)字世界的“人”,利用信息技術(shù)與人工智能技術(shù),將人全身及肢體動(dòng)作全方位地進(jìn)行數(shù)字化、可視化復(fù)制,最終將現(xiàn)實(shí)生活中的人精確地在數(shù)字世界中模擬構(gòu)建出來(lái)。
做虛擬數(shù)字人,本身就是啃一塊硬骨頭。因?yàn)槿颂烊痪蛯?duì)人的面部特別敏感,虛擬數(shù)字人做得稍有不到位,就會(huì)讓人覺(jué)得怪異。
所以虛擬數(shù)字人的一大考驗(yàn),就是表情。
研究課題組找到和年輕時(shí)梅蘭芳先生長(zhǎng)相相似的演員,讓他模仿梅先生的表情神態(tài),然后利用光場(chǎng)采集技術(shù),采集真實(shí)演員毫米級(jí)精度的三維數(shù)據(jù),并以計(jì)算光學(xué)為基礎(chǔ)構(gòu)建物理屬性皮膚紋理,從而實(shí)現(xiàn)對(duì)真實(shí)演員的高復(fù)原度重建。
“其實(shí)一個(gè)人的表情神態(tài)是很難復(fù)現(xiàn)的。我們要掃描演員肌肉的走向、臉部的皺褶等?！蔽潭f(shuō)。他們需要將演員做出的表情,編碼成幾百個(gè)基礎(chǔ)表情元素。比如完全閉上左眼、左眼半睜開、完全閉上右眼、嘴角向上微微揚(yáng)起……但人在做表情時(shí),臉上很多部位是聯(lián)動(dòng)的。所以,先要將已掃描出的表情拆分成單個(gè)的表情元素,再根據(jù)實(shí)際需要,重新將這些元素組合起來(lái),構(gòu)成新的表情。
獲取了這些表情之后,課題組還需要將演員臉上的表情,遷移到數(shù)字人梅蘭芳先生的臉上?！熬﹦?shù)字人,對(duì)眼神和表情的要求非常高?！蔽潭f(shuō)。
由于已經(jīng)無(wú)法采集到梅蘭芳先生的真人三維數(shù)據(jù)源,在收集了大量梅先生的照片作為數(shù)字資產(chǎn)構(gòu)建的參照后,研究團(tuán)隊(duì)邀請(qǐng)中央美術(shù)學(xué)院的師生以歷史照片為依據(jù)完成了梅蘭芳先生的實(shí)體肖像。在技術(shù)團(tuán)隊(duì)與雕塑團(tuán)隊(duì)的反復(fù)磨合后,完成了以三維數(shù)字化為目標(biāo)的真人雕像數(shù)字人制作。
接下來(lái),他們還需要完善數(shù)字人的聲音能力,完善數(shù)字人的實(shí)時(shí)語(yǔ)音交互能力,讓數(shù)字人真正“活起來(lái)”。
消失的布料,失傳的手藝
數(shù)字化也是一種搶救性保護(hù)
難題,不僅在于技術(shù)。
這一次,他們這幫技術(shù)出身的科研人員,切實(shí)感受到了科技和傳統(tǒng)藝術(shù)的碰撞?！皩W(xué)京劇的人,對(duì)傳統(tǒng)是很敬畏的,也是相當(dāng)講究的?！蔽潭f(shuō)。
梅蘭芳先生服裝的數(shù)字化,就頗費(fèi)一番周折。
“現(xiàn)在的布料,和民國(guó)時(shí)期的布料是不一樣的?！蔽潭f(shuō),為了做出接近的衣服質(zhì)感,項(xiàng)目的另一合作方、中央戲劇學(xué)院傳統(tǒng)戲劇數(shù)字化高精尖中心主任宋震團(tuán)隊(duì),通過(guò)各種關(guān)系找到了民間收藏的民國(guó)留存布樣,以其為基礎(chǔ)進(jìn)行逼真服飾材質(zhì)模擬。
梅先生戲服上用到的線,叫金線,是用棉繩繞著金箔做出來(lái)的。團(tuán)隊(duì)被告知,這線現(xiàn)在沒(méi)法做,因?yàn)楣に嚊](méi)有了,手藝失傳了,而且當(dāng)年的棉和現(xiàn)在的棉,根本就不一樣。
有此問(wèn)題的還有頭冠。團(tuán)隊(duì)找到專門做盔頭的老師傅,來(lái)復(fù)現(xiàn)京劇《穆桂英出征》中的頭冠。但老師傅說(shuō),制作這東西,沒(méi)有圖紙,手藝都是口口相傳的,靠的是自行領(lǐng)悟。
這種“只可意會(huì)不可言傳”,也給數(shù)字化掃描帶來(lái)了難度。
在困難中,翁冬冬也更深刻體會(huì)到這一項(xiàng)目的意義——它其實(shí)也是在數(shù)字化保存那些正在消失的東西。
“做梅蘭芳先生的孿生數(shù)字人,不僅是一個(gè)技術(shù)實(shí)現(xiàn)的過(guò)程,也是一個(gè)科技和傳統(tǒng)文化融合的過(guò)程?！蔽潭f(shuō),親身實(shí)踐,才會(huì)碰到紙上談兵時(shí)不曾想過(guò)的問(wèn)題。融合沒(méi)那么簡(jiǎn)單,確實(shí)需要雙方的磨合、互相傾聽和耐心溝通。
目前,最為人熟知的數(shù)字人,當(dāng)屬虛擬偶像。一些主要采用AI換臉技術(shù)的數(shù)字人,也活躍在市場(chǎng)上。翁冬冬說(shuō),從長(zhǎng)遠(yuǎn)來(lái)看,三維化的數(shù)字人數(shù)字資產(chǎn)價(jià)值會(huì)更高。特別是元宇宙,天然就需要以三維為基礎(chǔ),所以數(shù)字人是構(gòu)成元宇宙的重要基礎(chǔ)元素。
“未來(lái)數(shù)字人可以成為人機(jī)交互的界面,成為人工智能的一個(gè)入口。畢竟人還是更容易接受和‘人’溝通交互?！蔽潭f(shuō),但要讓高逼真的數(shù)字人一顰一笑一舉一動(dòng)都不出戲,還有很長(zhǎng)的路要走,“還是要冷靜看待數(shù)字人的火熱?！保萍既?qǐng)?bào) 記者張蓋倫）
