越來(lái)越多的研究表明，只要有足夠多的語(yǔ)料庫(kù)，人類(lèi)的面部動(dòng)作和語(yǔ)音行為是能夠同步的。兩年前，卡內(nèi)基·梅隆大學(xué)的研究人員曾發(fā)表了一篇論文，敘述了一種將一個(gè)人的面部動(dòng)作轉(zhuǎn)移至另一個(gè)人的方法。

而就在今年六月份的時(shí)候，三星的應(yīng)用科學(xué)家就介紹了一種端對(duì)端的模型，能夠?qū)⑷祟^部特寫(xiě)中的眉毛、嘴巴、睫毛和臉頰生成動(dòng)畫(huà)。僅僅幾周后，Udacity 展示了一個(gè)可以從音頻旁白中自動(dòng)生成站立演講視頻的系統(tǒng)。

基于前面的研究和工作，微軟研究團(tuán)隊(duì)在本周提出了一項(xiàng)技術(shù)。他們宣稱(chēng)，這一技術(shù)能夠提升傳聲頭像動(dòng)畫(huà)的逼真度。在此之前，頭部動(dòng)畫(huà)的生成需要清晰，相對(duì)無(wú)噪聲的音頻以及中性的音調(diào)。而現(xiàn)在，研究人員表示，他們的技術(shù)能夠?qū)⒁纛l序列分解成語(yǔ)音內(nèi)容和背景噪聲等因素，由此可以使用有噪聲和“有感情色彩”的數(shù)據(jù)樣本。

記者注：圖片來(lái)源于 Microsoft

眾所周知，語(yǔ)音是具有差異性的。不同的人在不同的環(huán)境下使用同一個(gè)詞，其持續(xù)性、振動(dòng)幅度、語(yǔ)調(diào)等等都各不相同。除了語(yǔ)音內(nèi)容方面，語(yǔ)音自身還承載著豐富的信息，它能夠揭示人的情緒狀態(tài)，身份（性別、年齡、種族）和個(gè)性等。

事實(shí)上，微軟研究人員提出的技術(shù)是基于學(xué)習(xí)潛在顯示的變自編碼器（記者(公眾號(hào)：記者)按：variational autoencode，VAE）。VAE 能夠?qū)⑤斎氲囊纛l分解成不同的表現(xiàn)形式，包括編碼內(nèi)容、表情以及其它變化的因素，在輸入音頻的基礎(chǔ)上，從分布中采樣一些內(nèi)容表示序列，該序列連同輸入的人臉圖像一同被饋送到視頻生成器進(jìn)行面部動(dòng)畫(huà)處理。

為了訓(xùn)練和測(cè)試 VAE，研究人員選取了三個(gè)數(shù)據(jù)集，分別如下：

GRID：這是一個(gè)視聽(tīng)語(yǔ)料庫(kù)，每個(gè)語(yǔ)料庫(kù)包含了 34 位說(shuō)話者的 1000 份錄音；

CREMA-D：包含了 7442 個(gè)影視片段，來(lái)自 91 位不同種族演員；

LRS3：包含了超過(guò) 10 萬(wàn)個(gè) TED 視頻中的口語(yǔ)句子的數(shù)據(jù)庫(kù)。

研究人員將 GRID 和 CREMA-D 的數(shù)據(jù)輸入到模型中，讓其識(shí)別語(yǔ)音和情感表征，然后使用一對(duì)定量指標(biāo)——峰值信噪比（PSNR）和結(jié)構(gòu)相似度指數(shù)（SSIM）——來(lái)評(píng)估視頻生成的質(zhì)量。

該研究團(tuán)隊(duì)表示，就表現(xiàn)而言，他們的方法和其它清晰的、中性的口語(yǔ)表達(dá)方法在所有指標(biāo)上都是一樣的。并且他們注意到，這種方法不僅能夠在整個(gè)情緒光譜上持續(xù)表現(xiàn)，還能夠兼容所有目前最先進(jìn)的傳聲頭像方法。

值得一提的是，其變種特異性的可學(xué)先驗(yàn)方法還能夠擴(kuò)展到其它語(yǔ)音因素，例如身份和性別，這些因素能夠作為未來(lái)工作的一部分探索。通過(guò)對(duì)噪音和情緒音頻樣本進(jìn)行測(cè)試，研究人員驗(yàn)證了其模型，表明了在音頻變化的情況下，該方法是優(yōu)于目前已有的技術(shù)水平的。

記者注：本文編譯自 KYLE WIGGERS 發(fā)表于 venturebeat 上的文章。

微軟研究成果：https://arxiv.org/pdf/1910.00726.pdf