12月初的世界互聯(lián)網(wǎng)大會上，搜狗發(fā)布了一項(xiàng)“唇語識別”技術(shù)。唇語識別，簡單說就是通過圖像識別你的口型，轉(zhuǎn)寫出你說的內(nèi)容。

在國外的技術(shù)界，2016年谷歌和牛津大學(xué)的深度學(xué)習(xí)項(xiàng)目組曾經(jīng)共同研發(fā)唇語識別技術(shù)，在那一年的視頻節(jié)目測試中，機(jī)器唇語識別的準(zhǔn)確率達(dá)到46.8%，高于人類唇語專家12.4%的識別率。今年3月，數(shù)據(jù)可視化服務(wù)商海云數(shù)據(jù)也發(fā)布了類似的唇語識別技術(shù)。

放在以往，閱讀唇語這件事在人們印象中，多是小說里武俠和特工的特異功能。但當(dāng)我們要用機(jī)器解決這個問題，就意味著它有足夠的商業(yè)空間，讓公司樂于把它批量的大規(guī)模應(yīng)用，做成產(chǎn)品。那么機(jī)器讀唇究竟有什么應(yīng)用價值?

接受36氪采訪時搜狗語音交互中心技術(shù)總監(jiān)陳偉表示，目前唇語識別的落地場景主要有兩種：其一，在多數(shù)語言場景下，攝像頭的覆蓋率遠(yuǎn)遠(yuǎn)高于麥克風(fēng)，但通過攝像頭獲得的是圖像數(shù)據(jù)，目前主要用于監(jiān)控簡單的行為，但很難知道例如安防這類場景中圖像中的人物在說什么，使用唇語識別技術(shù)就可以通過嘴的動作獲取大量內(nèi)容信息。

其二，唇語識別可以作為輔助技術(shù)，提升語音識別技術(shù)現(xiàn)階段的準(zhǔn)確率。搜狗的唇語識別技術(shù)目前在開放的口語測試級上可以達(dá)到50%-60%的準(zhǔn)確率，在限定場景中可以達(dá)到90%。這個數(shù)字對于現(xiàn)階段的唇語識別技術(shù)而言，是不錯的水準(zhǔn)，但對于商用尚欠火候。畢竟各家大廠語音識別準(zhǔn)確率普遍達(dá)到97%后，依舊不能令消費(fèi)者完全滿意。不過唇語識別可以作為語音識別的輔助技術(shù)出現(xiàn)，比如去彌合97%的語音識別率剩余那3%的臺階。

“提升語音識別的準(zhǔn)確率需要降低噪音，行業(yè)內(nèi)有兩條路在走，一條是通過麥克風(fēng)陣列等硬件方式做音頻信號的增強(qiáng)，屏蔽噪音，另一條是加入‘多模態(tài)信息’，就比如唇語識別提供的視覺信息。”陳偉解釋稱。

以下是采訪內(nèi)容：

問：相比麥克風(fēng)陣列提升語音識別準(zhǔn)確率，用唇語識別技術(shù)去解決，在技術(shù)上的提升空間是否更大?現(xiàn)實(shí)落地中是否面臨增加攝像頭會增加成本的問題?

陳偉：我們做的事情不是說馬上就要落地，對現(xiàn)階段來說，我認(rèn)為麥克風(fēng)陣列依然比唇語更靠譜，解決噪聲的問題，落地的速度上，麥克風(fēng)序列都已經(jīng)是落地的階段了，而唇語陣列剛剛研發(fā)完成了第一步，后面要跟音頻做一些結(jié)合做一些進(jìn)一步降噪的工作，所以這個事面向的時間段是不一樣的，就是可能可是當(dāng)前的，但是唇語可能是明年，我們計(jì)劃在一年內(nèi)有一些落地的項(xiàng)目在做。

在噪聲的環(huán)境下，語音識別的可能不準(zhǔn)確率不止3%，甚至在40%、50%或0。這種情況下“唇語識別”比麥克風(fēng)識別強(qiáng)，假如說聲音非常的嘈雜，麥克風(fēng)陣列就算加了一些硬件也解決不了這個問題，有它的一些局限性在，但是唇語相當(dāng)于繞過了噪聲，通過視覺的方式來解決。

問：現(xiàn)在唇語識別最剛需的場景是什么?

陳偉：安防其實(shí)也很剛需，我們現(xiàn)在花很多的精力去解決噪聲問題，關(guān)于成本，其實(shí)加一個攝像頭不及加一個麥克風(fēng)陣列的成本高。

問：唇語識別會涉及到用戶隱私方面的限制嗎?

陳偉：目前的狀態(tài)還沒有到那個階段，我們還在探索這件事能和哪些剛需場景結(jié)合在一起。

問：“唇語識別”未來的應(yīng)用前景會有哪些?

陳偉：未來唇語可以放在安防，還有助殘上面，甚至對一些早期陌生的電影，以前的電影里面，就像卓別林的很多的電影沒有聲音，能不能給它配字幕，有很多新的東西，就是能不能從一個人的唇動把字讀出來，目前做的事很局限，我們限定在一些交互的剛需場景里面，所以在這些特定的剛需場景里面我們想把它放進(jìn)去，未來像我們車載、家居、機(jī)器人倒推唇語怎么跟它結(jié)合，但是并不是限定在這些場景。

問：你提到在限定場景唇語識別的準(zhǔn)確率能達(dá)到90%?

陳偉：這個是沒有問題的，因?yàn)樵谙薅▓鼍跋?，比如說我們現(xiàn)在有一個集合，我們可以對語音做一些增強(qiáng)，這樣的話準(zhǔn)確率高很多，因?yàn)槲覀冇?0萬詞，可能和垂直場景下幾千詞的交流這不是一個量級。

比如說在車?yán)锩妫瑔右魳匪臏?zhǔn)確率就很高，因?yàn)樵谔囟ǖ募侠锩?，我們?000多個命令詞，包括古詩和繞口令。這不是一個寫死的狀態(tài)，而是一個可以靈活操作的事情，而且這件事情其實(shí)是可以依賴任務(wù)去定制的，我們這個技術(shù)是通用的技術(shù)而不是限定的場景。

問：你覺得做這個過程的中最大的難點(diǎn)是什么?

陳偉：其實(shí)是泛化性。因?yàn)槲覀冎暗臄?shù)據(jù)都是來自網(wǎng)上爬取的新聞類的節(jié)目，篩訊的都是類似主持人這樣的，因?yàn)樗麄兪墙?jīng)過標(biāo)準(zhǔn)訓(xùn)練的人群，唇型的發(fā)音是標(biāo)準(zhǔn)的，但是很多普通人發(fā)音是不標(biāo)準(zhǔn)的。如果發(fā)音標(biāo)準(zhǔn)的主持人(識別準(zhǔn)確率)是60%，但是普通人的話像我們之前的那個階段可能就20%、30%，我們后來針對這個問題去錄制了很多的普通人的一些數(shù)據(jù)，把這樣的數(shù)據(jù)加進(jìn)來之后，在普通人的泛化性上得到很大的提升。