有些人喜歡邊說話邊打手勢。借助加拿大研究人員研制的一種特殊手套,未來他們或許能夠用手勢說話甚至譜曲。
新式“手語”
加拿大不列顛哥倫比亞大學的電子和計算機工程教授悉尼·費爾斯研制出一種3D交互式手套,戴上它,使用者做出的各種手勢可合成為樂曲或一段話。他們在溫哥華參加美國科學促進會年會時展示了相關成果。
在英語體系中,以元音結尾的音節(jié)叫做開音節(jié),以輔音結尾的音節(jié)叫做閉音節(jié)。人說開音節(jié)時喉嚨和嘴唇會張開,研究人員力圖通過程序復制出人說話時喉嚨和舌頭的位移,從而達到用手勢說話。
手套上有3D位置傳感器,可以追蹤手勢信號,然后傳至電腦。根據設計好的程序,兩只手的不同手勢代表不同聲音片段。比如,右手握緊代表輔音,張開代表元音;左手控制音節(jié)的長短;右手抬起時代表高聲調,處于水平位置時是平聲調。
3D交互
費爾斯等人給這個項目取名“電子口技表演者”。演示視頻中,一名研究人員戴上特制手套,一會兒把手指相對或張開,一會兒揮動手臂,隨著手勢變化,與電腦相連的揚聲器中傳出高低起伏的不同聲音。另一段視頻中,一名戴著手套的女歌唱家邊演唱邊做手勢,于是,清唱演變成一段配樂演唱。
手套基于3D交互輸入技術研制。研究顯示,手勢不僅由骨骼肌肉驅動,而且受人的信念、意識的驅使,是涉及人的思維活動的高級行為。在虛擬現實系統(tǒng)中,手是用戶模型中十分重要的動作與感知關系模型,而手勢則是3D交互任務和技術的手段。
費爾斯先前開發(fā)出“手套交談”系統(tǒng),采用神經網絡將用戶手勢轉換成手勢語言參數,通過語言合成器合成為語言輸出。
實際應用
研究人員說,他們的研究初衷是幫助失去語言能力的人“說話”。
加拿大電視網19日援引研究人員的話報道,“它讓傳統(tǒng)意義上不能講話的人發(fā)出聲音,但又不同于手語,因為使用者不必特意去學習手勢的含義”。
隨著研究的深入,他們?yōu)樗x予音樂才能,“讓人們用手勢唱歌”。
這項技術現階段還存在不足,比如,說出帶有情感色彩的詞時,它的聲音還不夠擬人,而是像機器人講話。此外,學習如何操作需要大約100小時。
費爾斯說,這項發(fā)明未來的應用還包括引入生物力學模型,挪動重型機械設備等。





