9月18日，在2020云棲大會(huì)上，達(dá)摩院公布了語(yǔ)音AI技術(shù)的最新突破：端上語(yǔ)音識(shí)別和語(yǔ)音合成能力首次達(dá)到媲美云端的水平，這意味著未來(lái)個(gè)人用戶(hù)在移動(dòng)終端即可輕松體驗(yàn)逼近真人的語(yǔ)音技術(shù)。據(jù)介紹，達(dá)摩院最新的語(yǔ)音技術(shù)已在淘寶直播、釘釘會(huì)議、高德導(dǎo)航等場(chǎng)景大規(guī)模應(yīng)用，正全面對(duì)外開(kāi)放。

語(yǔ)音AI的核心是讓機(jī)器聽(tīng)懂人話(huà)、并能開(kāi)口說(shuō)話(huà)，語(yǔ)音合成和語(yǔ)音識(shí)別技術(shù)是實(shí)現(xiàn)這些目標(biāo)的基礎(chǔ)。但由于過(guò)去幾年業(yè)界在語(yǔ)音模型上未能有突破性創(chuàng)新，高精度的語(yǔ)音交互任務(wù)長(zhǎng)期依賴(lài)云端算力，造成了語(yǔ)音指令處理不可避免的延時(shí)等問(wèn)題。

此次達(dá)摩院率先在算法模型上實(shí)現(xiàn)創(chuàng)新，推出E2E-ASR端到端語(yǔ)音識(shí)別技術(shù)及全新的端上KAN-TTS語(yǔ)音合成技術(shù)，首次在移動(dòng)終端上實(shí)現(xiàn)接近云端的語(yǔ)音識(shí)別與合成效果。

據(jù)介紹，在語(yǔ)音識(shí)別方面，達(dá)摩院提出SAN-M網(wǎng)絡(luò)結(jié)構(gòu)及基于SCAMA的流式端到端語(yǔ)音識(shí)別框架，提升計(jì)算效率的同時(shí)，還將高難度場(chǎng)景中的語(yǔ)音識(shí)別錯(cuò)誤率降低近三成。達(dá)摩院研發(fā)的語(yǔ)音識(shí)別系統(tǒng)，可純離線(xiàn)、低成本部署在手機(jī)端，原型系統(tǒng)不到40MB，識(shí)別效果媲美超過(guò)100GB的達(dá)摩院上一代DFSMN-CTC云端系統(tǒng)。

繼去年發(fā)布仿真率可達(dá)97%的自研KAN-TTS語(yǔ)音合成模型后，達(dá)摩院此次在移動(dòng)端實(shí)現(xiàn)了對(duì)語(yǔ)音模型的“大瘦身”，相比云端，端上模型大小壓縮了101倍，計(jì)算量壓縮35倍，通過(guò)終端算力即可快速?gòu)?fù)現(xiàn)逼近真人的語(yǔ)音。例如，高德地圖近期發(fā)布了利用達(dá)摩院全新語(yǔ)音技術(shù)合成的李佳琦、林志玲、小團(tuán)團(tuán)等明星導(dǎo)航語(yǔ)音包，語(yǔ)音效果較之前更自然，斷網(wǎng)狀態(tài)下語(yǔ)音導(dǎo)航也不會(huì)中斷。

達(dá)摩院語(yǔ)音實(shí)驗(yàn)室負(fù)責(zé)人鄢志杰表示，“在終端處理語(yǔ)音任務(wù)一直是學(xué)術(shù)界和工業(yè)界的難題，達(dá)摩院最新的語(yǔ)音技術(shù)有效釋放了終端設(shè)備的能力，讓終端也能輕松處理語(yǔ)音任務(wù)，我們相信，在終端算力和云端算力的協(xié)同支撐下，未來(lái)語(yǔ)音交互將無(wú)處不在?！?

過(guò)去幾年，阿里語(yǔ)音AI取得了一系列突破。2019年，阿里語(yǔ)音AI入選《麻省理工評(píng)論》“全球十大突破性技術(shù)”，是唯一上榜的中國(guó)科技公司;今年7月IDC發(fā)布的《中國(guó)AI云服務(wù)市場(chǎng)半年度研究報(bào)告》顯示，阿里語(yǔ)音AI以44%的市場(chǎng)份額，在云上語(yǔ)音AI市場(chǎng)中位居第一。