6月6日下午，全球人工智能技術(shù)大會期間，聚焦全球化多語種需求，著眼于語言互通在“一帶一路”戰(zhàn)略中的基礎(chǔ)性作用，在多語種智能信息處理專題論壇上，科大訊飛研究院執(zhí)行院長劉聰發(fā)表《用系統(tǒng)性創(chuàng)新破局多語種智能語音語言技術(shù)難題》主題演講。

　　當前，語音已成為萬物互聯(lián)時代人機交互的關(guān)鍵入口，語音輸入、語音搜索、語音交互等技術(shù)已經(jīng)成為手機、車載、玩具等智能產(chǎn)品的標配。另一方面，“一帶一路”國家戰(zhàn)略的建設(shè)依賴語言互通，多語種翻譯技術(shù)價值凸顯。此外，多語種語音語言技術(shù)也涉及國家信息安全等重大方向，成為世界各國競相布局的關(guān)鍵技術(shù)方向。

　　因此，無論從社會剛需，還是國家戰(zhàn)略、信息安全等方面考慮，布局多語種語音語言技術(shù)都顯得尤為重要。

　　劉聰表示，未來十年，我們將圍繞語音交互、語言翻譯等剛需應用場景，開展多語種語音識別、語音合成、機器翻譯、圖文識別等智能語音語言技術(shù)的系統(tǒng)性布局，覆蓋包括“一帶一路”和世界主要國家在內(nèi)的70多種語言。

　　“我們非常清楚要將70多種語言的智能語音語言技術(shù)做到實用水平，并沒有那么容易，所以我們計劃用十年的時間去攻克這個難題。”

　　針對未來十年布局，劉聰總結(jié)出多語種技術(shù)研發(fā)中面臨的三個挑戰(zhàn)：

　　一是不同語言的用戶分布存在明顯的長尾效應，小語種語言分析研究的積累和投入不足。不同語言獨特的語言現(xiàn)象十分復雜，相關(guān)知識的全面積累以及知識與技術(shù)的融合均存在困難；

　　二是多語種訓練數(shù)據(jù)稀缺，制作難度和成本較大，難以支撐大量語種系統(tǒng)的研發(fā)；

　　三是語音合成、圖文識別、語音識別、機器翻譯等多語種技術(shù)涉及70多個語種、云端和本地引擎，以及不同領(lǐng)域需要研發(fā)部署成百上千套系統(tǒng)，眾多系統(tǒng)批量構(gòu)建存在難題。同時，當前基于級聯(lián)的語音翻譯、圖片翻譯也存在誤差擴散問題。

　　劉聰認為：“多語種技術(shù)的全面推動，包括技術(shù)創(chuàng)新和應用落地，不能只靠單點技術(shù)的創(chuàng)新，迫切需要通過系統(tǒng)性創(chuàng)新的方式來破局。”

　　什么是系統(tǒng)性創(chuàng)新？科大訊飛總結(jié)了三大關(guān)鍵要素：一是關(guān)鍵的核心技術(shù)效果要跨越技術(shù)鴻溝，達到應用門檻；深度融合創(chuàng)新鏈條上的各個關(guān)鍵技術(shù)，激發(fā)創(chuàng)新能力；針對重大的歷史命題社會命題進行系統(tǒng)性解析，并將其轉(zhuǎn)化為科學問題。

　　單點技術(shù)突破方面，從2006年研發(fā)的中文口語評測機器評分超過專業(yè)評測員平均水平，到2015年研發(fā)的機器中文語音轉(zhuǎn)寫正確率超過人類速記員水平，再到智醫(yī)助理機器人通過國家執(zhí)業(yè)醫(yī)師資格考試綜合筆試測試、中英語音翻譯達到CATTI全國翻譯專業(yè)資格（水平）考試二級合格標準……科大訊飛不斷在單點技術(shù)上取得突破。

　　在創(chuàng)新鏈條上各關(guān)鍵技術(shù)的深度融合方面，基于核心技術(shù)的深度理解，我們可以進行多個方向技術(shù)的協(xié)同創(chuàng)新。劉聰舉例，2016年，科大訊飛基于語音譜圖和圖像的相似性，成功將卷積神經(jīng)網(wǎng)絡(luò)應用于語音識別，提出DFCNN建模技術(shù)，將其拓展到圖文識別任務(wù)上，效果取得了大幅提升。

　　“對于多語種智能語音語言技術(shù)研發(fā)及產(chǎn)業(yè)化而言，由于其涉及語言眾多、技術(shù)實現(xiàn)復雜，我們將其作為一個系統(tǒng)工程進行推動。”劉聰表示。

　　他從數(shù)據(jù)、算法、平臺等維度，分享了科大訊飛在多語種智能語音語言技術(shù)系統(tǒng)性創(chuàng)新中的思考和實踐。在數(shù)據(jù)方面，科大訊飛研發(fā)了基于人機協(xié)同的多語種數(shù)據(jù)標注平臺；在算法方面，重點開展了多語種端到端統(tǒng)一建模框架、無監(jiān)督/弱監(jiān)督訓練，以及語音/圖片翻譯多任務(wù)協(xié)同優(yōu)化等方向的研究；在研發(fā)訓練效率優(yōu)化方面，構(gòu)建了多語種模型自動訓練及定制優(yōu)化平臺，以推動多語種系統(tǒng)的批量研發(fā)，解決人工耗時耗力問題。

　　“基于系統(tǒng)性創(chuàng)新，我們已經(jīng)完成一套完整的多語種語音語言系統(tǒng)研發(fā)，包括60種語言的語音合成，69種語言的語音識別，56種語言的圖文識別，以及168種語言與中文的機器翻譯。”劉聰指出，部分語種現(xiàn)已上線訊飛開放平臺，對外提供服務(wù)。

　　得益于系統(tǒng)性創(chuàng)新，科大訊飛多語種智能語音語言技術(shù)在語音交互、語言翻譯等場景初步取得規(guī)�；瘧�用落地。

　　在多語種交互方面，科大訊飛與俄羅斯汽車工程研究院（NAMI）、奇瑞等國內(nèi)外多個廠商開展多語種合作，目前已覆蓋英語、俄語、日語、泰語、西班牙語、意大利語等主要語種。

　　在多語種翻譯方面，科大訊飛2016年發(fā)布的訊飛翻譯機開創(chuàng)了AI翻譯機新品類，今年5月又推出雙屏翻譯機，持續(xù)引領(lǐng)智能翻譯硬件潮流。訊飛聽見同傳產(chǎn)品廣泛應用于大型會議、發(fā)布會、展覽會等場景，已服務(wù)超1萬場次大會，服務(wù)超3億人次�？拼笥嶏w還成為北京2022年冬奧會和冬殘奧會官方自動語音轉(zhuǎn)換與翻譯獨家供應商，助力打造人類歷史上首個信息溝通無障礙的奧運會。

　　此外，為了賦能海外開發(fā)者，依托智能語音國家新一代人工智能開放創(chuàng)新平臺，2020年4月科大訊飛在新加坡部署了海外站點，為海外開發(fā)者提供多語種語音識別、語音合成、機器翻譯、圖文識別和語音評測等能力，海外開發(fā)者數(shù)量已經(jīng)超過7萬人。

　　劉聰指出，盡管在多語種技術(shù)研發(fā)和產(chǎn)業(yè)應用方面，我們?nèi)〉贸醪匠尚�，但我們也應清醒認識到，當前大量低資源語種的技術(shù)水平相比中英文等資源豐富語種還有較大差距。依托“科技冬奧”“科技創(chuàng)新2030”等國家科技部重點研發(fā)計劃，科大訊飛目前聯(lián)合了中科大、哈工大、新疆大學、上海外國語大學等國內(nèi)眾多科研單位，已形成了廣泛的多語種產(chǎn)學研聯(lián)盟，共同推動我國多語種智能語音語言技術(shù)進步。