此前，為了提升元宇宙中的觸感交互，Meta公司的研究團(tuán)隊(duì)開(kāi)發(fā)了一款觸覺(jué)手套，這種手套舒適、可定制，最重要的是能夠在虛擬世界中再現(xiàn)一系列感覺(jué)，包括紋理、壓力和振動(dòng)等。

　　近日，Meta公司又有新動(dòng)作。其發(fā)布了自監(jiān)督語(yǔ)音處理模型XLS-R，該模型共支持128種語(yǔ)言，目的是助力元宇宙中的跨語(yǔ)種交流。

　　當(dāng)今，有據(jù)可考的語(yǔ)言有7000余種。盡管現(xiàn)在的翻譯系統(tǒng)越來(lái)越強(qiáng)大，但要用AI完全實(shí)現(xiàn)這些語(yǔ)言的互通并非易事。一般來(lái)說(shuō)，語(yǔ)料庫(kù)的豐富程度決定了語(yǔ)言翻譯模型的質(zhì)量，現(xiàn)有的語(yǔ)音翻譯一般集中于大語(yǔ)種之間，小語(yǔ)種語(yǔ)料往往比較匱乏，因此使用這類(lèi)母語(yǔ)的人往往較難通過(guò)AI獲得較高的翻譯質(zhì)量。

　　但XLS-R通過(guò)自監(jiān)督技術(shù)對(duì)10倍的語(yǔ)音數(shù)據(jù)進(jìn)行訓(xùn)練，大大改善了以前的多語(yǔ)言模型，尤其是小語(yǔ)種的處理。因此母語(yǔ)不同的人，比如一位說(shuō)英語(yǔ)，一位說(shuō)漢語(yǔ)的人，兩人可以靠XLS-R在元宇宙中進(jìn)行無(wú)障礙對(duì)話。

　　XLS-R基于的是Facebook去年發(fā)布的wav2vec 2.0技術(shù)。該技術(shù)通過(guò)多層卷積神經(jīng)網(wǎng)絡(luò)對(duì)語(yǔ)音音頻進(jìn)行編碼，以及對(duì)產(chǎn)生的潛伏語(yǔ)音表征進(jìn)行跨度遮蔽，能夠建立捕捉整個(gè)序列信息的表征。

　　這樣訓(xùn)練出的模型，可以預(yù)測(cè)音頻中被掩蔽部分的正確語(yǔ)音單元，同時(shí)也可以學(xué)習(xí)新的語(yǔ)音單元。在此基礎(chǔ)上開(kāi)發(fā)的XLS-R，不僅能夠建立上下文表征，還可以捕獲整個(gè)潛伏表征序列上建立的依賴關(guān)系。

　　XLS-R共有20億參數(shù)，它在測(cè)試的37種語(yǔ)言中，表現(xiàn)優(yōu)于大多數(shù)語(yǔ)種先前的工作。甚至在老撾語(yǔ)等小語(yǔ)種識(shí)別上，也能低于之前的錯(cuò)誤率。此外，XLS-R也讓低資源語(yǔ)言與英語(yǔ)之間的翻譯大幅改進(jìn)，例如從印度尼西亞語(yǔ)到英語(yǔ)的翻譯，準(zhǔn)確性平均翻了一番。

　　目前，XLS-R還只是一個(gè)預(yù)訓(xùn)練模型，為了能更好的應(yīng)用于具體任務(wù)，還需要對(duì)其進(jìn)行相關(guān)改進(jìn)。