虛擬現(xiàn)實(shí)科技現(xiàn)在非常火熱，視覺(jué)層面的技術(shù)難關(guān)一個(gè)接著一個(gè)的被攻克，但是如果想要徹底實(shí)現(xiàn)沉浸式體驗(yàn)，那么同樣也要在聽(tīng)覺(jué)上實(shí)現(xiàn) 3D 效果。聽(tīng)覺(jué)上的 3D 效果究竟是怎樣的？在看電影，玩游戲的時(shí)候，怎樣的聲音體驗(yàn)才能更加優(yōu)秀的讓我們身臨其境？如今這個(gè)行業(yè)的技術(shù)發(fā)展究竟到了怎樣的階段？本文將統(tǒng)統(tǒng)給你答案。
音頻的新技術(shù)將徹底改變我們未來(lái)玩兒游戲，聽(tīng)音樂(lè)，以及看電影的方式。
現(xiàn)在，我無(wú)法相信我的耳朵了。我正拿著一個(gè)淺灰色的方塊在我腦袋跟前前后晃動(dòng)。我發(fā)誓！我晃動(dòng)的這個(gè)小方塊里面有聲音傳出來(lái)！而且是一種類(lèi)似于樂(lè)器彈奏出來(lái)的音樂(lè)，就好像是一個(gè)小型喇叭。當(dāng)我拿著這個(gè)小方塊逐漸的靠近我的左耳的時(shí)候，一種粗糙的小提琴聲響瞬間淹沒(méi)了我的左耳，但是如果我把這個(gè)小方塊逐漸拿開(kāi)的時(shí)候，這種聲響似乎隨著距離的拉大逐漸的減弱。
我把這個(gè)方塊放在我的身后，似乎背后突然出現(xiàn)了一個(gè)弦樂(lè)四重奏樂(lè)團(tuán)。當(dāng)我把這個(gè)方塊拿到我的頭頂上的時(shí)候，急劇尖銳的弦樂(lè)聲響使得我的頭皮陣陣發(fā)麻。但你知道嗎？其實(shí)這個(gè)小方塊根本沒(méi)有發(fā)出一點(diǎn)聲音。我所聽(tīng)到的聲音來(lái)自于我的耳機(jī)。一旦我把耳機(jī)摘下來(lái)，一切的幻覺(jué)就全都消失了。那個(gè)方塊就是一個(gè)安安靜靜的普通方塊。
我現(xiàn)在的位置就是在馬里蘭州大學(xué)，科技孵化器大廈的一個(gè)寬敞的房間里，也是目前擁有 8 個(gè)人的科技初創(chuàng)公司 VisiSonics 的辦公地址。正是他們所開(kāi)發(fā)的軟件徹底擺布了我的大腦，讓我無(wú)視掉真正的聲源，掛在我耳朵上的耳機(jī)。那個(gè)我所舉著的灰色方塊其實(shí)連接在另外的一個(gè)設(shè)備上，那個(gè)設(shè)備可以對(duì)我所移動(dòng)的方塊進(jìn)行空間位置上的跟蹤。VisiSonics 的 RealSpace 3D 技術(shù)通過(guò)跟蹤器上所發(fā)來(lái)的空間信息來(lái)處理音樂(lè)，讓聽(tīng)者覺(jué)得這是從方塊中發(fā)出來(lái)的。剛剛我所體驗(yàn)的這個(gè)產(chǎn)品其實(shí)只是對(duì)這個(gè)概念的某種展示，說(shuō)明了軟件現(xiàn)在已經(jīng)從聽(tīng)覺(jué)上具備了欺騙你大腦的本領(lǐng)。在這其中，最為讓我感到驚訝的是它讓我徹底忘記了耳機(jī)的存在，一切都是如此的自然而然，神不知鬼不覺(jué)！
這也正是 VisiSonics 所期望達(dá)到的效果。該公司希望在未來(lái)成為各大游戲廠商爭(zhēng)相追逐爭(zhēng)搶的音頻引擎提供商，同樣在虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)領(lǐng)域的聲響部分也能占據(jù)主導(dǎo)地位。事實(shí)上，它已經(jīng)朝著這個(gè)目標(biāo)邁進(jìn)了一大步。Oculus Rift 虛擬現(xiàn)實(shí)頭戴設(shè)備的制造商 Oculus VR 已經(jīng)在去年的 10 月購(gòu)買(mǎi)了這一項(xiàng) RealSpace 3D 技術(shù)，并且于近期已經(jīng)將其整合到了 Oculus 音頻軟件開(kāi)發(fā)工具套件中了。如今，VisiSonics 還在和其他公司進(jìn)行談判。公司的創(chuàng)始人之一，同樣也是馬里蘭大學(xué)計(jì)算機(jī)科學(xué)專(zhuān)業(yè)的教授 Ramani Duraiswami 就表示：「所謂最為完美的 3D 音頻技術(shù)，就是在你戴著耳機(jī)的時(shí)候，完全忘記耳機(jī)的存在�！�
但是公司的雄心壯志似乎已經(jīng)超越了游戲以及虛擬現(xiàn)實(shí)。他表示：「我們的最終目標(biāo)是徹底改變?nèi)藗兺ㄟ^(guò)耳機(jī)來(lái)收聽(tīng)音樂(lè)以及一系列音頻的方式！」
VisiSonics 打造 3d 效果的主要方式
我們當(dāng)然能夠通過(guò)自己的能力來(lái)在三維空間里面辨識(shí)音樂(lè)，即便我們的眼睛是閉著的，我們?nèi)匀荒軌蛑赋鰜?lái)聲源是在哪里。我們的大腦在辨認(rèn)這些聲音方面非常在行，耳朵就像是兩個(gè)各自獨(dú)立運(yùn)作的耳機(jī)一樣。這也意味著我們的大腦是通過(guò)多方面的線索來(lái)整合聲音的信息，比如一個(gè)聲音在到達(dá)我們左耳還有右耳的時(shí)間是不同的，這樣就能方便大腦辨識(shí)這個(gè)聲音的位置。想要把這種功能搬到喇叭或者耳機(jī)上面是一件非常困難的事。
為了制造這種聲音的 3D 效果，其中一個(gè)辦法就是在你的周?chē)紳M擴(kuò)音器，也就是人們常說(shuō)的環(huán)繞立體聲，某些影院里面的音響設(shè)備也是按照這個(gè)來(lái)布置的，但是這個(gè)法子并不適用于耳機(jī)上。如今，移動(dòng)數(shù)字設(shè)備的崛起使得我們能夠利用耳機(jī)玩兒游戲，聽(tīng)音樂(lè)和看電影。VisiSonic 的軟件就是通過(guò)耳機(jī)來(lái)制造某種 3D 效果。想象一下吧，當(dāng)你把耳機(jī)插上，你的耳朵里響起來(lái)的是貝多芬第九交響樂(lè)，閉上眼睛仿若置身于一個(gè)巨大的歌劇院聽(tīng)著現(xiàn)場(chǎng)演奏，還是最好的位置；又或者是自己在 iPad 上看一部恐怖電影，壞人的腳步似乎就從你的身后跟了上來(lái)……
VisiSonics 的首席軟件工程師羅德·�？怂诡D(Road Haxton) 展示的第一批應(yīng)用展現(xiàn)出來(lái)的驚人的 RealSpace 3D 技術(shù)，其實(shí)在過(guò)去一個(gè)多世紀(jì)里面，它一直是音響工程師努力攻克的技術(shù)難題。在過(guò)去大部分時(shí)間里，他們往往是模擬出來(lái)一個(gè)人的頭，然后在這個(gè)假頭的兩邊耳朵里塞上耳機(jī)，然后錄制下來(lái)音頻，希望借此能夠真正的還原我們耳朵接收聲音的方式。
VisiSonics 找到了另外的方式繞開(kāi)了使用「模擬人頭」的笨方法，通過(guò)軟件來(lái)達(dá)到過(guò)去一個(gè)多世紀(jì)人們想要達(dá)到的目的。通常來(lái)說(shuō)，如果我們想要確定聲源的位置，都是通過(guò)轉(zhuǎn)頭來(lái)仔細(xì)區(qū)別接收到的聲音發(fā)生的變化，從這變化中找出聲源的位置。理解了這一點(diǎn)，對(duì)于能夠徹底讓人沉浸其中的虛擬現(xiàn)實(shí)還有增強(qiáng)現(xiàn)實(shí)至關(guān)重要，因?yàn)樵谶@個(gè)環(huán)境中，你不僅需要確定聲源的具體位置，而且整個(gè)環(huán)境所帶來(lái)的音響還會(huì)隨著你的頭移動(dòng)而不斷變換，這種聲音和人動(dòng)作之間的關(guān)聯(lián)會(huì)大大加強(qiáng)沉浸式感覺(jué)。
這款軟件同樣還替代了房間在聲音傳播過(guò)程中的作用。一般來(lái)說(shuō)，聲音發(fā)出之后，它會(huì)在房間里面震蕩產(chǎn)生回響，也許它很細(xì)微你不會(huì)注意到。你所聽(tīng)到的不僅僅是最原始的聲音，而且還有從墻壁、家具以及房間其他物品上面產(chǎn)生的回響。這些回響震蕩對(duì)于確定聽(tīng)者以及聲源之間的距離非常有幫助，傳遞出來(lái)了一種位于三維空間的感覺(jué)。這款軟件就能夠替代房間對(duì)于聲音的加工作用，也正因?yàn)槿绱瞬葧?huì)使得音響 3D 變得如此的逼真。Duraiswami 表示：最關(guān)鍵的就是軟件復(fù)制這些回響的精確度。
Duraiswami 的軟件第三個(gè)重要的組成部分是在聲音進(jìn)入你耳道之前，模擬出來(lái)了從某個(gè)特定方向傳播過(guò)來(lái)的聲音與你身體的交互方式。聲音傳遞的方向不同，它從人的頭部，身體以及嘴唇還有外耳輪廓反射的方式也是有著細(xì)微的區(qū)別的�？茖W(xué)家將這種效果起了一個(gè)名字「Head-related transfer function」(簡(jiǎn)稱(chēng)為 HRTF，中文即是與頭部有關(guān)的聲音傳播方式）如果你真的想要讓人感覺(jué)聲音是從某個(gè)特定的方向傳播過(guò)來(lái)，那么你就必須利用 HRTF。
說(shuō)回到本文開(kāi)頭所做的那次實(shí)驗(yàn)，就我的大腦而言，我真的覺(jué)得經(jīng)由 VisiSonics 處理過(guò)的聲音，那個(gè)從我的耳機(jī)發(fā)出來(lái)的聲音其實(shí)是來(lái)自我手里拿著的灰色方塊。Duraiswami 表示：「所謂三維音樂(lè)，就好比是一個(gè)三條腿的凳子，如果一條腿缺失了，那么這個(gè)效果就消失了。」
在下一章節(jié)，我們將再舉出 RealSpace 3D 技術(shù)的應(yīng)用案例，讓你盡可能的去體會(huì)這項(xiàng)技術(shù)的奇妙之處。另外，我們還會(huì)追溯歷史，告訴你 VisiSonics 這家初創(chuàng)公司成長(zhǎng)的歷程，它是如何從一個(gè)默默無(wú)聞的小公司發(fā)展成為如今炙手可熱，各大公司競(jìng)相追逐的目標(biāo)的。
