目前語(yǔ)音端點(diǎn)檢測(cè)(Voice Active Detection，簡(jiǎn)稱VAD)的主要任務(wù)是準(zhǔn)確快速判決出待處理的語(yǔ)音信號(hào)有話還是無(wú)話，作為自動(dòng)語(yǔ)音識(shí)別(Automatic Speech Recognition，簡(jiǎn)稱ASR)系統(tǒng)的前置處理模塊，一旦檢測(cè)到話音信號(hào)，就啟動(dòng)ASR系統(tǒng)，并進(jìn)行話音數(shù)據(jù)流的傳輸。

　　準(zhǔn)確的VAD將提高自動(dòng)語(yǔ)音識(shí)別系統(tǒng)的利用率和減少語(yǔ)音處理的數(shù)據(jù)量。

　　然而現(xiàn)實(shí)應(yīng)用環(huán)境中，智能客服的應(yīng)用場(chǎng)景十分廣泛，話音活動(dòng)檢測(cè)面臨的噪聲環(huán)境種類多樣。

　　一方面是外在環(huán)境的復(fù)雜，另一方面是方言和口音。外在環(huán)境復(fù)雜包括噪聲、混響、回聲等，而且噪音又分為不同的會(huì)議室、戶外、商場(chǎng)等不同環(huán)境；在方言、口音方面，大家都知道，在我們國(guó)家，幾十種方言，每個(gè)人都有自己的獨(dú)特口音。

　　隨著智能客服機(jī)器人的快速發(fā)展，在電話語(yǔ)音客服機(jī)器人系統(tǒng)中實(shí)現(xiàn)大規(guī)模穩(wěn)健性好、精準(zhǔn)性高、魯棒性強(qiáng)、運(yùn)算量少的電話語(yǔ)音實(shí)時(shí)檢測(cè)技術(shù)，具有迫切的現(xiàn)實(shí)需求。

　　在電話語(yǔ)音交互場(chǎng)景中，VAD面臨著兩個(gè)難題：

　　1、可以成功檢測(cè)到最低能量的語(yǔ)音(靈敏度)

　　2、如何在多變復(fù)雜噪聲環(huán)境下成功檢測(cè)（漏檢率和虛檢率）

　　漏檢反應(yīng)的是原本是語(yǔ)音但是沒(méi)有檢測(cè)出來(lái)，而虛檢率反應(yīng)的是不是語(yǔ)音信號(hào)而被檢測(cè)成語(yǔ)音信號(hào)的概率。

　　相對(duì)而言漏檢是不可接受的，而虛檢可以通過(guò)后端的ASR和NLP算法進(jìn)一步過(guò)濾，但是虛檢會(huì)帶來(lái)系統(tǒng)資源利用率上升，以及造成響應(yīng)不及時(shí)。

　　對(duì)于在目標(biāo)人交互語(yǔ)音前發(fā)生虛檢，主要問(wèn)題是增加ASR識(shí)別處理數(shù)據(jù)量，如下圖所示：

　　對(duì)于在目標(biāo)人交互語(yǔ)音后發(fā)生虛檢，不僅增加ASR識(shí)別處理數(shù)據(jù)量，還會(huì)造成響應(yīng)不及時(shí)。

　　傳統(tǒng)的斷句是基于能量的檢測(cè)來(lái)判定，但是有兩個(gè)主要缺點(diǎn)：

　　1、一是無(wú)法過(guò)濾噪音和無(wú)效的語(yǔ)音

　　2、另外就是對(duì)說(shuō)話人的要求較高（中間不能有停頓。如果句間停頓時(shí)長(zhǎng)設(shè)置的太短，容易造成截?cái)啵痪溟g停頓時(shí)長(zhǎng)設(shè)置太長(zhǎng)，又會(huì)造成響應(yīng)不及時(shí)）如下圖所示：

　　電話語(yǔ)音機(jī)器人采用的是全雙工交互方式。

　　作為一個(gè)持續(xù)的交互過(guò)程，不只是持續(xù)的拾音和網(wǎng)絡(luò)傳輸，更需要包括持續(xù)的語(yǔ)音喚醒、智能有效人聲檢測(cè)、動(dòng)態(tài)語(yǔ)音端點(diǎn)檢測(cè)、無(wú)效語(yǔ)音拒識(shí)等各個(gè)模塊相互配合，才能確保語(yǔ)音識(shí)別和語(yǔ)義理解模塊能做出快速的響應(yīng)。

　　目前，壹鴿科技采用的技術(shù)架構(gòu)如下圖所示：

　　通過(guò)語(yǔ)音喚醒來(lái)觸發(fā)語(yǔ)音識(shí)別，主要是降低虛檢，盡量避免無(wú)意義的音頻送入ASR識(shí)別，為保證在觸發(fā)語(yǔ)音識(shí)別后所送往ASR的音頻流的完整性，采用了前瞻技術(shù)，如下圖所示：

　　為了確保語(yǔ)音識(shí)別和語(yǔ)義理解能夠做出快速的響應(yīng)，壹鴿科技采用了基于模型的有效人聲智能檢測(cè)和基于用戶意圖的動(dòng)態(tài)語(yǔ)音端點(diǎn)檢測(cè)。

　　基于模型的檢測(cè)可以有效解決噪音和無(wú)效語(yǔ)音。這塊主要是通過(guò)采集不同環(huán)境的噪音，基于深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練出對(duì)應(yīng)聲學(xué)模型，進(jìn)行過(guò)濾，把有效語(yǔ)音傳送到ASR服務(wù)器進(jìn)行交互。

　　動(dòng)態(tài)端點(diǎn)檢測(cè)算法實(shí)現(xiàn)從連續(xù)輸入的數(shù)據(jù)流中檢測(cè)出包含完整用戶意圖的語(yǔ)音送入語(yǔ)義理解模塊，可以很好的解決用戶的停頓，因?yàn)樵谌藱C(jī)的交流過(guò)程中，在一句包含完整意圖語(yǔ)音中，停頓是很常見的現(xiàn)象，這在我們對(duì)用戶的行為分析中得到驗(yàn)證。

　　在持續(xù)的語(yǔ)音交互過(guò)程中，由于不同地區(qū)方言、口音差異，ASR識(shí)別后文本語(yǔ)料中含有大量的同音錯(cuò)誤、音近錯(cuò)誤，如平卷舌差異、前后鼻音差異、“了”(l)“呢”(n)差異以及“胡”(h)“福”(f)差異等用戶大量無(wú)意識(shí)的輸入錯(cuò)誤及語(yǔ)音識(shí)別錯(cuò)誤，造成大量語(yǔ)音識(shí)別錯(cuò)誤文本送給后續(xù)的語(yǔ)義理解模塊處理并做出交互動(dòng)作，導(dǎo)致語(yǔ)音交互流程不可控，嚴(yán)重影響交互體驗(yàn)。

　　針對(duì)全雙工交互中被吸收進(jìn)來(lái)的無(wú)效的語(yǔ)音和無(wú)關(guān)說(shuō)話內(nèi)容，拒識(shí)和語(yǔ)音識(shí)別后文本糾錯(cuò)是必須。

　　目前壹鴿科技正在從聲學(xué)信號(hào)、語(yǔ)義等多個(gè)方面對(duì)接收的語(yǔ)音進(jìn)行拒識(shí)判斷和語(yǔ)音識(shí)別后文本糾錯(cuò)技術(shù)研究。

　　電話錄音通常存在著大量的背景噪聲、方言口音、信道干擾，而且電話錄音通常采用較低的采樣率，音質(zhì)不高，這些都嚴(yán)重影響到語(yǔ)音識(shí)別的準(zhǔn)確率。

　　語(yǔ)音識(shí)別穩(wěn)定度方面，我們主要考察語(yǔ)音識(shí)別引擎輸出結(jié)果的統(tǒng)計(jì)特性，將通話錄音識(shí)別結(jié)果輸出音頻檢索網(wǎng)絡(luò)，通過(guò)比較正確的語(yǔ)句和大量的錯(cuò)誤語(yǔ)句，可以集中發(fā)現(xiàn)其中比較穩(wěn)定和容易出錯(cuò)的部分，如發(fā)現(xiàn)一些出錯(cuò)較為頻繁的短文本，例如：

　　查快遞

　　前快遞、車快遞、千快遞、彩快遞、曹快遞、送快遞、天快遞等

　　將這些出錯(cuò)較為頻繁的短文本指定為語(yǔ)音關(guān)鍵字符串，在檢索網(wǎng)絡(luò)中進(jìn)行匹配，輸出檢索結(jié)果，如下圖所示：

　　某些詞語(yǔ)的發(fā)音組合對(duì)于語(yǔ)音識(shí)別系統(tǒng)很容易確定，而另一些則容易造成錯(cuò)誤，特別是漢語(yǔ)。來(lái)自不同地域的人在某些音節(jié)發(fā)聲的時(shí)候容易出現(xiàn)不規(guī)范的現(xiàn)象。

　　對(duì)于這種現(xiàn)象進(jìn)行統(tǒng)計(jì)，可以得到不同高頻短文本的置信度，透過(guò)置信度評(píng)價(jià)來(lái)衡量前端識(shí)別的可靠性，對(duì)于那些可能是錯(cuò)誤的結(jié)果，加以特別的處理，或者將之完全舍棄，讓系統(tǒng)僅接受正確的部分，在很大程度上拓展了語(yǔ)音識(shí)別的應(yīng)用范圍。