5、呼叫中心(IVR)系統(tǒng)測(cè)試方法
IVR測(cè)試一般分為三個(gè)層次,性能壓力測(cè)試、語音匹配測(cè)試(包括各個(gè)菜單)、語音質(zhì)量測(cè)試。其中,最關(guān)鍵的是性能壓力測(cè)試,它的測(cè)試目的有兩個(gè):第一是搞清楚被測(cè)試系統(tǒng)(DUT)的最大的呼叫處理能力(無差錯(cuò)點(diǎn));第二是搞清楚在它的最大壓力條件下能夠無故障工作多長(zhǎng)時(shí)間。
5.1 性能壓力測(cè)試
(1)性能測(cè)試的幾個(gè)概念
- BHCA(Busy Hour Call Attempt),忙時(shí)呼叫次數(shù)。它表示DUT在一個(gè)小時(shí)內(nèi)最大的呼叫處理次數(shù),當(dāng)然在沒有差錯(cuò)的情況下,或者差錯(cuò)率很低(業(yè)內(nèi)差錯(cuò)率為萬分之一以內(nèi))。我們一般用BHCA表示系統(tǒng)的呼叫處理能力。
- CPS,每秒鐘呼叫次數(shù)。它表示DUT在一秒鐘內(nèi)最大的呼叫處理次數(shù),和BHCA的關(guān)系是3600倍。
- 系統(tǒng)支持的呼叫通道數(shù),指DUT最大支持的呼叫通道數(shù)目。例如,IVR對(duì)外呼入接口有28個(gè)E1,那么它所支持的最大呼叫通道數(shù)目就是840。
- 系統(tǒng)支持的并發(fā)呼叫通道數(shù),指DUT能夠處理的最大并發(fā)通道數(shù)目,一般能夠達(dá)到它的最大支持通道數(shù)目的10%-50%不等,需要和系統(tǒng)提供商溝通清楚,當(dāng)然也需要實(shí)際測(cè)試。
- 呼叫完成率,呼叫完成次數(shù)與呼叫總次數(shù)的比率。業(yè)內(nèi)要求達(dá)到4個(gè)9,即99.99%。
- 呼損率,呼叫失敗次數(shù)與呼叫總次數(shù)的比率。業(yè)內(nèi)要求萬分之一以內(nèi)。它與呼叫完成率之和為100%。
- 無差錯(cuò)點(diǎn),指呼叫完成率達(dá)到業(yè)內(nèi)要求情況下的最大呼叫量,即DUT的能夠承受的最大呼叫處理次數(shù)。
- 平衡點(diǎn),指用戶感受良好情況下的無差錯(cuò)點(diǎn)。用戶感受部分包括語音質(zhì)量、呼叫延遲、回聲、語音間斷等等方面,需要測(cè)試語音匹配和語音質(zhì)量才能定位。一般認(rèn)為平衡點(diǎn)才是DUT真正的呼叫處理能力,因?yàn)殡S著呼叫壓力的增加,用戶感受會(huì)惡化。
并發(fā)呼叫測(cè)試
- 測(cè)試目的:找到DUT的并發(fā)呼叫無差錯(cuò)點(diǎn)。即找到DUT在異常條件下(許多呼叫并發(fā)呼入)支持的最大處理呼叫次數(shù)。
- 測(cè)試方法:呼叫測(cè)試儀表使用28個(gè)E1,產(chǎn)生840路并發(fā)(即同時(shí)呼叫)IVR呼入呼叫,通過二分法找到無差錯(cuò)點(diǎn)。例如,840路并發(fā),出現(xiàn)大面積呼損時(shí),下次測(cè)試改為840/2=420路并發(fā)呼叫,直到呼損率下降到萬分之一。一般的測(cè)試時(shí)間為24h,也有更嚴(yán)格的測(cè)試為48h或者72h。
- 測(cè)試結(jié)果:滿足無差錯(cuò)點(diǎn)的要求,記錄呼叫完成率和呼損率。
- 測(cè)試目的:找到DUT的異步呼叫無差錯(cuò)點(diǎn)。即找到DUT在正常條件下(呼叫壓力逐步增加)支持的最大處理呼叫次數(shù)。
- 測(cè)試方法:呼叫測(cè)試儀表使用28個(gè)E1,產(chǎn)生840路IVR呼入呼叫,每個(gè)通道的呼叫間隔1s,通過二分法找到無差錯(cuò)點(diǎn)。一般的測(cè)試時(shí)間為24h,也有更嚴(yán)格的測(cè)試為48h或者72h。
- 測(cè)試結(jié)果:滿足無差錯(cuò)點(diǎn)的要求,記錄呼叫完成率和呼損率。
- 測(cè)試目的:找到DUT在各種呼叫模型條件下的呼叫無差錯(cuò)點(diǎn)。即找到DUT在仿真真實(shí)網(wǎng)絡(luò)條件下(存在各種呼叫模型,包括波松分布、階梯分布等)支持的最大處理呼叫次數(shù)。
- 測(cè)試方法:呼叫測(cè)試儀表使用28個(gè)E1,產(chǎn)生840路IVR呼入呼叫,注意使用各種不同的呼叫模型,產(chǎn)生不同變化的呼叫壓力(不同的CPS),通過二分法找到無差錯(cuò)點(diǎn)。例如,在某種呼叫模型下20CPS時(shí),如果出現(xiàn)大面積呼損,下次測(cè)試改為20/2=10CPS呼叫;如果再有呼損,則改為5CPS呼叫,直到呼損率下降到萬分之一。一般的測(cè)試時(shí)間為24h,也有更嚴(yán)格的測(cè)試為48h或者72h。
- 測(cè)試結(jié)果:滿足無差錯(cuò)點(diǎn)的要求,記錄呼叫完成率和呼損率。
。1)語音匹配測(cè)試目的
- 進(jìn)一步驗(yàn)證IVR系統(tǒng)的性能。語音匹配測(cè)試是在性能壓力測(cè)試基礎(chǔ)上,驗(yàn)證系統(tǒng)在極限壓力條件下(無差錯(cuò)點(diǎn)),各個(gè)菜單的語音提示是否正常按時(shí)發(fā)出,用戶能否正常聽到。一般來說,當(dāng)話務(wù)量達(dá)到IVR系統(tǒng)極限時(shí),語音提示的播放就會(huì)因?yàn)榇罅亢艚信抨?duì)而變慢,甚至出現(xiàn)播放錯(cuò)誤,當(dāng)播放延遲超過正常2s(業(yè)內(nèi)標(biāo)準(zhǔn))或者語音匹配差錯(cuò)率過高(業(yè)內(nèi)差錯(cuò)率為萬分之一以內(nèi))時(shí),我們?cè)谛阅軌毫y(cè)試中得到的無差錯(cuò)點(diǎn)就會(huì)受到質(zhì)疑。
- 得到真實(shí)用戶的感受。語音匹配測(cè)試可以幫助測(cè)試者,得到一些用戶感受的指標(biāo),例如用戶平均多長(zhǎng)時(shí)間能夠聽到語音提示,最長(zhǎng)需要多少秒,最少需要多少秒。這樣就會(huì)方便我們判斷有多少用戶因?yàn)殚L(zhǎng)時(shí)間聽不到語音提示而放棄呼叫的,因此語音匹配時(shí)間參數(shù)也是我們的客戶服務(wù)指標(biāo)之一。
歡迎詞匹配測(cè)試
- 測(cè)試目的:檢驗(yàn)IVR系統(tǒng)在極限條件下(無差錯(cuò)點(diǎn))對(duì)于歡迎詞的語音匹配情況(包括匹配錯(cuò)誤率和匹配延遲)。
- 測(cè)試方法:呼叫測(cè)試儀表使用28個(gè)E1,在840路同步并發(fā)(即同時(shí)呼叫)、異步呼叫(間隔一秒)、仿真呼叫(各種呼叫模型)等條件下,產(chǎn)生性能測(cè)試中的極限話務(wù)量(無差錯(cuò)點(diǎn)話務(wù)量),通過二分法找到語音匹配無差錯(cuò)點(diǎn)。一般采用降低呼叫壓力的方法,減低并發(fā)呼叫路數(shù)或者降低CPS來確定語音匹配的無差錯(cuò)點(diǎn)。語音匹配的無差錯(cuò)點(diǎn)定義為:差錯(cuò)率在萬分之一以內(nèi);匹配延遲在2s以內(nèi)。一般的測(cè)試時(shí)間為24h,也有更嚴(yán)格的測(cè)試為48h或者72h。
- 測(cè)試目的:檢驗(yàn)IVR系統(tǒng)在極限條件下,各級(jí)菜單的語音匹配情況(包括匹配錯(cuò)誤率和匹配延遲)。
- 測(cè)試方法:呼叫測(cè)試儀表使用28個(gè)E1,在840路同步并發(fā)(即同時(shí)呼叫)、異步呼叫(間隔1s)、仿真呼叫(各種呼叫模型)等條件下,產(chǎn)生性能測(cè)試中的極限話務(wù)量(無差錯(cuò)點(diǎn)話務(wù)量),通過二分法找到語音匹配無差錯(cuò)點(diǎn)。一般采用降低呼叫壓力的方法,減低并發(fā)呼叫路數(shù)或者降低CPS來確定語音匹配的無差錯(cuò)點(diǎn)。語音匹配的無差錯(cuò)點(diǎn)定義為:差錯(cuò)率在萬分之一以內(nèi);匹配延遲在2s以內(nèi)。每一級(jí)菜單的語音匹配差錯(cuò)率,在相同話務(wù)量的情況下應(yīng)該有所不同;菜單越深,差錯(cuò)率越高,因此需要降低話務(wù)量來查找無差錯(cuò)點(diǎn)。一般的測(cè)試時(shí)間為24h,也有更嚴(yán)格的測(cè)試為48h或者72h。
- 測(cè)試結(jié)果:找到無差錯(cuò)點(diǎn),記錄語音匹配差錯(cuò)率和匹配延遲。
- 進(jìn)一步驗(yàn)證呼叫中心(IVR+CTI+IP傳輸)系統(tǒng)的性能。語音質(zhì)量測(cè)試是在性能壓力測(cè)試和語音匹配基礎(chǔ)上,驗(yàn)證系統(tǒng)在極限壓力條件下(無差錯(cuò)點(diǎn)),用戶和話務(wù)員之間的端到端通話質(zhì)量。一般來說,當(dāng)話務(wù)量達(dá)到IVR系統(tǒng)極限時(shí),CTI對(duì)語音的處理和IP網(wǎng)絡(luò)對(duì)語音的傳輸都會(huì)出現(xiàn)問題,導(dǎo)致語音質(zhì)量指標(biāo)下降,當(dāng)單向延遲(通話一端傳送話音到另外一端所需要的時(shí)間)超過150ms(ITU推薦標(biāo)準(zhǔn))或者語音質(zhì)量分?jǐn)?shù)低于標(biāo)準(zhǔn)(G.711時(shí)PESQ應(yīng)>4.0分;G.729時(shí)PESQ應(yīng)>3.7分)時(shí),就會(huì)大大影響用戶通話的感受,導(dǎo)致部分用戶放棄呼叫。語音質(zhì)量測(cè)試會(huì)找到真正意義的平衡點(diǎn)。
- 得到真實(shí)用戶的感受。語音質(zhì)量測(cè)試可以幫助測(cè)試者,得到一些用戶感受的指標(biāo),例如話務(wù)員的話音需要多長(zhǎng)時(shí)間才能讓用戶聽到,有沒有回聲,有沒有語音間斷和語音滑碼,語音評(píng)價(jià)指標(biāo)MOS/PSQM/PESQ能夠打多少分。這些語音質(zhì)量測(cè)試參數(shù)也是我們的客戶服務(wù)指標(biāo)之一。
- 測(cè)試目的:檢驗(yàn)呼叫中心系統(tǒng)在極限條件下(無差錯(cuò)點(diǎn))的端到端(即客戶到話務(wù)員)語音質(zhì)量,包括男聲、女聲以及G.711/G.729等不同編解碼對(duì)語音質(zhì)量的影響。
- 測(cè)試方法:呼叫測(cè)試儀表使用28個(gè)E1,在840路同步并發(fā)(即同時(shí)呼叫)、異步呼叫(間隔1s)、仿真呼叫(各種呼叫模型)等條件下,產(chǎn)生性能測(cè)試中的極限話務(wù)量(無差錯(cuò)點(diǎn)話務(wù)量),通過二分法逐步降低話務(wù)量,直到全部話路都能夠接入話務(wù)員(由Abacus100仿真),并檢驗(yàn)相應(yīng)語音質(zhì)量指標(biāo)是否達(dá)到業(yè)內(nèi)標(biāo)準(zhǔn),即找到客戶感受良好的平衡點(diǎn)。一般的測(cè)試時(shí)間為24h,也有更嚴(yán)格的測(cè)試為48h或者72h。
- 測(cè)試結(jié)果:記錄平衡點(diǎn)的呼叫壓力(CPS)、語音質(zhì)量指標(biāo)(MOS/PSQM/PESQ)、單向延遲、回聲、語音間斷與滑碼等。
- 測(cè)試目的:檢驗(yàn)呼叫中心的語音信箱系統(tǒng)在極限條件下(無差錯(cuò)點(diǎn))語音提。纯蛻魪恼Z音信箱中提取留言)時(shí)的語音質(zhì)量,包括男聲、女聲對(duì)語音質(zhì)量的影響。
- 測(cè)試方法:呼叫測(cè)試儀表使用低負(fù)荷對(duì)呼叫中心系統(tǒng)中的語音信箱進(jìn)行“留言錄入”,直到語音信箱全部錄入留言。然后,呼叫測(cè)試儀表分別在低負(fù)荷、中負(fù)荷、高負(fù)荷背景話務(wù)量條件下進(jìn)行“留言提取”,呼叫路數(shù)與語音信箱最大路數(shù)相同,通過語音波形圖的比較,根據(jù)ITU的規(guī)范,得到語音質(zhì)量評(píng)分(MOS/PSQM/PESQ)找到客戶感受良好的平衡點(diǎn)。一般的測(cè)試時(shí)間為24h,也有更嚴(yán)格的測(cè)試為48h或者72h。
。1)語音質(zhì)量測(cè)試目的
端到端語音質(zhì)量測(cè)試
以上測(cè)試方案僅僅以某銀行的呼叫中心測(cè)試為藍(lán)本進(jìn)行探討,也僅僅涉及了電信E1接口和模擬線接口。目前,VoIP特別是SIP接入越來越為廣大運(yùn)營商和大中型企業(yè)所采用,因此思博倫在VoIP接入的呼叫中心測(cè)試領(lǐng)域也提供了大量的應(yīng)用測(cè)試方案,但是基本的測(cè)試方法和思路是一致的——幫助客戶找到真實(shí)的帶有用戶感受的呼叫中心性能指標(biāo),并協(xié)助分析影響性能的瓶頸。
聲明:本文是作者特別為CTI論壇所撰寫,非合作媒體謝絕轉(zhuǎn)載
CTI論壇編輯