市面上有很多面向銷售和客服人員的語音質(zhì)檢系統(tǒng)、文本質(zhì)檢系統(tǒng),絕大部分產(chǎn)品實際使用的是基于“關(guān)鍵詞+正則表達式”的機器質(zhì)檢系統(tǒng)。
這種方法的主要優(yōu)點是部署和上手使用都比較快,主要缺點是存在非常嚴重的漏檢情況。就像一個漏孔很大的篩子一樣,難以滿足企業(yè)對質(zhì)檢的需求越來越精細、對質(zhì)檢效率要求越來越高的發(fā)展趨勢。
因此,在“關(guān)鍵詞+正則表達式”之外,我們開始越來越多地為客戶提供基于“語義點+機器學習”方案,并且在實際使用中為很多質(zhì)檢項帶來 2~10 倍的效果提升。也就是說,能夠多發(fā)現(xiàn) 2~10 倍的問題。對于企業(yè)而言,這就意味著他們可以更快、更全面地提升服務質(zhì)量或者實現(xiàn)合規(guī)升級。
下一代機器質(zhì)檢:從關(guān)鍵詞到語義點
語音和文本質(zhì)檢的主要任務是找出不合格、不合規(guī)的地方,即減分項,通常也被稱為“負向質(zhì)檢”(另有一種任務是找出做得好的地方,即加分項,通常也被稱為“正向質(zhì)檢”)。企業(yè)使用傳統(tǒng)基于“關(guān)鍵詞+正則表達式”的產(chǎn)品做質(zhì)檢,所遇到的最主要問題是“找不全”,通常會漏掉很多不合格、不合規(guī)之處,導致質(zhì)檢效率大打折扣?匆粋實際對比的例子。某互聯(lián)網(wǎng)公司的基礎質(zhì)檢項“服務態(tài)度問題”,在我們的實際應用中:使用傳統(tǒng)“關(guān)鍵詞”方案,一天的數(shù)據(jù)中能找出 13 條,100% 是正確的;使用新的“語義點”方案,能找出 134 條,其中 72% 是對的。所以從最終正確的條數(shù)來看,新的“語義點”方案多找出了 8 倍的問題。
再看一個實際的例子。“恐嚇威脅”是貸后資產(chǎn)管理領域的基礎質(zhì)檢項,即催收員不允許在電話里“恐嚇威脅”債務人。在我們的實際應用中:使用傳統(tǒng)“關(guān)鍵詞”方案,四天的數(shù)據(jù)中能找出 316 條,其中 55% 是正確的;使用“語義點”方案,能找出 2203 條,其中 72% 是對的。從最終正確的條數(shù)來看,174條對比1596條,新的“語義點”方案能多找出 9 倍的風險。
原因其實很簡單。如果使用基于“關(guān)鍵詞+正則表達式”的方案,方法是用關(guān)鍵詞的組合來涵蓋每個質(zhì)檢項的不同表達方式——但是你可以寫10個關(guān)鍵詞,100個關(guān)鍵詞,卻永遠不可能窮盡,因為語言的表達方式是非常多樣的、千變?nèi)f化的,必須通過整個句子的上下文語義才能做出更準確的判斷。
上下文語義質(zhì)檢的技術(shù)原理
語義點+機器學習的方案,目標是訓練一個機器學習算法模型,使之能夠判斷關(guān)鍵詞未覆蓋的句子是否命中了質(zhì)檢項。我們以另一個貸后資產(chǎn)管理領域常見的質(zhì)檢項“暴露客戶隱私”為例。從標注到訓練模型,再到最后上線使用,新的“語義點”方案大致可以分為三個步驟。第一步,使用我們的“標注工廠”產(chǎn)品,通過人工的方式,將是“暴露客戶客戶”的句子標記為“正例”,將不是“暴露客戶隱私”的句子標記為反例。

第二步,將一定規(guī)模的經(jīng)過標注的正例和反例都“喂”給訓練器,讓訓練器學習到一個算法模型,這個算法就能用來判斷新句子是不是涉嫌暴露客戶隱私。

第三步,在質(zhì)檢產(chǎn)品中,系統(tǒng)就可以標記出所有命中“暴露客戶隱私”語義點質(zhì)檢項的句子,復檢員可以快速定位到該質(zhì)檢項所處的位置,迅速進行核實。此外,復檢員每一次復檢的操作,都相當于對算法模型進行了一次反饋,會幫助算法模型變得更準。

最終,我們發(fā)現(xiàn)通過“語義點”方案能比關(guān)鍵詞的方案多找出數(shù)倍的不合格、不合規(guī)之處,達到召回率(找的全)、準確率(找的準)均在 80% 以上的效果。
上下文語義質(zhì)檢的底層邏輯從底層邏輯
上看,基于“關(guān)鍵詞”的方案是字符級別的,并不關(guān)心句子的語義,而基于“語義點”的方案是句子級別的,非常關(guān)心句子上下文的邏輯和語義。兩者并不在同一個維度?梢韵胍,未來關(guān)鍵詞方案越來越難當大任,而語義點的方案會逐步成為主流。
不過,語義點方案也有一個顯著的缺點“部署成本高”。為了訓練一個語義點的質(zhì)檢項,需要人工標注大量句子,然后訓練和調(diào)試算法模型。因此,大家并不會立即就把所有質(zhì)檢項切換到“語義點”方案,而是優(yōu)先把那些最常見的質(zhì)檢項切換到“語義點”方案。
總結(jié)循環(huán)智能在教育、金融、互聯(lián)網(wǎng)服務等不同行業(yè)數(shù)十家客戶的服務經(jīng)驗,我們發(fā)現(xiàn)質(zhì)檢項與違規(guī)數(shù)的關(guān)系也存在“二八法則”——20%的質(zhì)檢項貢獻了80%的違規(guī)數(shù),所以將最常見質(zhì)檢項升級到“語義點”方案,即可為整個業(yè)務帶來顯著的效果提升。
同時,我們也應該了解到,隨著自然語言處理領域新技術(shù)的突破,從字符級“關(guān)鍵詞”方案,向句子級“語義點”方案轉(zhuǎn)換的速度正在加快。過去兩年,自然語言處理領域迎來了繁榮時期。Google 發(fā)表于 2018 年的 BERT 模型,為行業(yè)帶來了全新的技術(shù)思路,具有里程碑意義。2019年6月,作為 BERT 模型的一種重要的改進方案,XLNet 模型在 20 個標準任務集上超過 BERT,并且在 18 個標準任務集上取得 state of the art 成果,包括機器問答、自然語言推斷、情感分析和文檔排序等。
XLNet 模型由循環(huán)智能聯(lián)合創(chuàng)始人楊植麟博士(第一作者),與谷歌大腦、卡內(nèi)基梅隆大學共同推出。該模型具備編碼超長序列的能力——簡單理解就是可以更好地理解長句子。2019年末,XLNet 被人工智能領域的頂級學術(shù)會議 NeurIPS 2019 接收為 Oral 報告論文(占比 0.5%)。同時,XLNet 也入選了權(quán)威的中國人工智能學會《2019人工智能發(fā)展報告》,被稱為 BERT 之后重要的進展之一。
循環(huán)智能(Recurrent AI)正是基于原創(chuàng)的、世界前沿的 XLNet 模型,在智能質(zhì)檢產(chǎn)品中的加速向“語義點”方案轉(zhuǎn)換,取得遠超傳統(tǒng)方案的效果。過去一年,我們的智能質(zhì)檢系統(tǒng)獲得多家金融、教育、互聯(lián)網(wǎng)服務領域贏得多家標桿客戶的商業(yè)訂單,包括眾安保險、玖富、CBC、華道、你我貸、人人貸、新東方在線、獵聘等。> 下篇預告下一篇關(guān)于智能質(zhì)檢的文章,我們將向大家介紹,在不同的業(yè)務場景下,關(guān)鍵詞方案如何與語義點方案高效搭配使用,大幅提升質(zhì)檢效率。
相關(guān)熱詞搜索: 循環(huán)智能 智能質(zhì)檢
相關(guān)閱讀:
- ·央視新聞聯(lián)播報道百度智能質(zhì)檢助企業(yè)渡過疫情難關(guān)2020-02-12 09:37:02
- ·百應智能質(zhì)檢新增關(guān)鍵詞檢索、熱詞報表等5大功能2019-12-04 15:27:38
- ·文思海輝·金融傾情打造全自動智能質(zhì)檢系統(tǒng)2019-12-04 14:13:46
- ·天潤融通:為什么質(zhì)檢在呼叫中心體系中顯得如此重要?2019-12-03 09:38:56
- ·CIIE 2019 | 賽諾菲攜手竹間智能打造醫(yī)藥數(shù)字化未來2019-11-14 10:24:32
- ·度言首席科學家:智能質(zhì)檢功能開發(fā)及應用淺析2019-10-25 09:24:59
- ·遠傳智能交互系列產(chǎn)品上架2019-09-09 09:11:42
- ·有了RTA智能質(zhì)檢,再也不怕聯(lián)絡中心的數(shù)據(jù)“沉睡”2019-08-16 13:48:56
- ·友鄰為中銀金融提供實時語音系統(tǒng)擴容2019-05-09 14:02:07
- ·宇高通訊:如何使用人工智能提升質(zhì)檢效率?2019-05-06 14:05:31
評論排行
- uc營銷管家——高效率的銷售軟件(28)
- 代替人工撥打電話的軟件:亮劍天下自動...(15)
- 商路通技術(shù)總監(jiān)黃河專訪:技術(shù)上叫板的瘋子(13)
- 華晨汽車客服中心通過CC-CMM應用級L1認證(7)
- 因科美E350不需電話會議平臺就能實現(xiàn)多...(6)
- 小米擠下HTC,居中國消費者常用手機第五(6)
- 億倫公司推出新版本“智能外呼營銷平臺”(5)
- 小米擠下HTC,居中國消費者常用手機第五(5)
- 技術(shù)上叫板的瘋子(5)
- 客服人生:入職凡客四年半的她,剛“被...(4)
- 騰訊EC與金倫合作 開啟云聯(lián)絡中心新里程(4)
- 葡萄牙電信攜手華為部署LTE商用服務 (4)
- 金倫企呼云呼叫中心備受媒體及用戶關(guān)注(4)
- 殺毒先鋒2.0新版發(fā)布,功能升級(4)
- 華為與瑞星建立云計算虛擬化防病毒戰(zhàn)略...(3)
- 塔迪蘭Aeonix統(tǒng)一通信和協(xié)作(UC&C)解...(3)
- 電話、電話、更多的電話:如何管理?(3)
- 《中國呼叫中心人力資源管理白皮書》出版(3)
- 未來的聯(lián)絡中心:克服商業(yè)與技術(shù)變革帶...(3)
- 搭建自動外呼系統(tǒng)、電話營銷管理系統(tǒng)、...(3)