什么是自然語言處理？
　　其應(yīng)用會(huì)如何改變我們的生活？
　　為什么說它是AI中最難的部分？
　　它的發(fā)展又面臨怎樣的挑戰(zhàn)？
　　有請(qǐng)華為諾亞方舟實(shí)驗(yàn)室
　　語音語義首席科學(xué)家劉群
　　為我們一一解答

　　自然語言處理，既是一門科學(xué)，也是一門應(yīng)用技術(shù)，試圖讓機(jī)器去模擬人類的語言能力。

　　自然語言處理的研究對(duì)象是人類語言，如詞語、短語、句子、篇章等。通過對(duì)這些語言單位的分析，不僅要理解字面含義，還希望能理解說話人所表達(dá)的情感，以及傳達(dá)的意圖。

　　沒有成功的自然語言處理，就不會(huì)有真正的認(rèn)知智能。因此，自然語言處理被視為人工智能的核心問題之一，也被喻為“AI皇冠上的明珠”。

　　隨著人類進(jìn)入智能時(shí)代，智能設(shè)備和數(shù)據(jù)量都空前增長(zhǎng)，自然語言處理領(lǐng)域經(jīng)過多年發(fā)展，雖然取得了長(zhǎng)足的進(jìn)步，但面臨很多挑戰(zhàn)，其中最主要的主要問題有兩個(gè)：

　　盡管常識(shí)的理解對(duì)人類來說不是問題，但是它卻很難被教給機(jī)器。比如我們可以對(duì)手機(jī)助手說“查找附近的餐館”，手機(jī)就會(huì)在地圖上顯示出附近餐館的位置。但你如果說“我餓了”，手機(jī)助手可能就無動(dòng)于衷，因?yàn)樗�缺�?ldquo;餓了需要就餐”這樣的常識(shí)。

　　大量的這種常識(shí)都潛藏在我們意識(shí)的深處，AI系統(tǒng)的設(shè)計(jì)者幾乎不可能把所有這樣的常識(shí)都總結(jié)出來，并灌入到系統(tǒng)中。

　　面對(duì)標(biāo)注數(shù)據(jù)資源貧乏的問題，譬如小語種的機(jī)器翻譯、特定領(lǐng)域?qū)υ捪到y(tǒng)、客服系統(tǒng)、多輪問答系統(tǒng)等，自然語言處理尚無通用的高效解決辦法。

　　在工程實(shí)踐中，我們除了設(shè)法引入領(lǐng)域知識(shí)（詞典、規(guī)則）以增強(qiáng)數(shù)據(jù)能力之外，還可以基于主動(dòng)學(xué)習(xí)的方法來增加更多的人工標(biāo)注數(shù)據(jù)，以及采用無監(jiān)督和半監(jiān)督的方法來利用未標(biāo)注數(shù)據(jù)，或者采用多任務(wù)學(xué)習(xí)的方法來使用其他任務(wù)，甚至其他語言的信息，還可以使用遷移學(xué)習(xí)的方法來利用其他的模型。

　　華為諾亞方舟實(shí)驗(yàn)室的自然語言處理研究主要包括三個(gè)大的方向：語音技術(shù)、機(jī)器翻譯和對(duì)話。

　　華為的手機(jī)語音助手就集成了諾亞方舟的語音識(shí)別和對(duì)話技術(shù)。諾亞方舟的機(jī)器翻譯技術(shù)支持了華為內(nèi)部海量的技術(shù)資料的翻譯。諾亞方舟基于知識(shí)圖譜的問答技術(shù)為華為的全球技術(shù)支持系統(tǒng)（GTS），提供了快速準(zhǔn)確地回答復(fù)雜技術(shù)問題的能力。

　　在金融、法律、醫(yī)療健康等領(lǐng)域，自然語言處理技術(shù)也得到了越來越廣泛的應(yīng)用。

　　例如，自然語言處理可以為證券投資提供各種分析數(shù)據(jù)，進(jìn)行金融風(fēng)險(xiǎn)分析、欺詐識(shí)別等；可以幫助進(jìn)行法律工作者進(jìn)行案例搜索、判決預(yù)測(cè)、法律文書自動(dòng)生成、法律文本翻譯、智能問答等；還可以幫助醫(yī)生進(jìn)行病歷的輔助錄入、醫(yī)學(xué)資料的檢索和分析、輔助診斷等等。