在自然語言處理（NLP）上，從小規(guī)模受限語言處理走向大規(guī)模真實(shí)文本處理，是一個(gè)意義深遠(yuǎn)的里程碑式的轉(zhuǎn)折。 不管經(jīng)過多少時(shí)間，語料庫方法和統(tǒng)計(jì)語言模型依然是當(dāng)前中文信息處理的主流技術(shù)。

作者簡(jiǎn)介：

黃昌寧: 1961年畢業(yè)于清華大學(xué)自動(dòng)控制系，現(xiàn)任微軟亞洲研究院高級(jí)研究員兼博士后工作站負(fù)責(zé)人，此前他是清華大學(xué)計(jì)算機(jī)系的教授和博士生導(dǎo)師，長期領(lǐng)導(dǎo)清華大學(xué)計(jì)算語言學(xué)課題組的科研與教學(xué)工作。

從20世紀(jì)50年代初機(jī)器翻譯課題被提出算起，自然語言處理（NLP）的研發(fā)歷史至少也有50年了。90年代初,NLP的研究目標(biāo)開始從小規(guī)模受限語言處理走向大規(guī)模真實(shí)文本處理。把這個(gè)新目標(biāo)正式列入大會(huì)主題的是1990年在赫爾辛基舉行的“第13屆國際計(jì)算語言學(xué)大會(huì)”。那些只有幾百個(gè)詞條和數(shù)十條語法規(guī)則的受限語言分析系統(tǒng)，通常被業(yè)內(nèi)人士戲稱為“玩具”，不可能有什么實(shí)用價(jià)值。政府、企業(yè)和廣大計(jì)算機(jī)用戶期盼的是像漢字輸入、語音聽寫機(jī)、文-語轉(zhuǎn)換(TTS)、搜索引擎、信息抽取(IE)、信息安全和機(jī)器翻譯（MT）那樣的、有能力處理大規(guī)模真實(shí)文本的實(shí)用化系統(tǒng)。 正是基于對(duì)這個(gè)里程碑式轉(zhuǎn)折的關(guān)注，筆者在1993年就列舉了四種大規(guī)模真實(shí)文本處理的應(yīng)用前景:新一代信息檢索系統(tǒng);按客戶要求編輯的報(bào)紙;信息抽取，即把非結(jié)構(gòu)化的文本轉(zhuǎn)化為結(jié)構(gòu)化的信息庫;大規(guī)模語料庫的自動(dòng)標(biāo)注。值得慶幸的是，今天所有這四個(gè)方向都有了實(shí)用化或商品化的成果。

盡管全世界都把大規(guī)模真實(shí)文本處理看做是NLP的一個(gè)戰(zhàn)略目標(biāo)，但這不等于說受限領(lǐng)域的機(jī)器翻譯、語音對(duì)話、電話翻譯和其他一些基于深層理解的自然語言分析技術(shù)或理論研究，就不應(yīng)當(dāng)再搞了。目標(biāo)和任務(wù)的多樣化是學(xué)術(shù)界繁榮昌盛的一個(gè)標(biāo)志。問題是要考慮清楚NLP的主戰(zhàn)場(chǎng)在哪里，我們的主力應(yīng)當(dāng)部署在哪里。

中文難辦嗎？

談到中文信息處理所面臨的重大應(yīng)用課題，如企業(yè)和廣大計(jì)算機(jī)用戶所期盼的漢字輸入、語音識(shí)別等，大家似乎并沒有什么分歧。但是當(dāng)討論深入到實(shí)現(xiàn)這些課題的方法或技術(shù)路線時(shí)，分歧馬上就涇渭分明了。第一種意見認(rèn)為，中文信息處理的本質(zhì)是漢語理解，也就是要對(duì)漢語真實(shí)文本實(shí)施句法-語義分析。持這種意見的學(xué)者主張，以往在中文信息處理中使用的概率統(tǒng)計(jì)方法已經(jīng)走到了盡頭，為了在理解或語言層面上解決中文信息處理問題，就必須另辟蹊徑，這條蹊徑便是語義學(xué)。據(jù)說這是因?yàn)闈h語不同于西方語言，漢語的句法相當(dāng)靈活，漢語本質(zhì)上是一種意合語言等。

與上述意見相對(duì)立的觀點(diǎn)是:前面提到的絕大多數(shù)應(yīng)用系統(tǒng)（MT除外）其實(shí)都是在沒有句法-語義分析的情況下實(shí)現(xiàn)的，因此談不上“理解”。 如果一定要說“理解”，那么只是用圖靈實(shí)驗(yàn)來證實(shí)的所謂“理解”。

上述雙方爭(zhēng)論的焦點(diǎn)是方法，但目標(biāo)和方法通常是密不可分的。如果我們同意把大規(guī)模真實(shí)文本處理作為NLP的戰(zhàn)略目標(biāo)，那么實(shí)現(xiàn)這一目標(biāo)的理論和方法也必然要跟著變化。無獨(dú)有偶，1992年在蒙特利爾召開的“第四屆機(jī)器翻譯的理論和方法國際會(huì)議(TMI-92)”宣布大會(huì)的主題是“機(jī)器翻譯中的經(jīng)驗(yàn)主義和理性主義方法”。這就是公開承認(rèn)，在傳統(tǒng)的基于語言學(xué)和人工智能方法（即理性主義）的NLP技術(shù)以外，還有一種基于語料庫和統(tǒng)計(jì)語言模型的新方法（即經(jīng)驗(yàn)主義）正在迅速崛起。

NLP的戰(zhàn)略目標(biāo)和相應(yīng)的語料庫方法都是從國際學(xué)術(shù)舞臺(tái)的大視野中獲得的，中文信息處理自然也不例外。那種認(rèn)為中文文本處理特別困難，以至要另辟蹊徑的觀點(diǎn)，缺少有說服力的事實(shí)根據(jù)。拿信息檢索(IR)來說，它的任務(wù)是從一個(gè)大規(guī)模的文檔庫中尋找與用戶的查詢相關(guān)的文檔。怎樣表示文檔和查詢的內(nèi)容，以及如何度量文檔和查詢之間的相關(guān)程度，就成為IR技術(shù)需要解決的兩個(gè)基本問題。召回率和精確率則是評(píng)價(jià)一個(gè)IR系統(tǒng)的兩個(gè)主要指標(biāo)。由于文檔和查詢都是用自然語言表述的，這個(gè)任務(wù)可以用來說明中文和西方語言所面臨的問題和所采用的方法其實(shí)是十分相似的。一般來說，各文種的IR系統(tǒng)都用文檔和查詢中的詞頻(tf)和倒文檔頻率(idf)來表示文檔和查詢的內(nèi)容，所以本質(zhì)上是一種統(tǒng)計(jì)方法。

世界文本檢索大會(huì)TREC (http://trec.nist.gov/ ) 的最大特點(diǎn)是通過提供大規(guī)模訓(xùn)練語料和統(tǒng)一評(píng)測(cè)方法來支持IR技術(shù)的研發(fā)。研究團(tuán)隊(duì)必須通過大會(huì)的統(tǒng)一評(píng)測(cè)并名列前茅，才能獲準(zhǔn)到會(huì)上來做報(bào)告。1992年起TREC每年舉辦一屆大會(huì)，并得到美國國防部（DARPA）和國家標(biāo)準(zhǔn)技術(shù)局（NIST）的資助。會(huì)議對(duì)包括中文、日文在內(nèi)的多文種文檔庫開展了IR評(píng)測(cè)。結(jié)果表明，中文IR并沒有因?yàn)榇嬖诜衷~問題就比其他文種做得差，而且迄今沒有證據(jù)表明各語種的NLP，包括基于概念的或基于句法-語義分析的技術(shù)，能明顯提高IR系統(tǒng)的性能。

什么是主流技術(shù)？

語料庫方法和統(tǒng)計(jì)語言模型不但沒有過時(shí)，而且在可比的統(tǒng)一評(píng)測(cè)中被證明是當(dāng)前各國語言信息處理的一種主流技術(shù)。

1. N元模型

設(shè)wi是文本中的任意一個(gè)詞，如果已知它在該文本中的前兩個(gè)詞 wi-2w-1，便可以用條件概率P(wi|wi-2w-1)來預(yù)測(cè)wi出現(xiàn)的概率。這就是統(tǒng)計(jì)語言模型的概念。一般來說，如果用變量W代表文本中一個(gè)任意的詞序列，它由順序排列的n個(gè)詞組成，即W=w1w2...wn，則統(tǒng)計(jì)語言模型就是該詞序列W在文本中出現(xiàn)的概率P(W)。利用概率的乘積公式，P(W)可展開為：

P(W) = P(w1)P(w2|w1)P(w3| w1 w2)...P(wn|w1 w2...wn-1)

不難看出，為了預(yù)測(cè)詞wn的出現(xiàn)概率，必須知道它前面所有詞的出現(xiàn)概率。從計(jì)算上來看，這種方法太復(fù)雜了。如果任意一個(gè)詞wi的出現(xiàn)概率只同它前面的兩個(gè)詞有關(guān)，問題就可以得到極大的簡(jiǎn)化。 這時(shí)的語言模型叫做三元模型 (tri-gram):

P(W)≈P(w1)P(w2|w1)∏i(i=3,...,nP(wi|wi-2w-1)

符號(hào)∏i i=3,...,n P(...) 表示概率的連乘。一般來說，N元模型就是假設(shè)當(dāng)前詞的出現(xiàn)概率只同它前面的N-1個(gè)詞有關(guān)。重要的是這些概率參數(shù)都是可以通過大規(guī)模語料庫來計(jì)算的。比如三元概率有

P(wi|wi-2wi-1) ≈ count(wi-2wi-1wi) /count(wi-2wi-1)

式中count(...) 表示一個(gè)特定詞序列在整個(gè)語料庫中出現(xiàn)的累計(jì)次數(shù)。

統(tǒng)計(jì)語言模型有點(diǎn)像天氣預(yù)報(bào)中使用的概率方法，用來估計(jì)概率參數(shù)的大規(guī)模語料庫好比是一個(gè)地區(qū)歷年積累起來的氣象記錄。而用三元模型來做天氣預(yù)報(bào)，就好比是根據(jù)前兩天的天氣情況來預(yù)測(cè)今天的天氣。天氣預(yù)報(bào)當(dāng)然不可能百分之百準(zhǔn)確，但是我們大概不會(huì)因此就全盤否定這種實(shí)用的概率方法吧。

2. 語音識(shí)別

語音識(shí)別作為計(jì)算機(jī)漢字輸入的另一種方式越來越受到業(yè)內(nèi)人士的青睞。所謂聽寫機(jī)就是語音識(shí)別的一種商品。那么當(dāng)前商品化的聽寫機(jī)采用的是什么技術(shù)呢？

其實(shí)，語音識(shí)別任務(wù)可視為對(duì)以下條件概率極大值的計(jì)算問題：

W*= argmaxW P(W|speech signal)

= argmaxW P(speech signal|W) P(W) / P(speech signal)

= argmaxW P(speech signal|W) P(W)

式中數(shù)學(xué)符號(hào)argmaxW 表示對(duì)不同的候選詞序列W計(jì)算條件概率P(W|speech signal)的值，從而使W*成為條件概率值最大的詞序列。它也就是當(dāng)前輸入語音信號(hào)speech signal所對(duì)應(yīng)的輸出詞串了。

公式第二行是利用貝葉斯定律轉(zhuǎn)寫的結(jié)果，因?yàn)闂l件概率P(speech signal|W)比較容易估值。公式的分母P(speech signa ) 對(duì)給定的語音信號(hào)是一個(gè)常數(shù)，不影響極大值的計(jì)算，故可以從公式中刪除。在公式第三行所示的結(jié)果中，P(W)叫做統(tǒng)計(jì)語言模型；P(speech signal|W) 叫做聲學(xué)模型。

據(jù)調(diào)查，目前市場(chǎng)上中文和英文的聽寫機(jī)產(chǎn)品都是用詞的三元模型實(shí)現(xiàn)的, 幾乎完全不用句法-語義分析手段。這說明不同語言的產(chǎn)品技術(shù)往往是相通的。沒有證據(jù)表明，中、英兩種語言的聽寫機(jī)在性能指標(biāo)上有顯著的差異。所以那種斷言中文信息處理一定比西方語言困難，實(shí)現(xiàn)中文信息處理必須另辟蹊徑的說法，其實(shí)是站不住腳的。

三元模型（或一般的N元模型）只利用了語言的表層信息（或知識(shí)），即符號(hào)（字、詞、詞性標(biāo)記等）序列的同現(xiàn)信息。誰也沒有說它是十全十美的。在這一領(lǐng)域中，下一個(gè)研究目標(biāo)應(yīng)當(dāng)是結(jié)構(gòu)化對(duì)象（如句法樹或語義框架）的統(tǒng)計(jì)模型。當(dāng)然能做到語言理解是了不起的成果，它肯定會(huì)比目前這種統(tǒng)計(jì)語言模型強(qiáng)得多，這是不爭(zhēng)的事實(shí)。問題是目前國內(nèi)外還沒有哪一種語言的句法-語義分析系統(tǒng)可以勝任大規(guī)模真實(shí)文本處理的重任。因此，對(duì)于世界各國的語言來說，當(dāng)前的主流技術(shù)仍是語料庫方法和統(tǒng)計(jì)語言模型。

3. 詞性標(biāo)注

至少像短語結(jié)構(gòu)文法這樣一類的語法規(guī)則是建立在詞類基礎(chǔ)上的。無怪乎語言學(xué)界有句行話說，沒有詞類就沒法講語法了。所以在自然語言的句法分析過程中，大概都有一個(gè)詞性標(biāo)注的階段。不難理解，漢語的自動(dòng)分詞和詞性標(biāo)注的精確率，將直接影響到后續(xù)的句法分析結(jié)果。據(jù)觀察，在漢語句法分析結(jié)果中，有高達(dá)60%的分析錯(cuò)誤來源于分詞和詞性標(biāo)注的錯(cuò)誤。

在英語的詞庫中約 14% 的詞形(type)具有不只一個(gè)詞性，而在一個(gè)語料庫中，總詞次數(shù)(tockens)中約 30% 是兼類詞。從這個(gè)統(tǒng)計(jì)數(shù)字中可以估計(jì)出詞性標(biāo)注任務(wù)的難度。歷史上曾經(jīng)先后出現(xiàn)過兩個(gè)方法迥異的英語詞性標(biāo)注系統(tǒng)：TAGGIT系統(tǒng)擁有3000條上下文相關(guān)規(guī)則， 而CLAWS系統(tǒng)完全采用概率統(tǒng)計(jì)方法。兩個(gè)系統(tǒng)各自完成了100萬詞次的英語語料庫的自動(dòng)詞性標(biāo)注任務(wù)。評(píng)則結(jié)果（見下表）表明，采用概率統(tǒng)計(jì)方法的CLAWS系統(tǒng)的標(biāo)注精度達(dá)到96%，比TAGGIT系統(tǒng)提高了近20個(gè)百分點(diǎn)。經(jīng)過改進(jìn)的CLAWS系統(tǒng)日后承擔(dān)了英國國家語料庫BNC一億條英語詞的詞性標(biāo)注任務(wù)。

具體來說，CLAWS系統(tǒng)采用的是詞類標(biāo)記的二元模型。如果令 C = c1...cn 和 W = w1...wn分別代表詞類標(biāo)記序列和詞序列，則詞性標(biāo)注任務(wù)可視為在已知詞序列W的情況下，計(jì)算如下條件概率極大值的問題：

C*= argmaxC P(C|W)

= argmaxC P(W|C)P(C) / P(W)

≈ argmaxC ∏i i=1,...,nP(wi|ci)P(ci|ci-1 )

P(C|W) 表示：已知輸入詞序列W的情況下，出現(xiàn)詞類標(biāo)記序列C的條件概率。數(shù)學(xué)符號(hào)argmaxC 表示通過考察不同的候選詞類標(biāo)記序列C, 來尋找使條件概率P(C|W) 取最大值的那個(gè)詞序列W*。后者應(yīng)當(dāng)就是對(duì)W的詞性標(biāo)注結(jié)果。

公式第二行是利用貝葉斯定律轉(zhuǎn)寫的結(jié)果，由于分母P(W) 對(duì)給定的W是一個(gè)常數(shù)，不影響極大值的計(jì)算，故可以從公式中刪除。接著對(duì)公式進(jìn)行近似。首先，引入獨(dú)立性假設(shè)，認(rèn)為詞序列中的任意一個(gè)詞wi的出現(xiàn)概率近似，只同當(dāng)前詞的詞性標(biāo)記ci有關(guān)，而與周圍（上下文）的詞類標(biāo)記無關(guān)。即詞匯概率

P(W|C) ≈ ∏i i=1,...,nP(wi|ci )

其次，采用二元假設(shè)，即近似認(rèn)為任意詞類標(biāo)記 ci的出現(xiàn)概率只同它緊鄰的前一個(gè)詞類標(biāo)記ci-1有關(guān)。因此有:

P(C) ≈∏i i=,...,n P(ci|ci-1)

P(ci|ci-1) 是詞類標(biāo)記的轉(zhuǎn)移概率，也叫做二元模型。

上述這兩個(gè)概率參數(shù)也都可以通過帶詞性標(biāo)記的語料庫來分別估計(jì)：

P(wi|ci) ≈ count(wi,ci) / count(ci)

P(ci|ci-1) ≈ count(ci-1ci) / count(ci-1)

順便指出，國內(nèi)外學(xué)者用詞類標(biāo)記的二元或三元模型實(shí)現(xiàn)的中、英文詞性自動(dòng)標(biāo)注都達(dá)到了約95%的標(biāo)注精確率。

評(píng)測(cè)為什么是惟一的評(píng)判標(biāo)準(zhǔn)

有評(píng)測(cè)才會(huì)有鑒別。評(píng)判一種方法優(yōu)劣的惟一標(biāo)準(zhǔn)是相互可比的評(píng)測(cè)，而不是設(shè)計(jì)人員自己設(shè)計(jì)的“自評(píng)”，更不是人們的直覺或某個(gè)人的“遠(yuǎn)見”。近年來，在語言信息處理領(lǐng)域，通過評(píng)測(cè)來推動(dòng)科學(xué)技術(shù)進(jìn)步的范例很多。國家“863計(jì)劃”智能計(jì)算機(jī)專家組曾對(duì)語音識(shí)別、漢字（印刷體和手寫體）識(shí)別、文本自動(dòng)分詞、詞性自動(dòng)標(biāo)注、自動(dòng)文摘和機(jī)器翻譯譯文質(zhì)量等課題進(jìn)行過多次有統(tǒng)一測(cè)試數(shù)據(jù)和統(tǒng)一計(jì)分方法的全國性評(píng)測(cè)，對(duì)促進(jìn)這些領(lǐng)域的技術(shù)進(jìn)步發(fā)揮了非常積極的作用。

在國際上，美國國防部先后發(fā)起的TIPSTER 和 TIDES兩個(gè)和語言信息處理相關(guān)的計(jì)劃，就被稱為“評(píng)測(cè)驅(qū)動(dòng)的計(jì)劃”。它們?cè)谛畔�檢索(TREC)、信息抽取（MUC）、命名實(shí)體識(shí)別（MET-2）等研究課題上，既提供大規(guī)模的訓(xùn)練語料和測(cè)試語料，又提供統(tǒng)一的計(jì)分方法和評(píng)測(cè)軟件，以保證每個(gè)研究小組都能在一種公平、公開的條件下進(jìn)行研究方法的探討，推動(dòng)科學(xué)技術(shù)的進(jìn)步。TREC、MUC和MET-2等會(huì)議所組織的多文種評(píng)比活動(dòng)也有力地說明，其他語言采用并證明有效的方法，對(duì)中文也一樣適用，不同文種應(yīng)用系統(tǒng)的性能指標(biāo)大體相當(dāng)。固然，每種語言都有它自己的個(gè)性，然而這些個(gè)性不應(yīng)當(dāng)被用來否定語言的共性，并在事實(shí)不足的情況下做出錯(cuò)誤的判斷。

為了推動(dòng)中文信息處理的發(fā)展，讓我們拿起評(píng)測(cè)這個(gè)武器，扎扎實(shí)實(shí)地研究其適用技術(shù)，不要再想當(dāng)然了。建議政府科研主管部門在制定項(xiàng)目計(jì)劃時(shí)，至少要在一個(gè)項(xiàng)目的總經(jīng)費(fèi)中拿出10%左右的撥款用于資助該項(xiàng)目的評(píng)測(cè)。沒有統(tǒng)一評(píng)測(cè)的研究成果，終究不是完全可信的。

計(jì)算機(jī)世界報(bào)