為什么NLP相對(duì)來(lái)說(shuō)這么困難?

當(dāng)我在思考這個(gè)問(wèn)題的時(shí)候,不禁回想到了我的小時(shí)候就覺(jué)得非常神奇的IBM機(jī)器人沃森,這臺(tái)機(jī)器人擁有當(dāng)時(shí)人類所制造機(jī)器的最頂級(jí)的智慧,具有高級(jí)語(yǔ)言處理能力并且能夠初步理解英語(yǔ)的能力.

初步來(lái)看,實(shí)現(xiàn)這樣的一個(gè)能夠和語(yǔ)言與人類進(jìn)行交流的機(jī)器人,其中包括語(yǔ)音識(shí)別和自然語(yǔ)言處理(包括手語(yǔ),唇語(yǔ),肢體語(yǔ)言等)來(lái)與人類進(jìn)行溝通,通過(guò)自然語(yǔ)言生成和語(yǔ)音合成來(lái)和人類進(jìn)行交際,同時(shí)也需要進(jìn)行信息檢索和信息抽取,從而能夠進(jìn)行推理,根據(jù)已知的事實(shí)來(lái)得到結(jié)論.

語(yǔ)言處理中的一些困難:

我們把處理口語(yǔ)和書(shū)面語(yǔ)的計(jì)算技術(shù)稱為語(yǔ)音和語(yǔ)言處理,合起來(lái)就算是自然語(yǔ)言處理,其實(shí)這是一個(gè)很廣泛的定義,這個(gè)范圍從人人皆知的比如分詞計(jì)算,自動(dòng)換行這樣的相對(duì)簡(jiǎn)單的技術(shù),直到比如微軟小冰這樣的自動(dòng)回答,Google翻譯這樣的實(shí)時(shí)口語(yǔ)自動(dòng)翻譯的高級(jí)技術(shù).

而自然語(yǔ)言處理相對(duì)于計(jì)算機(jī)視覺(jué)這樣的其他人工智能的應(yīng)用來(lái)說(shuō),自然語(yǔ)言處理需要從業(yè)人員有一定的語(yǔ)言知識(shí),就好比我們?cè)趧側(cè)腴T的時(shí)候用NLTK包來(lái)計(jì)算文本文件的詞數(shù),句數(shù),以及上下文語(yǔ)句等.當(dāng)我們?nèi)绻胣ltk上的處理字節(jié)數(shù)功能時(shí),這就是一個(gè)簡(jiǎn)單的數(shù)據(jù)處理工具,而我們?nèi)绻ビ?jì)算一篇文章中的詞數(shù),句數(shù)的時(shí)候,就需要讓計(jì)算機(jī)知道什么是詞,什么是句子,從哪里斷句,從哪里開(kāi)始的語(yǔ)言知識(shí),這個(gè)時(shí)候工具就變成了一個(gè)自然語(yǔ)言處理系統(tǒng).但是像是nltk這樣的工具畢竟還是一個(gè)簡(jiǎn)單的系統(tǒng),他的語(yǔ)言知識(shí)也比較有限,如果要其擁有跟我們?nèi)祟愑袑?duì)話的語(yǔ)言能力,我們就必須要求系統(tǒng)擁有更加廣泛和更加深刻的語(yǔ)言知識(shí),因此這就需要從業(yè)人員擁有處理更加復(fù)雜系統(tǒng)所需的語(yǔ)言知識(shí)范圍和種類的語(yǔ)言能力.

而計(jì)算機(jī)識(shí)別語(yǔ)音的時(shí)候,計(jì)算機(jī)也必須要分析他所能接受的聲音信號(hào),那些是噪音,那些是有用的知識(shí),并且因此來(lái)說(shuō),為了生成回答進(jìn)行反饋,計(jì)算機(jī)必須要把知識(shí)圖譜中的回答進(jìn)行整理組織成詞的系列,并且能夠生成出能夠讓人類是識(shí)別的語(yǔ)音信號(hào).

當(dāng)然,為了實(shí)現(xiàn)這些,我們就有用到phonetics和phonology的知識(shí),這樣的知識(shí)能夠給幫我們?nèi)绾谓⒛Ｐ蛠?lái)識(shí)別語(yǔ)句中的發(fā)音.

如果是處理詞,又有很多的問(wèn)題,比如說(shuō)處理I’m和I am的這樣的縮略詞形式,如果要能夠產(chǎn)生和識(shí)別單詞這樣那樣的變體,其實(shí)這就又要需要形態(tài)學(xué)上的知識(shí),希望能夠反應(yīng)關(guān)于上下文中詞的形態(tài)和行為的有關(guān)信息.

另外,除了處理一個(gè)個(gè)單詞以外,我們還要考慮如何生成一句話,并且能夠按照我們的需求進(jìn)行生成,這樣我們有需要組詞成句的知識(shí),以及詞匯語(yǔ)義學(xué)和組合語(yǔ)義學(xué)的知識(shí)

最后一個(gè)是最困難的,關(guān)于消除歧義:

例如“這房間就是個(gè)烤箱”、“這個(gè)房間就是個(gè)盒子”，雖然句式相同但都不是字面的意思，前者表示這個(gè)房間很熱，后者則表示這個(gè)房間很小。要讓計(jì)算機(jī)理解這些話的意思，不是僅僅做詞表示甚至句法分析能解決的。也例如，語(yǔ)言理解實(shí)際是一個(gè)多模態(tài)過(guò)程，需要綜合除語(yǔ)言之外的視覺(jué)、聽(tīng)覺(jué)甚至觸覺(jué)等多模態(tài)的富語(yǔ)境信息才能實(shí)現(xiàn)真正的語(yǔ)言理解。我個(gè)人覺(jué)得，這些應(yīng)該是自然語(yǔ)言理解/處理比較困難的地方。

自然語(yǔ)言理解/處理應(yīng)該是實(shí)現(xiàn)通用人工智能的關(guān)鍵挑戰(zhàn)，但似乎不應(yīng)是最難挑戰(zhàn)。語(yǔ)言能力是人類智能的集中體現(xiàn)，不過(guò)構(gòu)建在語(yǔ)言等能力基礎(chǔ)之上的思辨、決策和創(chuàng)造等能力，似乎都還沒(méi)納入人工智能主要探討的范圍，也許這些更困難些。例如，如何讓機(jī)器像人一樣思考哲學(xué)問(wèn)題，像人一樣指揮戰(zhàn)爭(zhēng)或運(yùn)營(yíng)商業(yè)公司，或像人一樣發(fā)明創(chuàng)造？這些問(wèn)題似乎都比自然語(yǔ)言理解/處理更困難。

即使限定在自然語(yǔ)言處理，當(dāng)前關(guān)心的問(wèn)題也更偏重自然語(yǔ)言傳遞信息的工具屬性上，也就是如何讓計(jì)算機(jī)更準(zhǔn)確地理解一句話的字面意思。人類語(yǔ)言更富魅力的“言有盡而意無(wú)窮”的特點(diǎn)，還遠(yuǎn)未被探索。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。