監(jiān)督強(qiáng)化學(xué)習(xí)兩不誤：Facebook讓聊天機(jī)器人學(xué)會(huì)談判

監(jiān)督強(qiáng)化學(xué)習(xí)兩不誤：Facebook讓聊天機(jī)器人學(xué)會(huì)談判雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))AI 科技評論按：目前人們對聊天機(jī)器人的認(rèn)識(shí)還在調(diào)戲微軟小冰的階段，可以明顯感覺到小冰不是很關(guān)心上下文之間的關(guān)聯(lián)。而且在我們的觀念里，聊天機(jī)器人也沒辦法真的理解人類所說的話，沒辦法跟人類討論事情、明確地達(dá)到什么共同目標(biāo)。

不過，F(xiàn)acebook的人工智能研究機(jī)構(gòu)FAIR剛剛開源并公開發(fā)表的聊天機(jī)器人就開始擁有了跟人類進(jìn)行協(xié)商談判、進(jìn)行討價(jià)還價(jià)的能力。通過監(jiān)督學(xué)習(xí)+強(qiáng)化學(xué)習(xí)，這個(gè)聊天機(jī)器人不僅能理解字詞和語義的對應(yīng)關(guān)系，還能針對自己的目標(biāo)制定策略，跟別人進(jìn)行協(xié)商討論達(dá)成一致。

以下為雷鋒網(wǎng) AI 科技評論根據(jù)FAIR文章進(jìn)行的詳細(xì)介紹。

生活的每一天里，我們一睜眼就要不停地跟別人協(xié)商事情。要么是討論看哪個(gè)電視臺(tái)，要么是說服家里小孩吃蔬菜，或者買東西的時(shí)候討價(jià)還價(jià)。這幾件事的共同點(diǎn)是，都需要復(fù)雜的交流和講理能力，而這些能力很難在計(jì)算機(jī)里見到。

發(fā)展到現(xiàn)在，聊天機(jī)器人方面的研究已經(jīng)可以形成聊天系統(tǒng)，它能進(jìn)行簡短對話，能完成訂餐館這樣的簡單任務(wù)。但是讓機(jī)器人跟人進(jìn)行有意義的對話還是很難的，因?yàn)檫@需要機(jī)器人把它對對話的理解和它對世界的知識(shí)進(jìn)行組合，然后再生成一句能幫它達(dá)到自己的目標(biāo)的句子。

今天，F(xiàn)acebook FAIR的研究員們開源并公開發(fā)表的聊天機(jī)器人有了一項(xiàng)新能力，這個(gè)新能力就是協(xié)商。

有著不同目標(biāo)的人類之間會(huì)產(chǎn)生沖突，然后通過協(xié)商達(dá)成一種大家共同認(rèn)可的妥協(xié)，現(xiàn)在研究員們證明了聊天機(jī)器人也可以做到這些。具有不同目標(biāo)的聊天機(jī)器人（具體實(shí)現(xiàn)是端到端訓(xùn)練的神經(jīng)網(wǎng)絡(luò)）在一段從頭到尾的協(xié)商中，可以跟其它聊天機(jī)器人或者人類一起做出共同的決定或者達(dá)到共同的目標(biāo)。

任務(wù)：多種類討價(jià)還價(jià)

FAIR的研究員們研究了一種多種類討價(jià)還價(jià)任務(wù)下的協(xié)商任務(wù)。給兩個(gè)智能體展示同一組物體（比如2本書，1個(gè)帽子，3個(gè)籃球），為了能把東西分給它們，就需要教它們協(xié)商自己分到的數(shù)目。

每個(gè)智能體都有自己的價(jià)值函數(shù)，它代表了智能體對每種物體的關(guān)心程度如何（比如在智能體1看來每個(gè)籃球值3分）。然后，就像生活中一樣，每個(gè)智能體都沒法確切知道別的智能體的價(jià)值函數(shù)，只能從對話中進(jìn)行推測（如果對方說他想要籃球，那在他看來籃球的分值肯定比較高）。

FAIR的研究員們設(shè)計(jì)了很多類似這樣需要協(xié)商的情境，而且始終不會(huì)讓兩個(gè)智能體同時(shí)達(dá)成自己最滿意的分法。以及，如果拒絕協(xié)商（或者如果10輪對話以后還沒達(dá)成一致），那么兩個(gè)智能體都會(huì)得0分。簡單說，進(jìn)行協(xié)商是關(guān)鍵，如果還協(xié)商到了一個(gè)好的結(jié)果那就得分更高。

對話推演（Dialog Rollouts）

協(xié)商是一個(gè)語言性和講理性的綜合問題，其中的參與者要先形成自己的意圖，還要能用語言表達(dá)出來。合作和對抗的元素都會(huì)出現(xiàn)在這些對話中，這就需要智能體們理解并形成長期計(jì)劃，然后據(jù)此進(jìn)行表達(dá)以便達(dá)到自己的目標(biāo)。

為了建立這種有長期計(jì)劃能力的對話智能體，F(xiàn)AIR研究員們有一個(gè)核心的技術(shù)創(chuàng)新，他們把這個(gè)點(diǎn)子叫做“對話推演”（dialog rollouts）。

如果聊天機(jī)器人可以建立對談?wù)叩奶摂M模型然后“提前考慮”，或者預(yù)感到未來對話的可能方向，它們就可以選擇避開沒有信息量的、引發(fā)困惑的或者糟糕的來回討論，轉(zhuǎn)而向著成功一些的方向去。

具體來說，F(xiàn)AIR開發(fā)出了對話推演這樣的新穎技術(shù)，一個(gè)使用這種技術(shù)的智能體可以一直模擬未來的對話到結(jié)尾，這樣它就可以選出可以在未來帶來最高收益的話語。

類似的方法已經(jīng)在游戲環(huán)境中得到過應(yīng)用，但是用來解決語言問題還是第一次，因?yàn)榭蛇x擇的行動(dòng)數(shù)目要多多了。為了提高效率，研究員們首先生成了一組數(shù)量不多的話語可供選擇，然后為了估計(jì)這些話語是否成功，他們對其中的每一條都反復(fù)模擬完整的后續(xù)對話。這個(gè)模型的預(yù)測準(zhǔn)確率足夠高，也要?dú)w功于這項(xiàng)技術(shù)從以下幾個(gè)方面顯著提升了協(xié)商水平：

• 協(xié)商時(shí)候更努力：這些新的智能體能跟人類進(jìn)行更長的對話，代價(jià)是對價(jià)碼的接受會(huì)慢一點(diǎn)。相比人類有時(shí)候不達(dá)成一致就走掉了，這個(gè)實(shí)驗(yàn)中的模型會(huì)一直協(xié)商到取得成功的結(jié)果為止。

• 智能化的應(yīng)對：有時(shí)候會(huì)出現(xiàn)這樣的狀況，智能體一開始會(huì)假裝對沒什么價(jià)值的東西感興趣，就為了后來可以放棄它們來表現(xiàn)出自己在“妥協(xié)”，這確實(shí)是一個(gè)人類經(jīng)常使用的談判技巧。這種行為可不是研究員們設(shè)計(jì)給它們的，而是智能體在想辦法達(dá)成目標(biāo)的過程中自己發(fā)現(xiàn)的談判方法。

• 產(chǎn)生新穎的句子：盡管神經(jīng)網(wǎng)絡(luò)模型可以很輕松地從訓(xùn)練數(shù)據(jù)中重復(fù)一些句子，這項(xiàng)研究也展示出在有必要的時(shí)候模型也能自己生成一些句子。

建立及評價(jià)一個(gè)協(xié)商數(shù)據(jù)集

為了能夠訓(xùn)練協(xié)商智能體以及做大規(guī)模量化評估，F(xiàn)AIR團(tuán)隊(duì)用眾包的方法建立了一個(gè)人和人之間協(xié)商對話的數(shù)據(jù)集。其中參與的人看到了一組東西和每個(gè)東西的價(jià)值，然后要商量他們之間怎么分這些東西。然后研究員們就用這些對話訓(xùn)練出了一個(gè)能模仿人類行為進(jìn)行協(xié)商的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。在對話中的任何時(shí)刻，這個(gè)模型都會(huì)猜測人類在這種狀況下會(huì)說什么。

在以前目標(biāo)導(dǎo)向的對話研究中，模型都是完全由人類的語言和決定進(jìn)行“端到端”訓(xùn)練得到的，這意味著這種方法可以方便地用在其它任務(wù)中。

為了讓模型不僅僅停留在對人類的模仿，F(xiàn)AIR的研究員們接下來讓模型轉(zhuǎn)而向完成協(xié)商的目標(biāo)發(fā)展。為了讓模型達(dá)到目標(biāo)，研究員們讓模型自己跟自己進(jìn)行了上千輪協(xié)商，并且用到了強(qiáng)化學(xué)習(xí)在得到好的結(jié)果的時(shí)候獎(jiǎng)勵(lì)模型。為了避免讓算法生成自己的一套語言，模型同時(shí)也要訓(xùn)練生成類人的語言。

為了評價(jià)這些協(xié)商智能體，F(xiàn)AIR讓它們上網(wǎng)跟人類聊天。之前的大多數(shù)研究都在避免跟真人聊天，或者研究的是難度更低的領(lǐng)域，這都是因?yàn)閷Ω鞣N各種的人類語言進(jìn)行回答需要訓(xùn)練復(fù)雜的模型。

有意思的是，在FAIR的實(shí)驗(yàn)中，多數(shù)人都沒發(fā)現(xiàn)跟他們聊天的不是真人，而是機(jī)器人，說明機(jī)器人已經(jīng)學(xué)會(huì)如何在這個(gè)領(lǐng)域流暢地用英文進(jìn)行對話了。FAIR最優(yōu)秀的協(xié)商機(jī)器人就運(yùn)用了強(qiáng)化學(xué)習(xí)和對話推演，它的表現(xiàn)已經(jīng)可以跟人類談判員相提并論。它達(dá)成的交易里，較好一些的和糟糕一些的差不多多，這也說明了FAIR的聊天機(jī)器人不僅會(huì)說英語，而且還能智能地考慮應(yīng)該說什么。

用于聊天機(jī)器人的強(qiáng)化學(xué)習(xí)

監(jiān)督學(xué)習(xí)可以模仿人類用戶的動(dòng)作，但是它沒法具體表現(xiàn)出達(dá)成目標(biāo)的意志。FAIR團(tuán)隊(duì)選了另一種方法，他們先用監(jiān)督學(xué)習(xí)進(jìn)行預(yù)訓(xùn)練，然后用強(qiáng)化學(xué)習(xí)的方法結(jié)合評價(jià)指標(biāo)對模型進(jìn)行微調(diào)。以結(jié)果來說，他們用監(jiān)督學(xué)習(xí)學(xué)到了如何把語言文字和意思相對應(yīng)，然后用強(qiáng)化學(xué)習(xí)幫助判斷說什么語句。

在增強(qiáng)學(xué)習(xí)中，智能體會(huì)試著根據(jù)自己與另一個(gè)智能體之間的對話優(yōu)化自己的參數(shù)。不過同時(shí)這另一個(gè)智能體也可以是一個(gè)人，所以FAIR就用了一個(gè)訓(xùn)練過的監(jiān)督學(xué)習(xí)模型來模仿人類。這個(gè)模仿人類的模型是固定不變的，因?yàn)檠芯空邆儼l(fā)現(xiàn)如果兩個(gè)模型的參數(shù)都可以優(yōu)化的話，它們之間的對話就會(huì)偏離人類的語言，演化出一種它們自己的談判語言。在每一場對話結(jié)束以后，智能體都會(huì)根據(jù)自己談成的結(jié)果得到獎(jiǎng)勵(lì)。這種獎(jiǎng)勵(lì)是用智能體整個(gè)過程里的所有語言輸出運(yùn)用策略梯度進(jìn)行反向傳播得到的，目的是為了讓智能體有更高的可能性選擇會(huì)有更高獎(jiǎng)勵(lì)的動(dòng)作。

期待更高發(fā)展

對Facebook來說這是一項(xiàng)突破性的研究，對整個(gè)研究領(lǐng)域和機(jī)器人開發(fā)者來說，這是建立能講道理、交談、協(xié)商的機(jī)器人的重大進(jìn)展，而這幾項(xiàng)都是建立個(gè)性化數(shù)字助理的重要組成部分。

對FAIR的研究人員而言，他們也希望與其它的研究人員繼續(xù)共同討論研究成果、共同分析想要解決的問題。他們也期待更多有才干的人投入想法和精力，推動(dòng)這個(gè)領(lǐng)域進(jìn)一步發(fā)展。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。