如何教AI智能體像人類(lèi)一樣學(xué)習(xí)？百度IDL踏出第一步

盡管人工智能取得了巨大的進(jìn)步，但在許多方面仍然存在局限。例如，在電腦游戲中，如果AI智能體未預(yù)先編程游戲規(guī)則，則必須嘗試數(shù)百萬(wàn)次才能確定正確的選擇。人類(lèi)可以在更短的時(shí)間內(nèi)完成相同的壯舉，因?yàn)槲覀兩瞄L(zhǎng)通過(guò)使用語(yǔ)言將過(guò)去的知識(shí)轉(zhuǎn)移到新的任務(wù)中。

在一個(gè)屠龍游戲中，AI智能體需要嘗試許多其他的動(dòng)作（對(duì)著墻或是花叢噴火），才能理解它必須殺死龍。然而，如果AI智能體理解語(yǔ)言，人類(lèi)可以簡(jiǎn)單地使用語(yǔ)言來(lái)指示它：“殺死龍才能使游戲獲勝”。

在人類(lèi)如何概括技能并將其應(yīng)用于新任務(wù)方面上，基于視覺(jué)的語(yǔ)言發(fā)揮著重要作用，這對(duì)于機(jī)器仍然是一個(gè)重大挑戰(zhàn)。開(kāi)發(fā)復(fù)雜的語(yǔ)言系統(tǒng)對(duì)于機(jī)器變得真正智能，并獲得像人類(lèi)一樣學(xué)習(xí)的能力至關(guān)重要。

作為實(shí)現(xiàn)這一目標(biāo)的第一步，百度IDL實(shí)驗(yàn)室開(kāi)發(fā)了一個(gè)使用監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的組合系統(tǒng)，允許虛擬教師向虛擬AI智能體教授語(yǔ)言，通過(guò)將語(yǔ)言與感知和動(dòng)作連接起來(lái)，就像父母教他們的寶寶一樣。

IDL實(shí)驗(yàn)室的結(jié)果表明，在訓(xùn)練結(jié)束后，AI智能體能夠以自然的語(yǔ)言正確地解讀老師的指令，并采取相應(yīng)的行動(dòng)。更重要的是，AI智能體開(kāi)發(fā)了“zero-shot學(xué)習(xí)能力”，這意味著智能體能夠理解潛在的語(yǔ)句，研究院發(fā)現(xiàn)，“這項(xiàng)研究使我們向教機(jī)器像人類(lèi)一樣學(xué)習(xí)邁進(jìn)一步。”

論文鏈接：http://arxiv.org/abs/1703.09831

學(xué)習(xí)概況

雷鋒網(wǎng)了解到，該研究在稱為XWORLD的2D迷宮般的環(huán)境中進(jìn)行，百度的虛擬智能體需要根據(jù)虛擬教師發(fā)出的自然語(yǔ)言命令進(jìn)行導(dǎo)航。一開(kāi)始，智能體對(duì)這種語(yǔ)言一無(wú)所知，每一個(gè)字都同等的沒(méi)有任何意義。 然而，當(dāng)它探索環(huán)境時(shí)，如果執(zhí)行命令成功（或失?。?，老師會(huì)給出積極的（或消極的）回應(yīng)。

為了幫助智能體學(xué)習(xí)得更快，老師還會(huì)在智能體導(dǎo)航時(shí)詢問(wèn)有關(guān)環(huán)境的簡(jiǎn)單問(wèn)題。智能體需要正確的回答問(wèn)題。通過(guò)鼓勵(lì)正確的行動(dòng)/答案，懲罰不正確的行動(dòng)/回答，經(jīng)過(guò)多次試驗(yàn)和錯(cuò)誤，老師得以訓(xùn)練智能體去了解自然語(yǔ)言。

一些示例命令包括：

請(qǐng)移動(dòng)到蘋(píng)果處。

你可以移動(dòng)到蘋(píng)果和香蕉之間的網(wǎng)格嗎？

你能移動(dòng)到紅蘋(píng)果處嗎？

一些Q＆A的例子：

問(wèn)：北方的物體是什么？答：一根香蕉。

問(wèn)：香蕉在哪里？答：北邊。

問(wèn)：蘋(píng)果西邊物體的顏色是多少？ 答：黃色

結(jié)果

最后，智能體能夠正確地解釋教師的命令并導(dǎo)航到正確的地方。更重要的是，智能體開(kāi)發(fā)了研究團(tuán)隊(duì)的所謂的“zero-shot learning ability”，這意味著即使是以前沒(méi)有看到的全新命令，如果有足夠的以前看過(guò)的相似形式的句子，仍然能夠正確的執(zhí)行任務(wù)。換句話說(shuō)，智能體能夠以已知的方式（語(yǔ)法）理解用已知單詞組合的新句子。

例如，一個(gè)學(xué)習(xí)如何用刀切一個(gè)蘋(píng)果的人將會(huì)知道如何用刀切火龍果。將過(guò)去的知識(shí)應(yīng)用于新任務(wù)對(duì)于人來(lái)說(shuō)非常容易，但是對(duì)于目前的端到端學(xué)習(xí)機(jī)器來(lái)說(shuō)仍然是困難的。

雖然機(jī)器可能知道“火龍果”的樣子，但是除非它已經(jīng)使用包含該命令的數(shù)據(jù)集進(jìn)行了明確的訓(xùn)練，否則它無(wú)法執(zhí)行“用刀切割火龍果”的任務(wù)。相比之下，我們的智能體表現(xiàn)出能夠轉(zhuǎn)移它所知道的關(guān)于火龍果的視覺(jué)外觀，以及“用刀切”的任務(wù)，即使沒(méi)有經(jīng)過(guò)確切的的訓(xùn)練，仍然可以成功進(jìn)行用“用刀切割龍果”的任務(wù) 。

下圖展現(xiàn)了我們的智能體成功執(zhí)行導(dǎo)航任務(wù)測(cè)試。

導(dǎo)航語(yǔ)句

請(qǐng)移動(dòng)到卷心菜的西邊。

請(qǐng)移動(dòng)到無(wú)花果的東邊。

識(shí)別語(yǔ)句

Q：東南邊是什么？

A：西瓜。

導(dǎo)航測(cè)試

請(qǐng)移動(dòng)到無(wú)花果的西邊。

導(dǎo)航語(yǔ)句

你可以移動(dòng)到椰子處嗎？

你可以移動(dòng)到蘋(píng)果處嗎？

導(dǎo)航測(cè)試

你可以移動(dòng)到西瓜處嗎？

雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))了解到，百度研究院的后續(xù)研究有兩個(gè)方向：

一個(gè)是在當(dāng)前2D環(huán)境中用自然語(yǔ)言命令教授智能體更多的能力，

另一個(gè)是將其遷移到虛擬3D環(huán)境。虛擬3D環(huán)境帶來(lái)更多的挑戰(zhàn)，而且更像是我們現(xiàn)實(shí)生活的環(huán)境。

而百度的最終目標(biāo)，是讓人類(lèi)在現(xiàn)實(shí)環(huán)境中，采用自然語(yǔ)言來(lái)訓(xùn)練一個(gè)真正意義上的機(jī)器人。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。