近年來(lái)強(qiáng)化學(xué)習(xí)的高速發(fā)展已經(jīng)證明監(jiān)督強(qiáng)化學(xué)習(xí)可以在真實(shí)世界中處理包括任意物體的抓取、靈巧的運(yùn)動(dòng)等復(fù)雜的任務(wù)。然而利用精心設(shè)計(jì)的獎(jiǎng)勵(lì)函數(shù)來(lái)教會(huì)智能體進(jìn)行復(fù)雜的行為卻面臨著顯著的局限性。一方面在設(shè)計(jì)損失函數(shù)上需要大量的工程性工作，對(duì)于大量任務(wù)來(lái)說(shuō)幾乎是不可能的。另一方面針對(duì)真實(shí)環(huán)境設(shè)計(jì)獎(jiǎng)勵(lì)，其復(fù)雜性不僅來(lái)自于獎(jiǎng)勵(lì)函數(shù)本身，同時(shí)還需要一系列的環(huán)境基礎(chǔ)設(shè)施（額外的傳感器）或手工標(biāo)注的目標(biāo)狀態(tài)來(lái)進(jìn)行輔助。這種獎(jiǎng)勵(lì)函數(shù)工程方式顯示了智能體學(xué)習(xí)復(fù)雜行為的過(guò)程，而無(wú)監(jiān)督學(xué)習(xí)的出現(xiàn)為這一問(wèn)題提供了潛在的解決思路。
在監(jiān)督強(qiáng)化學(xué)習(xí)中，來(lái)自環(huán)境的外部獎(jiǎng)勵(lì)將引導(dǎo)智能體學(xué)習(xí)期待的行為，強(qiáng)化對(duì)環(huán)境進(jìn)行期待的行為改造。而在非監(jiān)督強(qiáng)化學(xué)習(xí)中，整體則利用內(nèi)在的獎(jiǎng)勵(lì)函數(shù)（例如嘗試環(huán)境中不同事物的好奇心）來(lái)生成訓(xùn)練信號(hào)，從而可以獲得更為廣泛的任務(wù)無(wú)關(guān)的技能行為。內(nèi)部獎(jiǎng)勵(lì)函數(shù)可以繞過(guò)外部獎(jiǎng)勵(lì)函數(shù)特有的工程問(wèn)題，在無(wú)需額外設(shè)計(jì)的情況下適用于更廣泛更通用的任務(wù)上去。雖然已經(jīng)有很多研究人員聚焦于實(shí)現(xiàn)非監(jiān)督強(qiáng)化學(xué)習(xí)的不同手段，但這是一個(gè)嚴(yán)重欠約束的問(wèn)題，沒(méi)有環(huán)境獎(jiǎng)勵(lì)函數(shù)的引導(dǎo)是很難學(xué)習(xí)到有用的行為的。那么主體和環(huán)境間交互的有效特性是否可以幫助發(fā)現(xiàn)更好的行為（技能）呢？
這篇文章中將介紹關(guān)于非監(jiān)督強(qiáng)化學(xué)習(xí)的最新研究。在DADS（Dynamics－Aware Unsupervised Discovery of Skills）方法中為非監(jiān)督學(xué)習(xí)引入了可預(yù)測(cè)的優(yōu)化目標(biāo)，將技能的基礎(chǔ)特性視為可以對(duì)環(huán)境帶來(lái)可預(yù)測(cè)的改變，基于這一觀(guān)點(diǎn)開(kāi)發(fā)出了非監(jiān)督強(qiáng)化學(xué)習(xí)技能發(fā)現(xiàn)算法，并在模擬實(shí)驗(yàn)中展示了其廣泛適應(yīng)性。隨后研究人員還改進(jìn)了樣本效率，展示了非監(jiān)督技能發(fā)現(xiàn)對(duì)于真實(shí)世界的可行性。
左圖表示隨機(jī)不可預(yù)測(cè)的行為，右圖描述了在可預(yù)測(cè)環(huán)境中的系統(tǒng)性運(yùn)動(dòng)。本研究的目標(biāo)在于學(xué)習(xí)像右圖一樣潛在的有用行為而無(wú)需獎(jiǎng)勵(lì)函數(shù)工程。
DADS概覽
DADS設(shè)計(jì)了一個(gè)內(nèi)部獎(jiǎng)勵(lì)函數(shù)來(lái)鼓勵(lì)主體發(fā)現(xiàn)可預(yù)測(cè)、多樣性的技能。在以下兩種情況下內(nèi)部獎(jiǎng)勵(lì)函數(shù)值很高：
（a）．不同技能對(duì)于環(huán)境的改變不同（鼓勵(lì)多樣性）；
（b）．給定技能在環(huán)境的造成的改變是可預(yù)測(cè)的（可預(yù)測(cè)性）。由于DADS無(wú)法從環(huán)境中獲取任何獎(jiǎng)勵(lì)，技能優(yōu)化的多樣性可以使得智能體抓住盡可能多的潛在有效行為。
為了判斷技能是否具有可預(yù)測(cè)性，文章中又訓(xùn)練技能動(dòng)力學(xué)網(wǎng)絡(luò)，在給定當(dāng)前狀態(tài)和執(zhí)行技能后來(lái)預(yù)測(cè)環(huán)境狀態(tài)的改變。技能動(dòng)力學(xué)網(wǎng)絡(luò)對(duì)于環(huán)境狀態(tài)的預(yù)測(cè)越好，對(duì)于技能就越是可預(yù)測(cè)的。DADS定義的內(nèi)部獎(jiǎng)勵(lì)可以利用任何傳統(tǒng)的強(qiáng)化學(xué)習(xí)算法來(lái)最大化。
DADS的概覽圖
這套算法使得多個(gè)不同的主體可以通過(guò)與環(huán)境純粹的無(wú)獎(jiǎng)勵(lì)交互來(lái)發(fā)現(xiàn)可預(yù)測(cè)的技能。DADS與先前的算法不同，可以拓展到高維度的連續(xù)控制環(huán)境中，例如人形機(jī)器人、模擬雙足機(jī)器人等。由于DADS可適應(yīng)多種環(huán)境，可用于在方向性的環(huán)境中定位、操控和運(yùn)動(dòng)。下圖展示了一些實(shí)驗(yàn)中的例子。
旋轉(zhuǎn)跳躍、人形仿真的不同步態(tài)、旋轉(zhuǎn)目標(biāo)的不同方法。
12下一頁(yè)>（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
