滑鐵盧大學(xué)CogDrive實(shí)驗(yàn)室探索了基于Domain Randomization 的模擬器到真實(shí)世界知識(shí)遷移算法。該算法可以使用效果較弱的domain adaptation方法來(lái)進(jìn)行定向數(shù)據(jù)增強(qiáng)，讓諸如自動(dòng)駕駛汽車的智能體獲得真實(shí)世界可用的策略。
隨著數(shù)據(jù)科學(xué)的發(fā)展，很多之前過(guò)于復(fù)雜，難以解決的問(wèn)題都可以通過(guò)數(shù)據(jù)擬合的方式來(lái)解決?；趯W(xué)習(xí)的算法一般都基于獨(dú)立同分布的假設(shè)，即用于訓(xùn)練的數(shù)據(jù)與真實(shí)環(huán)境遇到的數(shù)據(jù)符合統(tǒng)一分布，且相互獨(dú)立。要符合這一假設(shè)，在訓(xùn)練時(shí)需要采集大量數(shù)據(jù)以覆蓋真實(shí)使用時(shí)可能遇到的場(chǎng)景。對(duì)于自動(dòng)駕駛，對(duì)數(shù)據(jù)量的需求格外巨大，而數(shù)據(jù)采集的過(guò)程是昂貴，費(fèi)時(shí)費(fèi)力，甚至危險(xiǎn)的，數(shù)據(jù)標(biāo)注的過(guò)程更是需要大量人力。
而模擬器作為一個(gè)廉價(jià)但有準(zhǔn)確標(biāo)注的數(shù)據(jù)源，如果可以解決模擬器與真實(shí)世界數(shù)據(jù)上的差異，帶來(lái)的訓(xùn)練得到的策略上差異，將可以在自動(dòng)駕駛領(lǐng)域發(fā)揮巨大價(jià)值。從統(tǒng)計(jì)學(xué)上講，模擬器上的策略可用于真實(shí)世界的原因在于，模擬器于真實(shí)世界的數(shù)據(jù)具有相似的條件概率，僅是邊緣概率有較大差異。通俗的理解就是，人在模擬器中的駕駛策略與在真實(shí)世界的駕駛策略是相似的，僅是模擬器里的車與真實(shí)世界的車，道路長(zhǎng)得不太一樣。
Figure1領(lǐng)域自適應(yīng)與鄰域隨機(jī)化
為探索模擬器數(shù)據(jù)對(duì)于真實(shí)世界自動(dòng)駕駛的可用性，滑鐵盧大學(xué)CogDrive實(shí)驗(yàn)室探索了基于Domain Randomization 的模擬器到真實(shí)世界知識(shí)遷移算法。主流的用于知識(shí)遷移的鄰域自適應(yīng)算法一般是基于度量的，算法的關(guān)鍵在于量化兩個(gè)不同數(shù)據(jù)分布之間的差異，最終尋求一個(gè)將兩個(gè)數(shù)據(jù)分布映射到同一特征空間的映射函數(shù)。而Domain Randomization類算法一般側(cè)重于尋找兩個(gè)不同數(shù)據(jù)分布的共同特征空間（common latent space），再基于這個(gè)共同特征空間進(jìn)行進(jìn)一步的訓(xùn)練。
對(duì)于自動(dòng)駕駛模擬器與真實(shí)的駕駛環(huán)境，一個(gè)先驗(yàn)知識(shí)是模擬器與真實(shí)世界在圖像紋理，光照條件上有較大不同，而在幾何信息上大致相同，基于這個(gè)先驗(yàn)知識(shí)，可以嘗試構(gòu)建一個(gè)從模擬器遷移到真實(shí)世界的語(yǔ)義分割算法。
一般的 Domain Randomization 方法首先對(duì)模擬器圖像進(jìn)行一些自定義的圖像增強(qiáng)，然后使用增強(qiáng)后的圖像進(jìn)行訓(xùn)練。該團(tuán)隊(duì)的Domain Randomization則是基于圖像風(fēng)格遷移來(lái)進(jìn)行隨機(jī)化，從而進(jìn)行知識(shí)的遷移。圖像風(fēng)格遷移（Neural Style Transfer）可以視作一種一類圖像到另一類圖像的Domain adaptaiton。使用圖像風(fēng)格遷移來(lái)進(jìn)行Domain Randomization，實(shí)則是在使用一些效果較弱的Domain Adaptation方法來(lái)定向增強(qiáng)訓(xùn)練數(shù)據(jù)，從而使得目標(biāo)域數(shù)據(jù)分布屬于訓(xùn)練數(shù)據(jù)分布。
相比手工定義的圖像增強(qiáng)，基于風(fēng)格遷移的方法可以起到更好的效果。隨后一個(gè)基于 Conditional GAN的隨機(jī)化后的圖像到原圖像的映射網(wǎng)絡(luò)被進(jìn)一步用于將隨機(jī)化后的圖像映射為其對(duì)應(yīng)模擬器原圖。由于隨機(jī)化后的圖像與目標(biāo)域圖像有一個(gè)共同的特征空間，這個(gè)映射函數(shù)同樣可以用于將真實(shí)世界的圖像映射到對(duì)應(yīng)的模擬器“風(fēng)格”的圖像，從而可以將一個(gè)完全由模擬器數(shù)據(jù)訓(xùn)練的語(yǔ)義分割模型應(yīng)用到其中。
整個(gè)流程如圖3所示。在真實(shí)數(shù)據(jù)使用過(guò)程中，僅有一個(gè)generator需要添加在語(yǔ)義分割模型之前，用于將真實(shí)世界的圖像轉(zhuǎn)化為符合模擬器數(shù)據(jù)分布的圖像。
Figure3訓(xùn)練流程
更進(jìn)一步，最后加在具體的任務(wù)網(wǎng)絡(luò)前的這個(gè)Generator， 它的作用在于將邊緣分布與訓(xùn)練數(shù)據(jù)有一些差異的數(shù)據(jù)映射到與訓(xùn)練數(shù)據(jù)相同的邊緣分布。這樣一個(gè)模塊不只可以用于完成模擬器到真實(shí)世界的知識(shí)遷移，也可以用于增強(qiáng)模型的魯棒性。
在模擬器中使用該方法，可以定向增強(qiáng)訓(xùn)練數(shù)據(jù)，讓無(wú)人駕駛汽車獲取真實(shí)世界可用的策略。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
