超越人類的多任務(wù)學(xué)習(xí)算法，將給AI帶來什么？

原標(biāo)題：超越人類的多任務(wù)學(xué)習(xí)算法，將給AI帶來什么？

過去十幾年，人類可以說是在機(jī)器智能面前節(jié)節(jié)退敗，屢敗屢戰(zhàn)。而多任務(wù)處理（multi-tasking），幾乎是為數(shù)不多可以讓我們“天生驕傲”的能力了。

比如，人可以同時(shí)打開8個(gè)網(wǎng)站、3份文檔和一個(gè)Facebook，即使正在專心處理其中一件事，只要突然收到一條回復(fù)或更新提醒，也能夠快速安排的明明白白。

對(duì)機(jī)器而言，要在同一時(shí)間完成這樣的任務(wù)顯然有點(diǎn)難。因此，多任務(wù)處理一直被視作是人類所獨(dú)有的的技能點(diǎn)。

然而，這個(gè)優(yōu)勢似乎也快要失守了。

Deepmind一項(xiàng)最新的研究成果顯示，借助其開發(fā)的PopArt方法來訓(xùn)練深度學(xué)習(xí)引擎，能夠培養(yǎng)出可進(jìn)行多任務(wù)處理的智能體，并且在實(shí)際的表現(xiàn)中超越了人類！

讓機(jī)器“一心多用”的PopArt，究竟是如何工作的？

關(guān)于多任務(wù)學(xué)習(xí)的研究已經(jīng)持續(xù)了大概20年之久，盡管一直沒能像單任務(wù)學(xué)習(xí)（如AlphaGo）那樣做出什么奪人眼球的成果，但顯然更符合我們對(duì)“機(jī)器模擬人腦”的想象。

畢竟在現(xiàn)實(shí)生活中，各種“學(xué)習(xí)任務(wù)”之間都有著千絲萬縷的聯(lián)系，比如當(dāng)人在玩電子游戲時(shí)，圖像識(shí)別、任務(wù)理解、執(zhí)行操作并追求收益最大化，這些都可以在瞬間完成的操作，并且在任何一個(gè)游戲中都可以如法炮制，而機(jī)器目前只能通過分解成單個(gè)任務(wù)去學(xué)習(xí)并處理。

怎樣指導(dǎo)機(jī)器在同一時(shí)間完成多個(gè)復(fù)雜任務(wù)，Deepmind提出了一個(gè)新的方法“PopArt”，據(jù)說可以讓機(jī)器在多任務(wù)處理上的成績超越人類。

如名字所示，PopArt（Preserving Outputs Precisely while Adaptively Rescaling Targets），即在自適應(yīng)重新縮放目標(biāo)的同時(shí)精確保留原有輸出。

有人可能會(huì)說，這句話里每個(gè)漢字我都認(rèn)識(shí)，但湊在一起竟然完全不知道說的是啥？

不要方，我們今天就來“庖丁解牛”，告訴大家這個(gè)能夠讓機(jī)器“一心多用”的PopArt，究竟是何方神圣？

簡單來說，PopArt的工作機(jī)制就是在機(jī)器對(duì)不同任務(wù)的學(xué)習(xí)數(shù)據(jù)進(jìn)行加權(quán)之前，先對(duì)數(shù)據(jù)目標(biāo)進(jìn)行自動(dòng)的“歸一化”調(diào)整，再將其轉(zhuǎn)換成原始數(shù)據(jù)輸出給機(jī)器。

這一做法有兩個(gè)好處：

一是讓機(jī)器對(duì)不同獎(jiǎng)勵(lì)大小和頻率的多個(gè)任務(wù)進(jìn)行更穩(wěn)健、一致的學(xué)習(xí)。

對(duì)于機(jī)器而言，多任務(wù)學(xué)習(xí)比單一任務(wù)學(xué)習(xí)更困難的最主要原因就是，多任務(wù)學(xué)習(xí)必須要將有限的資源分配給多個(gè)任務(wù)目標(biāo)，但常規(guī)算法對(duì)不同任務(wù)設(shè)置的權(quán)重也有所不同。這就導(dǎo)致機(jī)器智能體會(huì)根據(jù)任務(wù)回報(bào)的多寡來選擇執(zhí)行哪些任務(wù)。

舉個(gè)例子，同樣是A游戲，機(jī)器在處理《pong》（一款乒乓球游戲）時(shí)只能得到-1、0或+1的獎(jiǎng)勵(lì)，而處理《吃豆人小姐》游戲時(shí)，則可以獲得上千個(gè)積分，機(jī)器自然會(huì)更專注于執(zhí)行后者。

即使開發(fā)者將單個(gè)獎(jiǎng)勵(lì)設(shè)置成一樣的，隨著不同游戲獎(jiǎng)勵(lì)頻率的不同，差距還是會(huì)越來越大，依然會(huì)影響機(jī)器的判斷。

結(jié)果就是，這個(gè)智能體會(huì)在處理某些任務(wù)上表現(xiàn)越來越好，但在其他任務(wù)上卻越來越力不從心。

但PopArt可以很好地解決這個(gè)機(jī)器“偏心”的問題。

DeepMind將PopArt應(yīng)用在自己最常用的深度強(qiáng)化學(xué)習(xí)智能體IMPALA上，讓它同時(shí)處理57個(gè)Atari經(jīng)典游戲，結(jié)果令人震驚——

應(yīng)用了PopArt的IMPALA，不僅分?jǐn)?shù)遠(yuǎn)遠(yuǎn)高于原始IMPALA的表現(xiàn)，甚至超越了人類的成績！

下圖中可以看到，修正游戲數(shù)據(jù)權(quán)重后的IMPALA（藍(lán)色）性能表現(xiàn)接近于0%，與PopArt-IMPALA中位數(shù)101%的華麗數(shù)據(jù)形成了鮮明對(duì)比。

簡單來說，就是PopArt自適應(yīng)調(diào)整了每個(gè)游戲中獎(jiǎng)勵(lì)分支的大小，讓機(jī)器認(rèn)為不同任務(wù)帶給自己的獎(jiǎng)勵(lì)是相同的，擁有同等的學(xué)習(xí)價(jià)值，因此，盡管這57個(gè)游戲有著巨量的環(huán)境、不一樣的動(dòng)態(tài)和完全不同的獎(jiǎng)勵(lì)機(jī)制，但機(jī)器都能夠?qū)λ鼈儭耙灰曂省薄?/p>

據(jù)我們所知，這還是當(dāng)前單個(gè)智能體首次超越人類在多任務(wù)處理上的表現(xiàn)。

PopArt的第二重作用，則是能夠有效增加機(jī)器學(xué)習(xí)智能體的數(shù)據(jù)效率，降低訓(xùn)練成本。

Deepmind發(fā)現(xiàn)，PopArt-IMPALA與像素控制技術(shù)相結(jié)合，只需要不到十分之一的數(shù)據(jù)量，就能達(dá)到原來的訓(xùn)練效果，這使其數(shù)據(jù)效率大幅提升。

因此，PopArt-IMPALA在大型多任務(wù)訓(xùn)練任務(wù)中，不僅比專家智能體DQN性能更高，而且更加便宜。

如果將訓(xùn)練任務(wù)放到云端，PopArt-IMPALA的性能只用了2.5天就超過了DQN，GPU占用空間更小，直接促使訓(xùn)練成本大幅降低。

Deepmind和OpenAI，技術(shù)大佬為何都對(duì)“多任務(wù)學(xué)習(xí)”情有獨(dú)鐘？

除了PopArt，今年早期，Deepmind還提出了另一種用于多任務(wù)訓(xùn)練的新方法——Distral，通過捕捉不同任務(wù)之間的共同行為或特征，讓機(jī)器算法可以在被限制的條件下實(shí)現(xiàn)任務(wù)共享，從而進(jìn)行同步強(qiáng)化學(xué)習(xí)。

和Deepmind一樣跟“多任務(wù)學(xué)習(xí)”死磕的還有OpenAI，則是利用迭代擴(kuò)增方法，不給機(jī)器學(xué)習(xí)模型提供完整的標(biāo)注數(shù)據(jù)，而是將每一項(xiàng)任務(wù)分解成小的子任務(wù)，再為子任務(wù)提供訓(xùn)練信號(hào)，訓(xùn)練AI去完成復(fù)雜任務(wù)。

此外，MIT、Apple等頂尖技術(shù)玩家都在搗鼓這項(xiàng)技術(shù)，然而如果你把這當(dāng)做一個(gè)技術(shù)領(lǐng)域的“榮譽(yù)保衛(wèi)戰(zhàn)”或者論文制造機(jī)，那就大錯(cuò)特錯(cuò)了。

隨著AI的泛在化越來越強(qiáng)，有越來越多的領(lǐng)域都亟待“多任務(wù)學(xué)習(xí)”能力來提供新的解決方案。

這意味著，人類不需要針對(duì)每一項(xiàng)任務(wù)都從頭開始訓(xùn)練一個(gè)全新的智能體，而是可以構(gòu)建一個(gè)通用的智能體，來支持多個(gè)應(yīng)用之間的協(xié)同工作。

比如小到一臺(tái)電視，很多AI電視都整合了眾多功能，比如觀看視頻、天氣預(yù)報(bào)、事務(wù)提醒、網(wǎng)絡(luò)購物等等，如何在既不影響用戶看視頻，又能夠用語音喚醒其他功能？這就要依靠多任務(wù)并行處理。換句話說，不具備多任務(wù)學(xué)習(xí)能力的AI電視，有的只是一個(gè)“假腦子”。

大到一個(gè)城市。在眾多關(guān)于智慧城市的假想中，都少不了這樣一個(gè)場面：城市大腦將人、車、路數(shù)據(jù)都接入系統(tǒng)，生成一個(gè)交通實(shí)時(shí)大試圖，并以此完成交通系統(tǒng)的智能調(diào)度和管理，治療“交通病”。這意味著，城市大腦需要進(jìn)行攝像頭識(shí)別、城市空間布局和設(shè)施配置、事件預(yù)警、政務(wù)服務(wù)等多個(gè)系統(tǒng)的學(xué)習(xí)，能夠發(fā)掘出這些子系統(tǒng)之間的關(guān)系，又能區(qū)分這些任務(wù)之間的差別。缺了任何一環(huán)，都有可能導(dǎo)致這個(gè)城市大腦做出“奇葩”的決策。

當(dāng)然，對(duì)于研究者來說，在用每一點(diǎn)進(jìn)步無限逼近人類心智的“珠穆朗瑪峰”。但對(duì)產(chǎn)業(yè)而言，任何新技術(shù)的落地都從來容不得一絲任性，因?yàn)槊恳活w種子都在等待豐收。

為了滿足這個(gè)前提，就意味著所采取的方法不能以無限制地增加GPU容量和訓(xùn)練強(qiáng)度為代價(jià)。因?yàn)闆]有企業(yè)或者機(jī)構(gòu)愿意以一種不計(jì)成本的方式上馬AI，即便這個(gè)AI能夠處理多線程任務(wù)，那還不如“單任務(wù)AI+人工”來的更加現(xiàn)實(shí)。

目前看來，成本更低的PopArt大有可為。

說了這么多，回到最開始的問題，AI的多任務(wù)處理能力真的超越人類了嗎？

從苛刻的實(shí)驗(yàn)室數(shù)字角度講，是的。但從廣泛定義的智慧角度看，機(jī)器的每一點(diǎn)進(jìn)步都還依賴于不斷模擬和接近人腦的水平，距離否定人類本身的價(jià)值，還早著呢。

目前看來，處理多任務(wù)的學(xué)習(xí)能力更大的作用，還是提升AI在產(chǎn)業(yè)應(yīng)用上的工程能力，用更高的智能為生活帶來便利。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。