如果只是作為駕駛模擬器，可能很平庸，但對(duì)電子游戲畫(huà)面來(lái)說(shuō)，這可能是一場(chǎng)偉大的革命 。
圖|真實(shí)視頻(左)和AI生成的渲染視頻(右)之間的對(duì)比。(圖源：英偉達(dá))
最近人工智能的繁榮給圖像和視頻生成領(lǐng)域帶來(lái)了一系列令人印象深刻的成果。最新成果來(lái)自芯片制造商英偉達(dá)，該公司12月3日發(fā)布了一份研究報(bào)告，展示了AI生成的畫(huà)面如何與傳統(tǒng)的視頻游戲引擎相結(jié)合。這種混合圖形系統(tǒng)有望應(yīng)用到視頻游戲，電影和虛擬現(xiàn)實(shí)等方面。
“這是使用深度學(xué)習(xí)渲染視頻內(nèi)容的一種新方式，”英偉達(dá)應(yīng)用深度學(xué)習(xí)副總裁Bryan Catanzaro表示。“顯然，英偉達(dá)非常關(guān)心圖形生成，并且我們正在思考如何利用人工智能徹底改變這一領(lǐng)域。”
英偉達(dá)的生成的圖片并沒(méi)有達(dá)到真實(shí)照片級(jí)的畫(huà)面，他們展示了在 AI 生成的圖像中發(fā)現(xiàn)的一些水印狀的模糊。并且這一工作也不是完全創(chuàng)新的。在一篇研究論文中，該公司的工程師解釋了他們?nèi)绾位谝恍┈F(xiàn)有方法，包括一個(gè)有影響力的開(kāi)源系統(tǒng)pix2pix。此外英偉達(dá)的工作中還應(yīng)用到了生成對(duì)抗網(wǎng)絡(luò)(GAN)。這些方法已經(jīng)廣泛用于AI圖像生成。
但是英偉達(dá)還是在新產(chǎn)品中引入很多創(chuàng)新，這是世界上首個(gè)利用AI生成圖形畫(huà)面的視頻游戲演示。這個(gè)產(chǎn)品是一個(gè)簡(jiǎn)單的駕駛模擬器，玩家可以在AI生成的幾個(gè)城市街區(qū)中穿行，但不能離開(kāi)他們的汽車(chē)，也不能以其他方式與世界互動(dòng)。并且這一演示僅使用一個(gè)GPU即可實(shí)現(xiàn) ，對(duì)于這樣的前沿工作來(lái)說(shuō)，這是一個(gè)顯著的成就。
英偉達(dá)的系統(tǒng)利用如下幾個(gè)步驟生成圖形畫(huà)面：首先，研究人員必須收集訓(xùn)練數(shù)據(jù)，一般這些數(shù)據(jù)來(lái)自于自動(dòng)駕駛研究的開(kāi)源數(shù)據(jù)集。然后將這些視頻數(shù)據(jù)中的每一個(gè)鏡頭做分割，即每一幀畫(huà)面被分成不同類(lèi)別的區(qū)域：如天空，汽車(chē)，樹(shù)木，道路，建筑物等。然后，用這些分割的數(shù)據(jù)訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)，用來(lái)生成這些對(duì)象的新畫(huà)面 。
接下來(lái)，工程師們使用傳統(tǒng)的游戲引擎創(chuàng)建了虛擬環(huán)境的基本拓?fù)浣Y(jié)構(gòu)。在該游戲演示中，使用的系統(tǒng)是虛幻引擎 4，這是一種流行的引擎，被用于諸如堡壘之夜，絕地求生，戰(zhàn)爭(zhēng)機(jī)器4等多種游戲中。工程師們使用此引擎作為框架，然后利用深度學(xué)習(xí)算法實(shí)時(shí)生成每個(gè)類(lèi)別的圖形畫(huà)面，并將它們顯示到游戲引擎的模型上 。
“被創(chuàng)造的世界的結(jié)構(gòu)還是用傳統(tǒng)方法制作的，”Catanzaro解釋說(shuō)，“人工智能產(chǎn)生的唯一東西就是圖形畫(huà)面。”他補(bǔ)充說(shuō)，演示本身很基礎(chǔ)，主要由一名工程師負(fù)責(zé)完成。“這主要是用來(lái)做概念驗(yàn)證游戲，而不是開(kāi)發(fā)了一個(gè)真正的游戲 。”
圖|不同AI模型生成的畫(huà)面對(duì)比。左上是經(jīng)語(yǔ)義分割的圖像;右上是pix2pixHD生成的畫(huà)面;左下是 COVST 生成的畫(huà)面;右下是本文英偉達(dá)的系統(tǒng)生成的畫(huà)面。(圖源：英偉達(dá))
為了創(chuàng)建這個(gè)系統(tǒng)，英偉達(dá)的工程師克服了許多挑戰(zhàn)，其中最大的挑戰(zhàn)是對(duì)象持久性(object permanence)。也就是說(shuō)，如果深度學(xué)習(xí)算法以每秒 25 幀的速率為這一虛擬世界生成圖形，它們?nèi)绾伪３置恳粎^(qū)域的對(duì)象看起來(lái)大致相同？Catanzaro這個(gè)問(wèn)題曾導(dǎo)致這個(gè)系統(tǒng)的初始結(jié)果“看起來(lái)很痛苦”，因?yàn)閳D形的顏色和紋理 “每幀都會(huì)改變 ”。
而解決的方案就是給系統(tǒng)一個(gè)短期記憶，讓系統(tǒng)生成的每個(gè)新幀的時(shí)候與之前的幀進(jìn)行比較 。試圖去預(yù)測(cè)這些圖像之間運(yùn)動(dòng)的東西，并產(chǎn)生與屏幕上的內(nèi)容一致的新鄭但是這些計(jì)算都很昂貴，因此游戲只能以每秒25幀的速度運(yùn)行。
Catanzaro強(qiáng)調(diào)，這項(xiàng)技術(shù)還處于早期階段，想要讓人工智能生成的畫(huà)面出現(xiàn)在消費(fèi)者游戲中可能還需要幾十年的時(shí)間。他將這種情況與光線追蹤的發(fā)展進(jìn)行了比較，光線跟蹤是當(dāng)前圖形渲染中的熱門(mén)技術(shù)，它可以實(shí)時(shí)生成單獨(dú)的光線，在虛擬環(huán)境中創(chuàng)建逼真的反射，陰影和不透明度。Catanzaro表示：“第一次交互式光線追蹤演示已經(jīng)是很久很久以前的事了，但直到幾周前我們還沒(méi)有在游戲中成功應(yīng)用光線跟蹤技術(shù)”。
不過(guò)，人工智能生成的畫(huà)面工作確實(shí)在機(jī)器人和自動(dòng)駕駛汽車(chē)等研究領(lǐng)域有潛在的應(yīng)用前景，可以用來(lái)生成虛擬訓(xùn)練環(huán)境。例如，在大部分游戲中，結(jié)構(gòu)仍使用傳統(tǒng)方法渲染，而AI用于創(chuàng)建其中的人或物體 。消費(fèi)者可以使用智能手機(jī)自己捕捉素材，然后將這些數(shù)據(jù)上傳到云端，算法將通過(guò)學(xué)習(xí)將其插入到各種游戲中。比如說(shuō)，將其用來(lái)創(chuàng)建更像真人玩家的頭像。
然而，這種技術(shù)帶來(lái)了一些明顯的問(wèn)題。近年來(lái)，專(zhuān)家越來(lái)越擔(dān)心有些人會(huì)使用 AI 生成的足以亂真的假情報(bào)進(jìn)行虛假宣傳 。研究人員展示，現(xiàn)在很容易制作一些虛假的政治家和名人的鏡頭，利用這些視頻散播一些的虛假消息，這將會(huì)是不法之徒一個(gè)很強(qiáng)大的武器。如果推進(jìn)這項(xiàng)技術(shù)的發(fā)展并將這一研究成果發(fā)布，英偉達(dá)在一定程度上可以說(shuō)是這一潛在負(fù)面問(wèn)題的推動(dòng)者。
不過(guò)，英偉達(dá)表示，這并不是一個(gè)新問(wèn)題。“這一技術(shù)可以用于制作具有誤導(dǎo)性的內(nèi)容嗎？是。但是任何渲染技術(shù)都可以用來(lái)做到這一點(diǎn) ，”Catanzaro表示，英偉達(dá)正在與合作伙伴一起研究檢測(cè)AI贗品的方法，這種所謂的虛假信息的問(wèn)題本質(zhì)上是一個(gè)“信任問(wèn)題”。就像之前許多的“信任問(wèn)題”一樣，它必須通過(guò)一系列方法來(lái)解決，而不僅僅是通過(guò)技術(shù) 。
Catanzaro反問(wèn)道：“電力公司創(chuàng)造的電力可以為制作假視頻的電腦供電，你覺(jué)得他們需不需要負(fù)責(zé)？”。
不過(guò)歸根結(jié)底，對(duì)于英偉達(dá)來(lái)說(shuō)，推動(dòng)人工智能生成的圖形有一個(gè)明顯的好處：它將有助于英偉達(dá)銷(xiāo)售更多的硬件。自從深度學(xué)習(xí)熱潮在2010年初興起以來(lái)，英偉達(dá)的股價(jià)飆升，很明顯英偉達(dá)的計(jì)算機(jī)芯片非常適合機(jī)器學(xué)習(xí)研究和開(kāi)發(fā) 。
對(duì)于計(jì)算機(jī)圖形學(xué)的人工智能革命是否會(huì)有利于英偉達(dá)公司的收入，Catanzaro笑著說(shuō)，至少不會(huì)帶來(lái)傷害。“任何能夠提高生成更逼真和更具吸引力的圖形的能力，都會(huì)對(duì)英偉達(dá)有利 。”
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
