網(wǎng)易互娛AI Lab奪取CVPR2021 3D人臉重建挑戰(zhàn)賽冠軍

近日，第三十四屆國(guó)際計(jì)算機(jī)視覺(jué)頂級(jí)會(huì)議CVPR 2021 (Conference on Computer Vision and Pattern Recognition) 舉辦的多角度圖片3D人臉重建競(jìng)賽公布了最終成績(jī)，網(wǎng)易互娛AI Lab提出的多視角重建方案在所有評(píng)價(jià)指標(biāo)上均排名第一，擊敗了來(lái)自O(shè)PPO研究院，虎牙AI Lab，清華大學(xué)，北京大學(xué)，中科院自動(dòng)化所等企業(yè)和高校的246個(gè)計(jì)算機(jī)視覺(jué)團(tuán)隊(duì)，一舉斬獲大賽冠軍。

 近日，計(jì)算機(jī)視覺(jué)頂級(jí)會(huì)議CVPR 2021舉辦的PIC Challenge AI挑戰(zhàn)賽成績(jī)出爐。網(wǎng)易互娛AI Lab從眾多參賽隊(duì)伍中脫穎而出，獲得了多視角圖片3D 人臉重建競(jìng)賽的冠軍。這也是網(wǎng)易互娛AI Lab繼IJCAI 2020 3D AI挑戰(zhàn)賽獲得3D物體重建和3D物體檢索雙料冠軍后又一次摘得三維視覺(jué)領(lǐng)域的國(guó)際比賽冠軍，體現(xiàn)了網(wǎng)易在3D 視覺(jué)領(lǐng)域深厚的技術(shù)積累和領(lǐng)先的技術(shù)實(shí)力。

 CVPR是國(guó)際計(jì)算機(jī)視覺(jué)的三大頂級(jí)學(xué)術(shù)會(huì)議之一，每年都會(huì)吸引來(lái)自全球的一流學(xué)者、研究人員和開(kāi)發(fā)者參加，共同探討計(jì)算機(jī)視覺(jué)領(lǐng)域的前沿問(wèn)題。3D人臉重建則是3D計(jì)算機(jī)視覺(jué)研究的重要領(lǐng)域，在人臉識(shí)別，AR//VR等領(lǐng)域有著廣泛的應(yīng)用。本次CVPR 2021 多角度圖片3D人臉重建競(jìng)賽的主要目標(biāo)是通過(guò)多張不同角度獲得的人臉圖像，重建出人臉的106個(gè)關(guān)鍵點(diǎn)。

 本次比賽以人臉關(guān)鍵點(diǎn)的NME，AUC (@0.08)，F(xiàn)ailure rate (@0.08)作為評(píng)測(cè)指標(biāo)。訓(xùn)練數(shù)據(jù)集包含5204個(gè)人臉模型，共15612張多視角人臉圖像，其中不同的人臉模型涵蓋了多達(dá)25種不同的表情，多表情數(shù)據(jù)極大提高了三維人臉重建的難度，給予參賽選手巨大的挑戰(zhàn)。

針對(duì)本次比賽的難點(diǎn)，網(wǎng)易互娛AI Lab提出了基于孿生網(wǎng)絡(luò)的端到端模型架構(gòu)。采用多視角圖像的進(jìn)行三維重建增強(qiáng)，并設(shè)計(jì)了自適應(yīng)權(quán)重的NME損失函數(shù)以適應(yīng)多種不同表情的三維人臉關(guān)鍵點(diǎn)回歸，同時(shí)利用空間對(duì)稱增廣的三維數(shù)據(jù)增強(qiáng)手段進(jìn)行數(shù)據(jù)擴(kuò)增，另外還通過(guò)設(shè)置三維平均關(guān)鍵點(diǎn)臉模作為先驗(yàn)信息以進(jìn)行高精度的多表情三維人臉關(guān)鍵點(diǎn)擬合，最終在競(jìng)賽的三個(gè)評(píng)測(cè)指標(biāo)都取得了領(lǐng)先。

目前，3D視覺(jué)在人工智能的領(lǐng)域里多用于3D重建（如人臉，人體等的重建）、場(chǎng)景理解構(gòu)建等任務(wù)中。網(wǎng)易互娛AI Lab近年來(lái)在3D視覺(jué)領(lǐng)域持續(xù)發(fā)力，不斷在游戲制作中探索落地3D視覺(jué)技術(shù)，已將人臉表情捕捉、視頻人體動(dòng)捕、人臉融合、人臉風(fēng)格化重建等技術(shù)應(yīng)用在各個(gè)游戲中，降低了資源的制作成本，豐富了產(chǎn)品游戲體驗(yàn)。

網(wǎng)易互娛AI Lab成立于2017年，隸屬于網(wǎng)易互動(dòng)娛樂(lè)事業(yè)群，在廣州、杭州、上海均有分部，是游戲行業(yè)領(lǐng)先的人工智能實(shí)驗(yàn)室。實(shí)驗(yàn)室致力于計(jì)算機(jī)視覺(jué)、語(yǔ)音和自然語(yǔ)言處理，以及強(qiáng)化學(xué)習(xí)等技術(shù)在游戲場(chǎng)景下的的研究，應(yīng)用和落地，旨在通過(guò)AI技術(shù)助力互娛旗下熱門游戲及產(chǎn)品的技術(shù)升級(jí)，目前技術(shù)已應(yīng)用于網(wǎng)易互娛旗下多款熱門游戲，如《夢(mèng)幻西游》、《一夢(mèng)江湖》、《天下3》、《陰陽(yáng)師》、《第五人格》、《哈利波特—魔法覺(jué)醒》等等。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。