近日,計(jì)算機(jī)視覺(jué)三大頂級(jí)會(huì)議之一CVPR正式公布了 2023年的接收結(jié)果,如視首席科學(xué)家潘慈輝帶領(lǐng)團(tuán)隊(duì)提交的最新研究成果《TexIR: Multi-view Inverse Rendering for Large-scale Real-world Indoor Scenes(大規(guī)模室內(nèi)真實(shí)場(chǎng)景的多視角逆渲染)》成功入圍。該項(xiàng)研究,在真實(shí)空間的更深層次數(shù)字化層面取得突破進(jìn)展。此次全新逆渲染技術(shù)研究成果的入圍,不僅意味著如視在三維實(shí)景模型重建和混合現(xiàn)實(shí)領(lǐng)域的研究已獲得了國(guó)際學(xué)術(shù)界的高度認(rèn)可,更標(biāo)志著如視的算法能力已在理論研究、技術(shù)應(yīng)用等層面步入國(guó)際領(lǐng)先水平。
對(duì)物理世界的三維重建,作為計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺(jué)領(lǐng)域的熱點(diǎn)課題之一,已隨著技術(shù)的不斷成熟,被越來(lái)越廣泛地應(yīng)用于營(yíng)銷、空間數(shù)字化管理、泛娛樂(lè)、虛擬現(xiàn)實(shí)等領(lǐng)域。目前市面主流的算法,通過(guò)空間幾何模型與紋理貼圖的方式,在場(chǎng)景的外觀還原度上與真實(shí)世界看起來(lái)幾近相同。
目前的三維重建方式,僅能對(duì)場(chǎng)景的外觀特征加以還原,但無(wú)法對(duì)場(chǎng)景內(nèi)諸如光照、反射率、粗糙度、等更深層次的屬性加以數(shù)字化,導(dǎo)致無(wú)法對(duì)這些深層信息進(jìn)行查詢和編輯,更無(wú)法將其更有價(jià)值地轉(zhuǎn)化為渲染引擎可使用的PBR渲染資產(chǎn),生成極具真實(shí)感的渲染效果。
逆渲染原理
而如視團(tuán)隊(duì)本次開(kāi)創(chuàng)性提出面向真實(shí)室內(nèi)場(chǎng)景的多視角逆渲染框架,可基于精準(zhǔn)的空間數(shù)據(jù),反向推測(cè)獲取對(duì)諸如光照、反射率、粗糙度等場(chǎng)景內(nèi)在屬性,在三維重建的基礎(chǔ)上恢復(fù)出貼近真實(shí)場(chǎng)景的光照和材質(zhì)表現(xiàn),在重建效果、成本效率、應(yīng)用范圍等維度實(shí)現(xiàn)全面提升。
逆渲染技術(shù)實(shí)操與應(yīng)用
如視首席科學(xué)家潘慈輝對(duì)此表示:“我們創(chuàng)造的全新深度逆渲染框架,真正意義上實(shí)現(xiàn)了對(duì)真實(shí)世界更深層的數(shù)字化,解決了以往逆渲染方法難以在真實(shí)場(chǎng)景下恢復(fù)物理合理的材質(zhì)和光照以及多視角一致性的問(wèn)題,為三維重建和混合現(xiàn)實(shí)的落地應(yīng)用帶來(lái)了更大想象空間。”
1.更貼近真實(shí)的場(chǎng)景還原效果
與過(guò)往采用合成數(shù)據(jù)訓(xùn)練的方法不同,如視提出的全新深度逆渲染框架,首次引入了“層級(jí)式場(chǎng)景先驗(yàn)”,通過(guò)多階段的材質(zhì)優(yōu)化,結(jié)合如視數(shù)字空間中精準(zhǔn)數(shù)據(jù),對(duì)空間內(nèi)光照、反射率、粗糙度物理屬性進(jìn)行分層級(jí)的精準(zhǔn)預(yù)測(cè),并將預(yù)測(cè)結(jié)果無(wú)縫轉(zhuǎn)化為物理合理、全局一致的多類型材質(zhì)貼圖等渲染資產(chǎn),并可適配目前主流渲染引擎。
2.更低的計(jì)算成本
近年來(lái),為了更好地解決逆渲染問(wèn)題, 同時(shí)減少對(duì)訓(xùn)練數(shù)據(jù)的依賴, 可微渲染的方法被提出,即通過(guò)“微分求導(dǎo)”的方式,使正向渲染可微分,進(jìn)而將梯度反向傳播至渲染參數(shù),最終優(yōu)化得到基于物理的待求解參數(shù)。由于復(fù)雜室內(nèi)場(chǎng)景存在大量的復(fù)雜光學(xué)效應(yīng),如遮擋、陰影,在可微渲染中建模全局光照會(huì)帶來(lái)高昂的計(jì)算成本。如視本次提出的光照表示模型可以高效準(zhǔn)確地表示室內(nèi)場(chǎng)景內(nèi)的全局光照,極大地提升了逆渲染方法的效率。據(jù)實(shí)驗(yàn)分析統(tǒng)計(jì),基于如視的逆渲染框架,相較傳統(tǒng)方式,計(jì)算速度大幅提升近24倍,數(shù)據(jù)內(nèi)存容量也實(shí)現(xiàn)了成倍縮減。
3.更大的重建規(guī)模
基于如視的精準(zhǔn)數(shù)字空間模型,與高效準(zhǔn)確的混合光照表示,全新的逆渲染框架引入多種場(chǎng)景先驗(yàn),解決了以往NeRF-like的神經(jīng)逆渲染方法無(wú)法建模大尺度室內(nèi)場(chǎng)景的問(wèn)題。
未來(lái),全新的逆渲染技術(shù)將有望開(kāi)啟更為廣闊的MR應(yīng)用,如室內(nèi)材質(zhì)編輯、新視圖合成、光照調(diào)整、物體空間融入等。通過(guò)對(duì)真實(shí)世界實(shí)現(xiàn)更深層數(shù)字化,如視將進(jìn)一步加速實(shí)現(xiàn)數(shù)字空間的建設(shè),發(fā)揮算法及技術(shù)產(chǎn)品優(yōu)勢(shì),推進(jìn)研究成果產(chǎn)業(yè)化,為商業(yè)零售、工業(yè)設(shè)施、文博會(huì)展、公共事務(wù)、家居家裝、房產(chǎn)交易等行業(yè)帶來(lái)數(shù)字化應(yīng)用升級(jí)的全新發(fā)展機(jī)遇。
關(guān)于CVPR:
CVPR(IEEE Conference on Computer Vision and Pattern Recognition,即IEEE國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議)作為計(jì)算機(jī)視覺(jué)領(lǐng)域最頂級(jí)的會(huì)議,每年都會(huì)吸引大量研究機(jī)構(gòu)和高校參會(huì)。近年來(lái),CVPR 的投稿數(shù)量也在持續(xù)增加。據(jù)官方信息統(tǒng)計(jì),本屆CVPR有效投稿9155篇,比去年增加了 12%,創(chuàng)下新紀(jì)錄;收錄2360 篇,接收率為 25.78%。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
