FBEC2023未來(lái)商業(yè)生態(tài)鏈接大會(huì)暨第八屆金陀螺獎(jiǎng)于2023年12月8日在深圳福田大中華喜來(lái)登酒店6樓盛大召開(kāi),本次大會(huì)由廣東省游戲產(chǎn)業(yè)協(xié)會(huì)、深圳市互聯(lián)網(wǎng)文化市場(chǎng)協(xié)會(huì)指導(dǎo),陀螺科技主辦,中國(guó)光谷、游戲陀螺、VR陀螺、陀螺財(cái)經(jīng)、陀螺電競(jìng)聯(lián)合主辦。
大會(huì)以“合力共生·韌者行遠(yuǎn)”為大會(huì)主題,以具有行業(yè)前瞻洞察的“航行者”為視角,破冰之旅為主線,關(guān)注AI、元宇宙、XR、游戲、電競(jìng)、數(shù)字經(jīng)濟(jì)等科技與互聯(lián)網(wǎng)前沿領(lǐng)域,全方位呈現(xiàn)科技前沿成果,聚焦時(shí)代與商業(yè)熱點(diǎn)議題,探討新科技、新商業(yè)、新模式的未來(lái)價(jià)值,與真正的勇者共赴劇變革新下的凜冬破冰之旅!
主會(huì)場(chǎng)C:元生未來(lái),共鏈價(jià)值——2023全球元宇宙產(chǎn)業(yè)核心技術(shù)論壇,邀請(qǐng)到七鑫易維 副總裁路偉成帶來(lái)主題為“XR眼球追蹤的關(guān)鍵點(diǎn)”的精彩演講。路偉成認(rèn)為,XR眼球追蹤的幾大關(guān)鍵落地場(chǎng)景有:注視點(diǎn)渲染、瞳距(IPD)調(diào)節(jié)、表情追蹤(+反向透視)、交互、身份識(shí)別、眼動(dòng)數(shù)據(jù)分析以及虛實(shí)對(duì)齊與消除VAC。
以下為演講實(shí)錄:
大家,下午好!我是七鑫易維的路偉成,今天和大家分享的主題是XR眼球追蹤的幾個(gè)關(guān)鍵問(wèn)題,集中闡述XR眼球追蹤的應(yīng)用場(chǎng)景。
XR眼球追蹤的時(shí)代已經(jīng)到來(lái),全球領(lǐng)軍消費(fèi)電子公司蘋果,第一款XR產(chǎn)品Vision Pro就集成了眼球追蹤。而除了蘋果之外,主流的XR品牌幾乎全部推出了集成眼球追蹤的XR型號(hào),如Meta Quest Pro、PICO 4 Pro等。具體來(lái)看,XR眼球追蹤的落地場(chǎng)景有:
(1)注視點(diǎn)渲染。加了眼動(dòng)的VR,基本都會(huì)加注視點(diǎn)渲染。Vision Pro發(fā)布,VR、MR的分辨率都向蘋果看齊,超高分辨率意味著渲染壓力非常大,而注視點(diǎn)渲染則可以大幅度降低渲染壓力,如《Red Matter 2》登陸Quest Pro后,像素密度比之前提升了33%(等同于視覺(jué)中心的像素?cái)?shù)量增加了77%),文字清晰度、光影和色彩表現(xiàn)足夠優(yōu)秀,突破了Quest頭顯的圖形極限。再看PSVR2使用動(dòng)態(tài)照明和陰影等高要求的圖形質(zhì)量下,渲染和計(jì)算跟蹤的幀時(shí)間從33.2ms下降到14.3ms,運(yùn)行一個(gè)4K的飛船Demo演示時(shí),CPU線程性能和GPU幀時(shí)間分別快了32%和14%。最后總結(jié)下來(lái)就是注視點(diǎn)渲染提高GPU幀數(shù)達(dá)2.5倍,注視點(diǎn)渲染+眼球追蹤可提高3.6倍,由此注視點(diǎn)渲染是剛需。
(2)IPD調(diào)節(jié)。加了眼動(dòng)的VR基本都加了IPD,Vision Pro也加了,但是在發(fā)布會(huì)上并沒(méi)有提。用戶感知不到的東西,蘋果就不會(huì)提,感知不到的技術(shù)是最好的技術(shù),就像空氣一樣使用它就可以。七鑫易維早在2018跟歌爾合作的時(shí)候,就推出了自動(dòng)的IPD的調(diào)節(jié)。
(3)表情追蹤。目前的落地情況,只要加了眼動(dòng),肯定都能實(shí)現(xiàn)表情追蹤,Vision Pro還額外加了個(gè)反向透視。七鑫易維很早就實(shí)現(xiàn)了通過(guò)眼球追蹤進(jìn)行表情追蹤的功能,可以把人的表情,眼部表情都表現(xiàn)出來(lái)。這已經(jīng)是落地的場(chǎng)景,在VR的社交類應(yīng)用或者是遠(yuǎn)程會(huì)議等都用得到。
(4)身份識(shí)別和認(rèn)證。目前用得比較少,僅Vision Pro和HoloLens2用了,運(yùn)用虹膜識(shí)別作為身份識(shí)別的方式。虹膜識(shí)別和眼球追蹤實(shí)際上是可以統(tǒng)一到一起的,因?yàn)橛布捎玫氖且惶住:缒ぷR(shí)別是我們認(rèn)為目前最合適XR身份認(rèn)證的方式。為什么會(huì)這么說(shuō)?主要因?yàn)楹缒ぷR(shí)別已經(jīng)有眼球追蹤不需要額外加其他的套件。眼球追蹤是很好的活體識(shí)別方式,提升了虹膜識(shí)別的安全性,虹膜識(shí)別還能給眼球追蹤提供身份信息,當(dāng)切換用戶的時(shí)候可以自動(dòng)切換眼球追蹤的參數(shù)。這方面我們已與微信支付、創(chuàng)維XR推出了整體的虹膜識(shí)別和眼球追蹤的XR方案,預(yù)計(jì)年底或明年初可以實(shí)現(xiàn)量產(chǎn)。
(5)交互。幾年前我們就講,眼手口多模態(tài)自然交互是XR交互的未來(lái),但在Vision Pro未發(fā)布前,大家都不相信。在蘋果看來(lái),眼手口多模態(tài)自然交互,是繼鍵鼠交互、觸控交互之后的第三次交互范式大變革。眼睛除了用來(lái)做簡(jiǎn)單的選擇之外,還有很多場(chǎng)景是適合的,比如做信息顯示、自動(dòng)滾屏、自動(dòng)縮放、自動(dòng)隱藏等。有了眼動(dòng)數(shù)據(jù),可以展開(kāi)很多想象,交互潛力會(huì)變得非常巨大。推薦一篇Meta的論文《基于眼動(dòng)追蹤的交互具有巨大潛力》
Leveling the Playing Field: A Comparative Reevaluation of Unmodified Eye Tracking as an Input and Interaction Modality for VR,感興趣的可以去看一看。
(5)眼動(dòng)數(shù)據(jù)分析。眼動(dòng)數(shù)據(jù)分析,可以挖掘用戶很多的心理信息、生理信息,可以用在廣告分析、用戶體驗(yàn)分析、用戶心理分析等。這可能是XR行業(yè)靠眼球追蹤掙錢最多的功能之一,只是在C端會(huì)慢一些,C端用眼動(dòng)分析不多。七鑫易維之前就做過(guò)VR看房的案例,用戶看到的是有顏色的,商家會(huì)看到用戶在什么地方看的注意力比較集中,什么地方?jīng)]有關(guān)注到,這對(duì)于商家來(lái)講可以挖掘的信息非常多。
除此之外,像虛實(shí)對(duì)齊被視為未來(lái)很快落地的場(chǎng)景,只是目前還沒(méi)有。但AR在這方面有很強(qiáng)的需求,AR常用的場(chǎng)景就是虛實(shí)融合,如導(dǎo)航,要在真實(shí)的路面上出現(xiàn)虛擬導(dǎo)航的軌跡,但是每一個(gè)人佩戴眼鏡的姿勢(shì)不確定,顯示的位置很可能就產(chǎn)生偏差,基本上很難100%的對(duì)齊,這就需要實(shí)時(shí)根據(jù)用戶眼睛的位置進(jìn)行調(diào)整,也就是需要眼球追蹤。其次就是消除VAC,這個(gè)依賴于變焦系統(tǒng)的成熟,現(xiàn)在變焦系統(tǒng)還沒(méi)有成熟,所以沒(méi)有落地的場(chǎng)景。但隨著變焦系統(tǒng)成熟,消除VAC就自然而然產(chǎn)生需求。
那么,Vision Pro的眼球追蹤和七鑫易維之前推的方案有什么不同呢?基本的路線是一樣唯一的不同是蘋果的堆料夠狠。當(dāng)然,也有代價(jià),就是高功耗、高算力、高成本。我們也有類似的方案,預(yù)計(jì)原型機(jī)今年底或明年初會(huì)出來(lái)。
大家也會(huì)疑惑單眼單攝不能用了嗎?仍然具備高可用性,關(guān)鍵是眼球追蹤可用性不僅僅和本身性能相關(guān),還和交互設(shè)計(jì)強(qiáng)相關(guān)。還有一個(gè)小問(wèn)題,人眼數(shù)據(jù)是用戶生物特征數(shù)據(jù),所以人們對(duì)于用戶隱私安全越來(lái)越重視,這是很關(guān)鍵的事情。據(jù)我了解,所有用戶認(rèn)證用到生物信息,都不可以在海外建數(shù)據(jù)庫(kù),這涉及到國(guó)家安全的問(wèn)題。剛才也有嘉賓講過(guò),高科技領(lǐng)域我們要防止卡脖子,七鑫易維,無(wú)論是在硬件算法,還是軟件上,全部做到了自主可控,所以不存在卡脖子的問(wèn)題。
七鑫易維成立于2009年,歷經(jīng)14年發(fā)展,在國(guó)內(nèi)的眼球追蹤市場(chǎng)已經(jīng)遙遙領(lǐng)先,目前在全球申請(qǐng)的專利數(shù)量將近600項(xiàng),其中發(fā)明專利占到了2/3。
如上圖所示,這是七鑫易維已經(jīng)發(fā)布的一些產(chǎn)品,大家感興趣可以細(xì)聊。接下來(lái),還會(huì)陸續(xù)有一些新的型號(hào)發(fā)布。
最后,總結(jié)一下:(1)注視點(diǎn)渲染、動(dòng)態(tài)超分和反畸變、瞳距調(diào)節(jié)將成為XR的基本功能;(2)表情追蹤作為社交強(qiáng)需求,將成為XR的基本功能;(3)虹膜識(shí)別將成為XR身份識(shí)別和認(rèn)證的最常用方式;(4)眼手口多模態(tài)自然交互將成為XR的交互趨勢(shì);(5)眼球追蹤在XR上已經(jīng)成熟,具備高可用性;(6)眼球追蹤將成為XR的標(biāo)配,如果大家想要加眼球追蹤,找七鑫易維,謝謝!
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 高燃直擊2024世界智能制造博覽會(huì)!譜寫智能制造領(lǐng)域全新篇章
- 中泰文化交流新篇章:賽氪與寰宇播客營(yíng)聯(lián)合中南財(cái)經(jīng)政法大學(xué)及多方舉辦泰國(guó)留學(xué)生交流活動(dòng)
- 2025醫(yī)藥數(shù)智營(yíng)銷創(chuàng)新峰會(huì)“金創(chuàng)獎(jiǎng)”獎(jiǎng)項(xiàng)申報(bào)啟動(dòng)!
- 2024第五屆亞太銀行數(shù)字化創(chuàng)新大會(huì)圓滿落幕
- 2024年被稱為“低空經(jīng)濟(jì)元年”!倒計(jì)時(shí)15天 | 2025中國(guó)eVTOL創(chuàng)新發(fā)展大會(huì)報(bào)名中
- 匯聚技術(shù)星火 點(diǎn)亮生態(tài)星空
- GTF2025攜航空和燃?xì)廨啓C(jī)全產(chǎn)業(yè)鏈優(yōu)勢(shì)資源全新回歸上海
- 潮玩風(fēng)暴來(lái)襲,2025 ChinaJoy 潮玩手辦及模型展區(qū)招商火爆!
- 普渡機(jī)器人發(fā)布首款全人形機(jī)器人PUDU D9
- 【創(chuàng)新金融驅(qū)動(dòng)力】2025中原金融科技節(jié)擘畫中原金融科技新未來(lái)!
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。