3月31日，LiveVideoStackCon音視頻技術(shù)大會(huì)北京站正式開(kāi)幕，本次大會(huì)以“音視頻+無(wú)限可能”為主題，邀請(qǐng)業(yè)內(nèi)眾多企業(yè)、技術(shù)專家、學(xué)者，共同探討多媒體音視頻在技術(shù)升級(jí)、業(yè)務(wù)場(chǎng)景以及應(yīng)用創(chuàng)新等方面的探索與實(shí)踐。Nreal聯(lián)合創(chuàng)始人、算法負(fù)責(zé)人吳克艱博士受邀出席，分享在AR行業(yè)產(chǎn)品技術(shù)和應(yīng)用落地等方向的心得和體會(huì)。吳克艱博士本科畢業(yè)于浙江大學(xué)竺可楨學(xué)院，信息科學(xué)與電子工程學(xué)系，后赴美國(guó)明尼蘇達(dá)大學(xué)電子與計(jì)算機(jī)工程學(xué)系留學(xué)，并取得博士學(xué)位，留美期間曾參與多項(xiàng)由業(yè)內(nèi)知名企業(yè)主導(dǎo)的研發(fā)項(xiàng)目，其中包括與 Google 的 Tango 和 ARCore 項(xiàng)目合作，研究基于視覺(jué)慣性的定位導(dǎo)航和建圖算法、及其在移動(dòng)平臺(tái)上的虛擬現(xiàn)實(shí) (VR)和增強(qiáng)現(xiàn)實(shí)(AR)的應(yīng)用。
音視頻技術(shù)在整體大環(huán)境的影響下，近年來(lái)呈現(xiàn)出迅猛的發(fā)展趨勢(shì)。吳克艱博士聚焦AR行業(yè)，從互聯(lián)網(wǎng)發(fā)展、底層關(guān)鍵技術(shù)、Nreal在行業(yè)中的探索和成果三個(gè)角度進(jìn)行了分享。對(duì)于未來(lái)互聯(lián)網(wǎng)的發(fā)展，吳克艱博士認(rèn)為AR作為連接虛擬世界和現(xiàn)實(shí)世界的橋梁，本質(zhì)上是把虛擬的數(shù)字化信息與物理三維環(huán)境相融合，使人們可以更好地進(jìn)行數(shù)字化信息的獲取與交互，形成真正的“虛實(shí)融合”。因此，AR眼鏡也成為被普遍認(rèn)可的下一代個(gè)人計(jì)算平臺(tái)。
以下為吳克艱博士演講全文：
我是來(lái)自Nreal的吳克艱，今天非常高興跟各位音視頻社區(qū)專家和從業(yè)者們?cè)贏R行業(yè)產(chǎn)品技術(shù)和應(yīng)用落地等方向，分享我們的一些心得和體會(huì)。
根據(jù)進(jìn)化論的觀點(diǎn)，人類從猿猴往人類進(jìn)化當(dāng)中，有兩種事情非常重要，一個(gè)是人的直立行走，第二是人對(duì)工具的使用，現(xiàn)在大家平常使用的電腦或者手機(jī)是對(duì)于我們個(gè)人來(lái)說(shuō)確實(shí)是一個(gè)非常強(qiáng)有力的算力平臺(tái)，給我們帶來(lái)生活和工作各方面的便利。但是我們經(jīng)常會(huì)看到，當(dāng)大家在使用電腦和用手機(jī)的時(shí)候，一方面它給我們帶來(lái)了便利，另外一方面又把人限制在非常有限的使用方式、使用場(chǎng)景和空間中。我們經(jīng)常伏在案前去使用電腦，低著頭玩手機(jī)，相當(dāng)于人從直立狀態(tài)回到卷曲狀態(tài)，我們應(yīng)該要解決的一個(gè)問(wèn)題就是通過(guò)下一代互聯(lián)網(wǎng)智能終端或者個(gè)人算力平臺(tái)終端，讓人重新從彎著腰的狀態(tài)重新直立起來(lái)。
我們回顧過(guò)去幾十年互聯(lián)網(wǎng)發(fā)展，最開(kāi)始由PC個(gè)人電腦作為終端，在這一代的互聯(lián)網(wǎng)上，主要解決的是個(gè)人算力的問(wèn)題。最近這十年、二十年智能手機(jī)發(fā)展，我們每個(gè)人擁有了自己可移動(dòng)算力平臺(tái)，主要解決的是移動(dòng)和連接的問(wèn)題。對(duì)于這樣的平臺(tái)來(lái)說(shuō)，為了移動(dòng)便捷性和可攜帶性，其實(shí)犧牲的是屏幕尺寸，我們跟它的交互方式相對(duì)還是比較單一，只能通過(guò)點(diǎn)擊觸摸屏的方式。我們認(rèn)為從解放體驗(yàn)角度來(lái)說(shuō)，下一代的互聯(lián)網(wǎng)對(duì)應(yīng)的個(gè)人計(jì)算平臺(tái)終端首先要把我們整個(gè)顯示和交互空間，重新從一個(gè)有限2D屏幕釋放到我們平時(shí)正常生活的真實(shí)物理空間，也就是3D物理空間。
整個(gè)交互方式也不僅僅局限于小的屏幕，而是在生活中通過(guò)語(yǔ)言、視覺(jué)、手勢(shì)等方式跟真實(shí)的物體、人交互，我們覺(jué)得下一代互聯(lián)網(wǎng)體驗(yàn)定義為空間互聯(lián)網(wǎng)。因?yàn)橐獙?shí)現(xiàn)整個(gè)在真實(shí)物理環(huán)境中疊加顯示所有3D的數(shù)字信息，最關(guān)鍵的核心技術(shù)就是我們所謂的AR眼鏡硬件平臺(tái)。
空間互聯(lián)網(wǎng)硬件平臺(tái)包括整個(gè)硬件基礎(chǔ)設(shè)施，包括計(jì)算芯片、傳感器、通信等。再往就是交互入口，就像VR或者AR眼鏡形態(tài)。軟件數(shù)據(jù)層包括操作系統(tǒng)包等數(shù)據(jù)層面的東西。最上面才是體驗(yàn)層，包括3D內(nèi)容開(kāi)發(fā)平臺(tái)，最后才是對(duì)普通用戶來(lái)說(shuō)可以看到的一套體驗(yàn)的應(yīng)用。
我們認(rèn)為空間互聯(lián)網(wǎng)會(huì)是下一代互聯(lián)網(wǎng)的發(fā)展方向，主要解決的是體驗(yàn)和效率問(wèn)題。作為下一代空間互聯(lián)網(wǎng)核心的入口和計(jì)算平臺(tái)，AR眼鏡想要實(shí)現(xiàn)虛實(shí)結(jié)合功能，有三個(gè)非常核心功能或者底層技術(shù)，3D顯示、3D感知和3D交互。從3D顯示技術(shù)上看，非常重要一件事情是提升屏幕尺寸。從有限物理顯示屏變成無(wú)限大的數(shù)字顯示屏是我們覺(jué)得AR眼鏡首先從顯示尺寸這一維度帶來(lái)的提升。對(duì)于AR或者空間互聯(lián)網(wǎng)來(lái)說(shuō)需要把整個(gè)虛擬場(chǎng)景跟現(xiàn)實(shí)世界結(jié)合，并可以感知和識(shí)別到周?chē)趴梢越换ァ?D感知和交互技術(shù)最主要核心技術(shù)是算法。很多功能是由計(jì)算機(jī)視覺(jué)相關(guān)的算法功能所帶來(lái)的。
在AR、VR行業(yè)里面常見(jiàn)的計(jì)算機(jī)視覺(jué)技術(shù)在行業(yè)里面的應(yīng)用大概分為以下的幾個(gè)方向，首先是運(yùn)動(dòng)追蹤者，包括對(duì)頭顯的追蹤和對(duì)周?chē)鷪?chǎng)景物體的追蹤。從交互方面看，既包括一些控制器、手柄這樣的交互，也包括眼動(dòng)交互，通過(guò)眼動(dòng)的追蹤和交互技術(shù)可以通過(guò)你的眼睛指向來(lái)選擇一些東西。從3D感知來(lái)看，包括對(duì)周?chē)h(huán)境幾何結(jié)構(gòu)和語(yǔ)音的感知，以及對(duì)整個(gè)空間3D地圖的建立和3D場(chǎng)景的定位。
提到交互就不能不提到Chat GPT，鋼鐵俠電影非常好的展示AR和ChatGPT這種個(gè)人助手的結(jié)合，鋼鐵俠可以呼喚JARVIS作為助手幫你，通過(guò)AR顯示包括對(duì)周?chē)h(huán)境的識(shí)別，就能對(duì)周?chē)幸粋€(gè)AR化的控制。由此來(lái)看，ChatGPT對(duì)AR行業(yè)來(lái)說(shuō)也是非常革命化的突破，基于Chat GPT的強(qiáng)大的計(jì)算分析能力，未來(lái)AR眼鏡可能將成為世界上最了解你的個(gè)人助手。
介紹完前面幾個(gè)關(guān)鍵技術(shù)以后，最后一個(gè)部分簡(jiǎn)單跟大家分享在Nreal在這個(gè)行業(yè)探索的歷程和心得。Nreal是一個(gè)給消費(fèi)者端的AR行業(yè)帶來(lái)一些突破的公司，我們定義為全球第一款消費(fèi)者形態(tài)的AR眼鏡。我們的主要產(chǎn)品包括硬件和軟件系統(tǒng)兩個(gè)部分，硬件有兩代產(chǎn)品，分別是Nreal Light和Nreal Air。我們?nèi)ツ觊_(kāi)始正式大規(guī)模售賣(mài)叫Nreal Air的眼鏡，最后取得的十萬(wàn)臺(tái)出貨量的成績(jī)，雖然這個(gè)體量跟手機(jī)行業(yè)遠(yuǎn)遠(yuǎn)不及，但是在消費(fèi)級(jí)AR來(lái)說(shuō)是前所未有的突破。
那么Nreal的眼鏡，作為AR眼鏡首先是可以看到外面世界的，但是你必須要做它做的足夠輕薄、時(shí)尚和好看，大家可才愿意把它戴上。另一方面所提供的是一個(gè)雙目的1080P的高清顯示，它等效的顯示大小相當(dāng)于在4米處200寸的屏幕的效果，并且我們?cè)谡麄€(gè)佩戴體驗(yàn)上面做了非常多的優(yōu)化，那有了這樣一個(gè)眼鏡以后，我們認(rèn)為對(duì)消費(fèi)者來(lái)說(shuō)有哪些場(chǎng)景呢?首先就是口袋巨幕，隨時(shí)隨地都有一個(gè)非常大的可攜帶屏幕。我們也跟蔚來(lái)這樣的車(chē)企合作，在整個(gè)車(chē)上從技術(shù)上也解決了很多像抖動(dòng)等等這樣一些防眩暈的問(wèn)題，給汽車(chē)上的娛樂(lè)體驗(yàn)也實(shí)現(xiàn)了升級(jí)。我們也在適配性方面做了很多努力，因?yàn)槟壳靶袠I(yè)還并沒(méi)有標(biāo)準(zhǔn)各種平臺(tái)軟件硬件的接口定義還沒(méi)有完全拉齊，為了讓我們產(chǎn)品適合各種各樣的手機(jī)軟件、游戲主機(jī)等平臺(tái)，我們做了非常多的努力。
最后總結(jié)一下，我們認(rèn)為短期之內(nèi)，Nreal Air主打顯示、移動(dòng)數(shù)字屏取代物理屏的市場(chǎng)是合理并且存在，短期之內(nèi)會(huì)在娛樂(lè)、辦公等等場(chǎng)景里面體驗(yàn)升級(jí)，從長(zhǎng)期來(lái)看我們還是期待AR真正能力的釋放，因?yàn)锳R能力不僅僅是一個(gè)顯示，更多是我們所說(shuō)對(duì)周?chē)畔⒅匦?D化的組織和跟真實(shí)世界的結(jié)合，也就是剛才一開(kāi)始介紹的空間互聯(lián)網(wǎng)，以上是我們所分享的內(nèi)容，在硬件和交互體驗(yàn)去應(yīng)用產(chǎn)品，非常歡迎大家去體驗(yàn)。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
