不只有結(jié)構(gòu)光：機(jī)器眼中的立體世界，還在發(fā)生若干變化

要說AI技術(shù)里什么最火，機(jī)器視覺絕對算一個；而要說機(jī)器視覺技術(shù)里什么最火，大概毫無爭議就屬3D機(jī)器視覺了。

所謂3D機(jī)器視覺，是指在一般的機(jī)器視覺技術(shù)的基礎(chǔ)上，加入對立體空間中三維模型的理解。這項技術(shù)不僅涉及AI，而是一門機(jī)器視覺、圖形學(xué)與數(shù)據(jù)感知技術(shù)的交叉學(xué)科。想想也知道，讓機(jī)器認(rèn)識3D畫面是非常有價值的。畢竟人的視覺理解就是3D的，想要讓AI盡量貼近真人的感知方式，3D是必須攻克的難題。

在產(chǎn)業(yè)場景上，3D機(jī)器視覺是無人駕駛和高精地圖的重要技術(shù)條件，在VR/AR上應(yīng)用也非常廣泛，而無人機(jī)航拍與測繪也離不開這門技術(shù)。在蘋果把3D結(jié)構(gòu)光技術(shù)炒火了之后，手機(jī)中的3D機(jī)器視覺也已經(jīng)成為兵家必爭之地——假如說，這些厲害的技術(shù)都是賽車，那么3D機(jī)器視覺就是他們在路上都會遇到的收費站……

今天在機(jī)器視覺頂會中，差不多會有半壁江山那么多的論文都是跟3D有關(guān)。前沿探索可謂瘋狂進(jìn)行。然而重點來了，關(guān)于這一領(lǐng)域，似乎大部分吃瓜群眾還是只知道一個結(jié)構(gòu)光而已。

有哪些三維圖像+機(jī)器視覺的新技術(shù)趨勢，今天正隱藏在未知迷霧中眺望這個世界？今天我們來說幾種很有科幻感的技術(shù)突破點。說不定這些能力明年就會出現(xiàn)在你的手機(jī)、VR設(shè)備和無人機(jī)中，又或許即將成為某個被資本瘋狂親吻的創(chuàng)業(yè)熱潮。

超大場景的3D數(shù)據(jù)感知

3D機(jī)器視覺包括很多方面，既有讓智能體去理解3D數(shù)據(jù)，也包括如何通過機(jī)器視覺的解決方案，去獲取3D模型數(shù)據(jù)。

傳統(tǒng)意義上的3D數(shù)據(jù)獲取，或者稱其為3D感知技術(shù)，一般來說可以利用多角度拍照或者深度傳感器的方式實現(xiàn)3D數(shù)據(jù)收集。這種技術(shù)的局限在于，收集的3D數(shù)據(jù)不能太大。

然而在3D資料要求不斷升級的今天，對于超大場景的3D數(shù)據(jù)感知，正在成為一個熱門議題。比如無人駕駛中使用的城市高精地圖，就可以看做一個個超大3D場景的拼接。智能城市領(lǐng)域運(yùn)用到的很多城市數(shù)據(jù)推演，也要根植于對城市3D場景的收集。

機(jī)器視覺正在為超大場景的3D數(shù)據(jù)感知提供很多新的方法。比如自動化的成像方法，像視覺SLAM在線處理連續(xù)幀的圖像，實現(xiàn)實時重建巨大3D場景。再比如說對航拍數(shù)據(jù)進(jìn)行點云分割和點云數(shù)據(jù)的語義理解，幫助快速低成本獲取城市3D數(shù)據(jù)。

總體來看，今天超大場景的3D數(shù)據(jù)感知，有三個主要應(yīng)用方向，很可能分別成為各自技術(shù)領(lǐng)域中新的投資和創(chuàng)業(yè)熱點：

1、建筑物的3D高精度模型，運(yùn)用在工程監(jiān)理、智能設(shè)計、物流和智能城市領(lǐng)域。

2、高精地圖與3D數(shù)據(jù)感知的結(jié)合，這是無人駕駛的重要一環(huán)。

3、室內(nèi)外一體的3D建模，這對于智能家居設(shè)計、環(huán)境監(jiān)控、VR/AR體驗來說都有重要幫助。

手機(jī)與3D視覺進(jìn)入蜜月期

3D結(jié)構(gòu)光，今天已經(jīng)當(dāng)之無愧成為了高端手機(jī)的標(biāo)配，成為了繼雙攝、三攝與屏下指紋之后又一個手機(jī)行業(yè)爭搶的熱點。

然而手機(jī)上的3D視覺技術(shù)遠(yuǎn)不止于結(jié)構(gòu)光，從算法、傳感硬件，到影像系統(tǒng)解決方案，都可能成為手機(jī)與3D視覺進(jìn)一步耦合的關(guān)鍵因素。

今天來看，有3個相關(guān)趨勢非常可能成為明年的熱點。一個是基于芯片端進(jìn)行的3D視覺算法加速，這很可能成為手機(jī)AI的下一個進(jìn)化方向。第二個是高糾錯能力的3D視覺算法將會普及，在終端實現(xiàn)3D數(shù)據(jù)收集和本地建模將會成為新的熱點。第三個是后置攝像頭加入3D視覺解決方案指日可待。

從芯片端，到開發(fā)平臺，再到數(shù)據(jù)集、傳感系統(tǒng)，3D機(jī)器視覺正在多個領(lǐng)域影響手機(jī)戰(zhàn)場的走向，在這些領(lǐng)域儲備技術(shù)武器，也很可能成為明年手機(jī)戰(zhàn)場廝殺的關(guān)鍵節(jié)點。

AR/VR中的位姿估計技術(shù)

為什么我們在玩AR體驗的時候，經(jīng)常會覺得手機(jī)里的東西放在攝像頭視野中并不真實，像是漂浮在地板上一樣。

這就是因為位姿估計算法不夠精準(zhǔn)，無法正確定位物體的空間關(guān)系。在機(jī)器視覺技術(shù)的進(jìn)化下，今天很多位姿估計技術(shù)正在同步進(jìn)化。比如基于動態(tài)特征提取算法，達(dá)成的動作定位今天已經(jīng)比較成熟。

這東西聽起來挺玄乎，到底是干啥用的呢？它的最大應(yīng)用場景，就是在VR/AR正確處理場景中動態(tài)物體的空間關(guān)系和運(yùn)動軌跡。比如你在VR里玩踢球游戲，球應(yīng)該在什么位置挨踢，以什么軌跡撞墻，都有賴于位姿估計算法來校準(zhǔn)。

在機(jī)器視覺算法的幫助下，更精細(xì)的位姿估計正在到來，而這也加速了成熟MR體驗的到來。另一方面，在VR設(shè)備或者手機(jī)當(dāng)中，基于攝像頭與傳感器協(xié)同運(yùn)作來完成位姿估計，也是沉浸技術(shù)中即將發(fā)生的一個亮點。

通過散亂數(shù)據(jù)達(dá)成三維建模

3D機(jī)器視覺的最重要任何，肯定是基于數(shù)據(jù)來實現(xiàn)3D建模。這個應(yīng)用在產(chǎn)業(yè)端十分重要，地理信息系統(tǒng)、勘探、工程，以及無人駕駛，都需要大量的3D建模工作來參與。

而消費者級的3D建模今天也在到來，我們已經(jīng)可以看到在手機(jī)端通過3D結(jié)構(gòu)光來完成數(shù)據(jù)收集，從而達(dá)成3D建模的玩法。

跟3D感知一樣，3D建模也是利用攝像頭或者傳感器來收集數(shù)據(jù)，最終通過不同的解決方案完成建模。

然而這個領(lǐng)域還是有很多問題等待解決。比如說，今天我們進(jìn)行3D建模時，還需要非常痛苦的一點點收集數(shù)據(jù)，必須保證數(shù)據(jù)的對齊和精準(zhǔn)排列。否則出來的3D模型就是雜亂無章的。這顯然讓大眾完3D建模的熱情減退，并且給很多工程級項目增添了非常多難度。

AI的到來，正在幫助這種情況有所改變。在深度學(xué)習(xí)算法的幫助下，機(jī)器視覺領(lǐng)域正在研究如何在散亂、不規(guī)則、巨大數(shù)量的數(shù)據(jù)中完成3D建模。這需要對抗生成以及先驗表示等非常多的方案，但帶來的效果非常值得期待。

比如說今天已經(jīng)有3D建模方案，在深度學(xué)習(xí)的幫助下實現(xiàn)對密林的重建。然而其用來進(jìn)行點云建模的圖像數(shù)據(jù)中，有很多被樹葉遮擋的部分。這時候就可以用AI來增強(qiáng)3D建模的先驗知識，主動“腦補(bǔ)”出遮擋物背后的真實樣子。

不僅是修復(fù)遮擋模型和瑕疵數(shù)據(jù)，機(jī)器視覺技術(shù)與3D建模的融合，還可以讓很多無人設(shè)備具有更雪亮的“眼睛”。比如無人駕駛汽車，或許可以基于“大腦”中的3D建模算法，來腦補(bǔ)智能攝像頭尚未發(fā)現(xiàn)的環(huán)境。這點在復(fù)雜立交橋和停車場中格外有用。

在消費者端，3D建模與機(jī)器視覺的結(jié)合也將帶來新的想象力，比如消費者可以根據(jù)照片來重建精準(zhǔn)的3D模型，或者傻瓜式完成建模要用的數(shù)據(jù)收集。讓不那么專業(yè)的人也能建設(shè)出專業(yè)的3D模型，這個改變背后的想象力驚人。

更好的深度傳感器解決方案

還有一個機(jī)器視覺技術(shù)和3D的交匯，主要發(fā)生在無人機(jī)領(lǐng)域。

無人機(jī)今天進(jìn)行測繪和航拍時，必須附帶對空間的理解能力，否則拍照不準(zhǔn)事小，撞了南墻事大。而這個能力主要來自于攝像頭和傳感器進(jìn)行空間閱讀。

隨著消費級無人機(jī)的不斷升級，人們對無人機(jī)拍攝效果要求也不斷升高。無人機(jī)必須不斷在更遠(yuǎn)的距離、更極端的天氣、更復(fù)雜的運(yùn)動中拍攝畫面。然而傳統(tǒng)的傳感系統(tǒng)解決方案已經(jīng)快要跟不上用戶的期許。

今天的消費級無人機(jī)，一般采取兩種感知解決方案，一種是雙目視覺技術(shù)，比如大疆的某些產(chǎn)品；一種是結(jié)構(gòu)光傳感器，比如微軟的Kinect。而這兩種主流方案都是有一定局限的，比如感知范圍都有限，難以完成遠(yuǎn)距離作業(yè)。再比如雙目視覺技術(shù)在黑夜中會失靈，所以無人機(jī)夜拍一直是個大坑，然而結(jié)構(gòu)光技術(shù)應(yīng)對不來強(qiáng)光，一到中午無人機(jī)就石樂志也是很心塞的。

更好的解決方案，在于將傳感器與智能攝像頭結(jié)合起來，達(dá)成可以適應(yīng)不同天候與天氣，并且可以長距離感知的新型傳感系統(tǒng)解決方案。

今天，用機(jī)器視覺技術(shù)中的很多算法，協(xié)調(diào)不同的傳感設(shè)備工作，讓無人機(jī)變成“多眼無人機(jī)”，正在成為流行的解決方案。機(jī)器視覺算法大量加入無人機(jī)傳感器，還可能帶來軌跡拍攝能力提升，讓無人機(jī)獲得拍攝整體環(huán)境，或者精準(zhǔn)捕捉動態(tài)物體，比如說運(yùn)動中的動物和車輛的能力。

以上幾個技術(shù)趨勢，都可能成為機(jī)器視覺和圖形學(xué)應(yīng)用的下一步熱點。這個領(lǐng)域看似偏門，事實上卻能影響今天科技市場中的風(fēng)吹草動。

讓機(jī)器看到立體世界的游戲才剛剛開始，機(jī)器與人類在某一天可以用同樣的視角相互凝視，或許才是這個故事的終點。

生成海報

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。