技術(shù)干貨 | 機(jī)器如何識(shí)別手勢(shì)？

汽車內(nèi)飾是基于視頻的手勢(shì)識(shí)別系統(tǒng)新興用途的一個(gè)很好的例子。當(dāng)前的汽車手勢(shì)識(shí)別系統(tǒng)使駕駛員和乘客能夠控制信息娛樂系統(tǒng)或來電，而無需觸摸按鈕或屏幕。在這種環(huán)境下，手勢(shì)識(shí)別有望提高安全性，因?yàn)轳{駛員可以使用簡單的手部動(dòng)作代替復(fù)雜的菜單界面操作，使他們能夠更專注于駕駛車輛。

語音控制系統(tǒng)也可以使駕駛員能夠?qū)Ｗ⒂诘缆?，但使用起來更加?fù)雜。大多數(shù)當(dāng)前的語音控制系統(tǒng)不使用自然語言，它們需要精確的語音命令，并且可能涉及長菜單鏈以達(dá)到所需的特定命令。由于其對(duì)用戶的簡單性，手勢(shì)識(shí)別的汽車應(yīng)用有望擴(kuò)展到其他系統(tǒng)，例如加熱和冷卻、室內(nèi)照明控制、遠(yuǎn)程信息處理系統(tǒng)，甚至與遠(yuǎn)程智能家居系統(tǒng)的連接。系統(tǒng)結(jié)合了語音識(shí)別和手勢(shì)識(shí)別的最佳特性。

攝像頭安裝在基于攝像頭的汽車內(nèi)部手勢(shì)識(shí)別系統(tǒng)中，通常從天花板等高處獲得相關(guān)內(nèi)部空間的暢通無阻的視野。當(dāng)前系統(tǒng)只關(guān)注駕駛員。未來，隨著車內(nèi)攝像頭數(shù)量的增加和圖像質(zhì)量的提高，監(jiān)控空間的范圍有望擴(kuò)大到包括乘客在內(nèi)。監(jiān)控區(qū)域由紅外LED或激光照亮，即使在低光照條件下也能提供最佳圖像質(zhì)量。如上所述，手勢(shì)是實(shí)時(shí)分析的，機(jī)器學(xué)習(xí)支持準(zhǔn)確性的不斷提高。BMW7系汽車識(shí)別的一些手勢(shì)如圖2所示。

圖 2：BMW Series 7 汽車中編程的手勢(shì)示例。(圖片來源:Aptiv)

電場手勢(shì)識(shí)別

電場接近感應(yīng) (EFPS) 是基于輕微導(dǎo)電的附近物體對(duì)電場的擾動(dòng)。EFPS 的一個(gè)實(shí)施例是一種微電子設(shè)備，它可以檢測(cè)移動(dòng)和靜止的物體，即使是非導(dǎo)電的固體材料。它通過感應(yīng)兩個(gè)天線電極產(chǎn)生的極低功率電磁場的微小變化來工作。它的可調(diào)范圍從幾厘米到 4 米，并且它的操作與對(duì)地阻抗無關(guān)。

EFPS 和其他電場傳感器提供少量數(shù)據(jù)。與光學(xué)手勢(shì)識(shí)別系統(tǒng)相比，它們更小、重量更輕，并且需要更少的功率。在另一個(gè)實(shí)施例中，手勢(shì)感應(yīng) IC 使用電極來感應(yīng)電場的變化并計(jì)算手指等物體的位置，提供三維位置數(shù)據(jù)并將運(yùn)動(dòng)模式實(shí)時(shí)分類為手勢(shì)（圖3）。通過使用電場感應(yīng)，該系統(tǒng)對(duì)光線、聲音和其他可能干擾其他 3D 手勢(shì)感應(yīng)技術(shù)操作的環(huán)境條件完全不敏感。

這種特定的 3D 手勢(shì)感應(yīng) IC 針對(duì)電池供電設(shè)備進(jìn)行了優(yōu)化，感應(yīng)電極由低壓信號(hào)驅(qū)動(dòng)，可選擇 42、43、44、45 和 100 kHz 信號(hào)。由于電場傳感器可以穿透非導(dǎo)電材料，因此它們可以封裝在防風(fēng)雨外殼或建筑物的內(nèi)墻中。除了便攜式手勢(shì)感應(yīng)應(yīng)用外，EFPS 系統(tǒng)目前還部署在各種感應(yīng)應(yīng)用中，包括：

使用激光雷達(dá)

光檢測(cè)和測(cè)距 (LIDAR) 被用于為消費(fèi)和工業(yè)系統(tǒng)中的手勢(shì)識(shí)別帶來獨(dú)特的性能范圍。一個(gè)示例是基于 940 nm 不可見光垂直腔面發(fā)射激光器 (VCSEL) 的 LIDAR 設(shè)備，該激光器具有集成驅(qū)動(dòng)器和單光子雪崩二極管 (SPAD) 的接收陣列。該系統(tǒng)使用基于飛行時(shí)間 (ToF) 測(cè)量的多區(qū)域測(cè)距。它以集成 6.4mm x 3.0mm x 1.5mm 模塊的形式提供，其中包括 VCSEL（垂直腔面發(fā)射激光器）發(fā)射器和帶有嵌入式 SPAD 和基于直方圖的 ToF 處理引擎的接收器（圖 4）。

這種基于 LIDAR 的模塊的緊湊尺寸和低功耗有望在一系列應(yīng)用中實(shí)現(xiàn)非觸摸手勢(shì)識(shí)別的集成，包括 AR/AV 耳機(jī)、平板電腦、手機(jī)和住宅產(chǎn)品，如廚房電器、恒溫器和其他智能家居控制，以及電梯控制、交互式標(biāo)牌和票務(wù)以及自動(dòng)售貨機(jī)等設(shè)備。該傳感器可以在 4×4（16 區(qū)域）快速測(cè)距模式下提供高達(dá)每秒 60 幀的幀數(shù)。在高分辨率模式下，傳感器測(cè)量 64 個(gè)區(qū)域 (8×8)。

縮小電容式手勢(shì)識(shí)別

基于微型碳納米管紙復(fù)合電容傳感器的電容式三維手勢(shì)傳感器已被開發(fā)用于集成游戲設(shè)備和其他消費(fèi)電子產(chǎn)品。與上一代電容式手勢(shì)傳感器相比，碳納米管紙基設(shè)備的速度提高了 10 倍，體積縮小了 100 倍，并且可以在高達(dá) 20 厘米的更大范圍內(nèi)工作（圖 5）。它們無需任何手持設(shè)備或其他設(shè)備即可識(shí)別 3D 手勢(shì)，并且比紅外傳感器更快、更準(zhǔn)確。此外，它們對(duì)環(huán)境因素（如膚色和照明條件）不敏感。

圖 5：這種基于碳納米管紙的手勢(shì)識(shí)別設(shè)備比前幾代電容式傳感器快 10 倍，小 100 倍。（圖片來源：Somalytics）

相機(jī)+超聲波觸覺

專為 VR/AR 耳機(jī)設(shè)計(jì)的新系統(tǒng)將基于紅外攝像頭的手勢(shì)識(shí)別與觸覺反饋相結(jié)合。該系統(tǒng)使用 IR LED 照亮用戶的手，LED 的脈沖與相機(jī)幀速率同步。相機(jī)通過每個(gè)脈沖將當(dāng)前位置信息發(fā)送到處理器。處理器中的手勢(shì)識(shí)別軟件對(duì)骨骼和關(guān)節(jié)以及手部運(yùn)動(dòng)進(jìn)行建模。這使系統(tǒng)能夠準(zhǔn)確地知道拇指或手指的位置，即使它不在視線范圍內(nèi)。該系統(tǒng)可以通過編程識(shí)別各種手勢(shì)，包括抓取、滑動(dòng)、捏合、推動(dòng)等。該手勢(shì)識(shí)別系統(tǒng)有一個(gè)交互區(qū)域，范圍從 10 厘米到 1 米，典型視野為 170° x 170°。

除了識(shí)別手勢(shì)外，該系統(tǒng)還知道人的手在哪里，并且可以使用該信息來控制基于超聲波的觸覺反饋。超聲觸覺系統(tǒng)基于以特定時(shí)間差觸發(fā)的揚(yáng)聲器矩陣，使聲波能夠聚焦在空間中的特定點(diǎn)，例如，人手的特定部分所在的位置（圖 6）。可以根據(jù)應(yīng)用程序的需要實(shí)時(shí)更改 3D 焦點(diǎn)。超聲波在焦點(diǎn)處的組合振動(dòng)產(chǎn)生了人體皮膚可以感覺到的壓力點(diǎn)。

總結(jié)

基于視頻的手勢(shì)識(shí)別仍然是最廣泛使用的手勢(shì)識(shí)別形式。它用于各種應(yīng)用，包括醫(yī)療環(huán)境和汽車駕駛室。最近，手勢(shì)識(shí)別已應(yīng)用于 AV/VR 系統(tǒng)、樓宇自動(dòng)化系統(tǒng)和機(jī)器人技術(shù)。新的手勢(shì)識(shí)別技術(shù)正在推動(dòng)手勢(shì)識(shí)別的日益增長的應(yīng)用，包括電場感應(yīng)、基于 VCSEL 的 LIDAR 系統(tǒng)、碳納米管電容設(shè)備以及結(jié)合超聲觸覺反饋的紅外相機(jī)。