“洞察千里”，華為云HiLens如何讓無人車智行天下

隨著人工智能的普及和滲透，“無人”的場景越來越豐富，無人超市、無人車、無人機等已經(jīng)融入我們的生活。

乘著這股熱浪，華為云攜手上海交通大學學生創(chuàng)新中心舉辦了華為云人工智能大賽——無人車挑戰(zhàn)杯。而此次大賽用的正是華為云人工智能平臺：華為云一站式AI開發(fā)平臺ModelArts和視覺AI應用開發(fā)平臺Huawei HiLens(以下簡稱HiLens)，無人車的設計由上海交通大學提供，旨為全面鍛煉和提高賽隊的AI解決方案能力及無人駕駛編程技巧。然而，無人車是怎么搭載華為云HiLens實現(xiàn)智能行駛的呢?下面就來解密這背后的黑科技。

ModelArts與HiLens是什么關系？

Modelarts是云側(cè)面向AI開發(fā)者的一站式開發(fā)平臺，提供數(shù)據(jù)預處理、半自動化標注、大規(guī)模分布式訓練、自動化模型生成等能力。而HiLens是一站式AI應用開發(fā)、分發(fā)、部署的端云協(xié)同管理平臺，并提供開放的AI技能市場，支持海量設備管理、動態(tài)應用部署、在線訓練、端側(cè)模型優(yōu)化等端云協(xié)同能力。既然是端云協(xié)同，少不了端側(cè)設備，隨著HiLens平臺發(fā)布的同時，華為還發(fā)布了一款具備AI推理能力的攝像機——HiLens Kit，構(gòu)建“云-端-芯”的人工智能生態(tài)。參賽者在Modelarts平臺訓練好模型，再將模型導入HiLens平臺進行技能開發(fā)，然后一鍵式部署到HiLens Kit推理，實現(xiàn)“云-邊-端”一體化流程，大大提高開發(fā)效率。

對于開發(fā)者來說，模型部署到端側(cè)設備，需要考慮的不僅是芯片(CPU/GPU)、內(nèi)存、網(wǎng)絡帶寬和穩(wěn)定性等各種設備規(guī)格在內(nèi)的開發(fā)問題，海量設備管理和維護的問題，還有業(yè)務和安全的問題。而HiLens平臺和設備的出現(xiàn)，提供了一套完整可靠的全棧端云協(xié)同解決方案。在無人車中，HiLens Kit主要提供AI分析和ROS控制的能力，實現(xiàn)小車基于深度學習算法模擬實際場景的識別和控制。

無人車搭載華為云HiLens帶來哪些優(yōu)勢？

1. 端云協(xié)同

開發(fā)者可基于華為ModelArts AI開發(fā)平臺訓練算法模型，通過HiLens平臺做技能開發(fā)并部署到HiLens Kit推理。在本次大賽中，參賽者運用華為云ModelArts平臺訓練好各類算法模型，然后把模型導入HiLens平臺進行業(yè)務邏輯編寫，完成技能開發(fā)，并將技能一鍵式部署到HiLens Kit，快速實現(xiàn)紅綠燈識別、行人避障、線路識別、目標跟隨等自動駕駛功能。

對于參賽者來說，只需簡單四步：創(chuàng)建模型、導入模型、創(chuàng)建技能、部署技能，最快10分鐘即可定制符合交通場景需求的技能，并部署到任意已注冊的端側(cè)設備運行，后期還能通過HiLens技能管理平臺一鍵實現(xiàn)端側(cè)設備的技能升級和卸載。這樣實現(xiàn)了從云到端的一體化，降低了參賽者訓練時間和算法移植成本，提高了效率。

2.端側(cè)設備HiLens Kit

這是為HiLens平臺打造的一款支持推理的智能攝像頭，專用于開發(fā)者做端云協(xié)同的視覺應用開發(fā)。(1)超強的算力，內(nèi)置華為自研Ascend 310 AI芯片(16TOPS INT8 算力)，可以實現(xiàn)1秒百幀的處理能力，毫秒級人臉檢測;超強處理能力可同時支持高達16路1080P視頻分析;同時，內(nèi)置輕量級容器，具備資源占用少、降低網(wǎng)絡帶寬、下載啟動時間快等特性。讓參賽者任性的開發(fā)更多復雜交通場景的算法而不用擔心內(nèi)存和算力的限制。(2)豐富的接口，包括USB接口、視頻接口、音頻接口、網(wǎng)口、WIFI、SD卡等提供了開發(fā)的便利，實現(xiàn)多模態(tài)交互。(3)可靠的管理，HiLens提供的端云連接持續(xù)可靠的通信組件，使端側(cè)設備對于與云側(cè)僅有間歇性連接或者無連接的場景，也具備制定決策的能力，在未連接網(wǎng)絡的情況下也能保持設備狀態(tài)。

3.內(nèi)置技能開發(fā)框架Skill Framework

為了簡化技能開發(fā)流程，HiLens提供了自研端側(cè)技能開發(fā)框架Skill Framework，通過封裝底層接口、實現(xiàn)常用的管理功能，讓參賽者可以在Huawei HiLens管理控制臺上方便的開發(fā)Skill，培育AI生態(tài)。具體如下：

(1)提供易用的開發(fā)組件，Skill Framework封裝了視頻分析算法的基礎組件，如底層多媒體處理庫(攝像頭/麥克風驅(qū)動模塊Media_mini)、Ascend 310芯片相關的圖像處理庫(DVPP)和模型管理庫(ModelManager)等，提供了技能推理平臺、視頻管理、外部接口管理等能力，開發(fā)者只需少量代碼即可開發(fā)自己的技能。

(2)結(jié)合芯片性能優(yōu)化，針對AI算法中比較耗時的計算單元，結(jié)合海思芯片架構(gòu)進行優(yōu)化，內(nèi)置NPU專用硬件加速單元，與CPU處理AI運算相比，擁有約50倍能效和25倍性能優(yōu)勢，使計算性能得到極大提升。

(3)技能移植，在HiLens平臺上開發(fā)的Skill可以運行到任何基于華為海思芯片的設備上。因底層封裝了系統(tǒng)平臺適配層，且基于HiAI Engine自適配底層芯片，可無縫對接端側(cè)設備，讓開發(fā)者無需操心底層硬件的適配和系統(tǒng)平臺的兼容問題，使開發(fā)更容易上手。

(4)提供Python和C++接口，同時支持兩種語言接口，參賽者可根據(jù)場景和開發(fā)習慣使用不同語言的接口。

4. 在線更新技能

訓練并開發(fā)后的技能可遠程下載發(fā)布，使比賽更具有實時性。HiLens管理平臺提供技能管理功能，包括技能部署、停止和卸載，開發(fā)者優(yōu)化后的技能，可在平臺一鍵式部署更新，高效而快速，避免了傳統(tǒng)的算法更新依賴固件更新周期長成本高的限制。

5. 自動模型轉(zhuǎn)換

云側(cè)開發(fā)框架豐富多樣，開發(fā)者可根據(jù)喜好選擇TensorFlow、MXNet、Caffe等，然后將訓練好的模型導入HiLens平臺通過模型轉(zhuǎn)換功能，能夠自動轉(zhuǎn)換成適配端側(cè)昇騰310芯片的OM框架模型，而參賽者只需提供三個文件：原始模型文件、網(wǎng)絡結(jié)構(gòu)文件和轉(zhuǎn)換文件.cfg(cfg需參賽者簡單配置參數(shù)生成)，這樣參賽者不用有云側(cè)框架與端側(cè)設備不兼容的顧慮，從而降低學習成本。

6. 自動數(shù)據(jù)采集

參賽者可利用HiLens Kit實現(xiàn)自動數(shù)據(jù)采集并上傳到云端進行訓練。為了更好的優(yōu)化模型，少不了成千上萬的真實數(shù)據(jù)，而開發(fā)者可通過HiLens Kit快速而實時地采集實際場景的數(shù)據(jù)，例如紅綠燈識別照片和視頻、路線照片等，傳回云側(cè)利用Modelarts針對性訓練，提高模型精度，同時極大降低數(shù)據(jù)采集時間，實現(xiàn)設備的在線自動學習與更新。

另外，Huawei HiLens也提供具有豐富技能的技能市場，可以讓開發(fā)者將自己開發(fā)好的技能一鍵發(fā)布到技能市場供其他人使用、購買。同時，華為也將在技能市場發(fā)布多項技能，針對家庭、園區(qū)、車載等不同場景，覆蓋物體檢測、動作識別、語音識別等多種應用，供開發(fā)者和企業(yè)使用。為的就是打造一個全民用AI會AI的生態(tài)。

基于HiLens獨有的優(yōu)勢和能力，無人車挑戰(zhàn)杯的參賽者可以結(jié)合“云-端-芯”的場景挖掘和探索更多復雜的場景，智行天下，為我們的生活帶來更多的便利。未來，是智能的世界，人們對人工智能在不同行業(yè)和領域的探索也會越來越深入、越來越緊密，而Huawei HiLens給視覺AI領域提供了最可靠的端云協(xié)同能力和最高效的AI應用開發(fā)平臺。

日前，無人車挑戰(zhàn)杯初賽剛剛結(jié)束，全國十強戰(zhàn)隊已經(jīng)產(chǎn)生，選手們將前往上海，在即將舉辦的2019華為全聯(lián)接大會上一決雌雄，現(xiàn)在售票通道已開放，登錄大會官網(wǎng)即可在線購票，歡迎現(xiàn)場觀戰(zhàn)，一起見證無人車大賽的決賽過程。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。