深蘭科技自2017年開(kāi)始嘗試整車(chē)設(shè)計(jì)，一路至今，推出多項(xiàng)應(yīng)用成果，同時(shí)取得多個(gè)城市的自動(dòng)駕駛牌測(cè)試照。經(jīng)過(guò)三年中無(wú)數(shù)次的鉆研和打磨，最終形成的熊貓智能公交整合自動(dòng)駕駛技術(shù)、手脈識(shí)別系統(tǒng)、語(yǔ)音交互、精準(zhǔn)廣告推送等功能，實(shí)現(xiàn)在公交的動(dòng)力、安全、效益和服務(wù)上的全面升級(jí)。
中國(guó)公共交通行業(yè)：公交服務(wù)亟待智能技術(shù)強(qiáng)化乘客出行體驗(yàn)，扭轉(zhuǎn)赤字運(yùn)營(yíng)
公交車(chē)是城市交通運(yùn)輸系統(tǒng)的重要組成部分。盡管我國(guó)城市公共交通近年來(lái)得到了較快的發(fā)展，但仍有乘客不斷抱怨出行困難，交通成本高。為改善公交服務(wù)質(zhì)量，國(guó)務(wù)院、交通主管部門(mén)曾多次在各類(lèi)文件中強(qiáng)調(diào)公交的智能化、信息化。而后，國(guó)家于 2020 年初提出“新基建”， 讓科技賦能戰(zhàn)略深入各個(gè)層級(jí)。在此背景下，公交行業(yè)面臨必然的轉(zhuǎn)變，而其長(zhǎng)期存在的痛點(diǎn)也亟待科技賦能，實(shí)現(xiàn)智能轉(zhuǎn)型。
耗油及污染：油耗是決定公交車(chē)運(yùn)營(yíng)成本的根本問(wèn)題。然而，油耗的多少不僅跟公交車(chē)況有關(guān)，公交車(chē)線路安排、駕駛員節(jié)油技能等因素都在影響公交車(chē)耗油情況。另一方面，由于公交車(chē)體偏大，且長(zhǎng)時(shí)間處于駕駛狀態(tài)，其尾氣排放已成為重大污染源之列。
人力依賴(lài)：公交司機(jī)技術(shù)門(mén)檻要求高、工作性質(zhì)單一、勞動(dòng)強(qiáng)度大，導(dǎo)致從業(yè)人員不斷減少，也令行業(yè)人力成本升高。
舒適度與安全性局限：由于公交車(chē)中乘客構(gòu)成繁雜，車(chē)內(nèi)設(shè)施總體落后，無(wú)法對(duì)個(gè)別抽煙、盜竊等異常行為進(jìn)行實(shí)時(shí)干預(yù)，導(dǎo)致全車(chē)乘客出行體驗(yàn)?zāi)酥寥松戆踩艿接绊憽?/p>
線路長(zhǎng)期虧損：由于公交系統(tǒng)屬于利民服務(wù)，公交車(chē)的收費(fèi)相對(duì)低廉，大量公交線路長(zhǎng)期處于虧損狀態(tài)，運(yùn)營(yíng)商收入總體依賴(lài)政府補(bǔ)助，難以有余力主動(dòng)升級(jí)車(chē)輛設(shè)施，改善服務(wù)效果。
智能公交應(yīng)用內(nèi)案例解析：以深蘭科技打造熊貓智能公交車(chē)為例
如何讓先進(jìn)的AI技術(shù)與城市交通工具加速融合并實(shí)現(xiàn)商業(yè)化落地，在增加民眾出行舒適度的同時(shí)也扭轉(zhuǎn)運(yùn)營(yíng)商長(zhǎng)期赤字的窘境一直是深蘭科技思考和探索的課題。
深蘭科技擁有龐大而完善的人工智能核心技術(shù)研發(fā)體系及大量科研人才，并常年基于此優(yōu)勢(shì)在自動(dòng)駕駛技術(shù)領(lǐng)域蓄勢(shì)，逐步建立技術(shù)壁壘。近年來(lái)，深蘭科技先后在CVPR、ICCV、ECCV、NeuIPS等世界頂級(jí)學(xué)術(shù)會(huì)議的算法競(jìng)賽中獲世界冠軍。其中，2019年ICCV COCO & Mapillary挑戰(zhàn)賽Mapillary Vistas目標(biāo)檢測(cè)賽道中，任務(wù)內(nèi)容與自動(dòng)駕駛車(chē)輛的感知能力有著強(qiáng)關(guān)聯(lián)，強(qiáng)調(diào)識(shí)別靜態(tài)街道圖像對(duì)象(如路燈、標(biāo)志、標(biāo)桿)和動(dòng)態(tài)街道主體(如汽車(chē)、行人、自行車(chē))的能力。而深蘭科技在此次競(jìng)賽中一舉奪冠，奠定了公司在自動(dòng)駕駛領(lǐng)域的優(yōu)勢(shì)地位。此外，深蘭科技在生物智能、邊緣計(jì)算等技術(shù)領(lǐng)域同樣有著技術(shù)優(yōu)勢(shì)及落地產(chǎn)品，為構(gòu)建自動(dòng)駕駛汽車(chē)打下深厚的基礎(chǔ)。
另一方面，深蘭科技自2017年開(kāi)始嘗試整車(chē)設(shè)計(jì)，并持續(xù)推出多項(xiàng)應(yīng)用成果。2018年6月，深蘭科技推出新零售和自動(dòng)駕駛的結(jié)合產(chǎn)品——芭提雅自動(dòng)駕駛移動(dòng)零售車(chē);同年9月，首批12米熊貓智能公共交在常州和長(zhǎng)沙試跑。2019年，深蘭科技引入氫能源專(zhuān)家團(tuán)隊(duì)，進(jìn)入氫能源車(chē)的自動(dòng)駕駛領(lǐng)域。
在此后的兩年里，深蘭科技陸續(xù)取得多個(gè)城市的自動(dòng)駕駛牌測(cè)試照，熊貓智能公交也在全國(guó)各地實(shí)現(xiàn)商業(yè)運(yùn)行。經(jīng)過(guò)三年中無(wú)數(shù)次的鉆研和打磨，最終形成的熊貓智能公交成功實(shí)現(xiàn)在公交的動(dòng)力、安全、效益和服務(wù)上的全面升級(jí)。
一、核心技術(shù)——智能駕駛系統(tǒng)
深蘭科技熊貓智能公交車(chē)是一款大型人工智能、自動(dòng)駕駛客車(chē)，總長(zhǎng)約12米，以磷酸鐵鋰電池為驅(qū)動(dòng)。其智能駕駛系統(tǒng)由感知域子系統(tǒng)、決策控制子系統(tǒng)、線控底盤(pán)系統(tǒng)三大部分組成。感知域子系統(tǒng)通過(guò)車(chē)輛周身布置的傳感器探測(cè)環(huán)境信息，感知數(shù)據(jù)匯入域控制器，進(jìn)行感知數(shù)據(jù)融合處理，同時(shí)結(jié)合車(chē)路協(xié)同路面交通信息及地圖數(shù)據(jù)輸出車(chē)輛行駛環(huán)境模型。為最大化實(shí)現(xiàn)公交車(chē)的感知能力，車(chē)身安裝了毫米波雷達(dá)、激光雷達(dá)、車(chē)身超聲波雷達(dá)陣列以及大量攝像頭，從而全方位采集車(chē)身周邊的環(huán)境信息。
由感知傳感器采集的信息將傳輸至FPGA車(chē)載高性能集成計(jì)算總成，通過(guò)各傳感器的時(shí)間和空間同步、數(shù)據(jù)融合處理，完成對(duì)車(chē)輛周?chē)煌ōh(huán)境的感知。而自動(dòng)駕駛計(jì)算單元X86實(shí)時(shí)控制器根據(jù)環(huán)境模型信息進(jìn)行規(guī)劃、決策與控制，輸出驅(qū)動(dòng)、制動(dòng)和轉(zhuǎn)向控制命令，經(jīng)由整車(chē)控制器轉(zhuǎn)發(fā)車(chē)輛線控底盤(pán)相應(yīng)執(zhí)行機(jī)構(gòu)執(zhí)行控制命令，實(shí)現(xiàn)車(chē)輛的自動(dòng)駕駛功能。此外，X86實(shí)時(shí)控制器同樣負(fù)責(zé)車(chē)身失效故障診斷與安全策略保護(hù)，將必要信息通過(guò)HMI(人機(jī)交互——中控屏)或車(chē)載語(yǔ)音播報(bào)設(shè)備提供給司機(jī)或車(chē)內(nèi)成員，在必要時(shí)切換手動(dòng)操作，保證駕駛安全。
為保證熊貓智能公交車(chē)的整體性能，其車(chē)載高性能混合計(jì)算平臺(tái)采用了ARM和FPGA混合計(jì)算架構(gòu)，峰值功耗低于35瓦。同時(shí)，平臺(tái)具備完整的標(biāo)準(zhǔn)車(chē)用I/O和整車(chē)通訊端口，控制計(jì)算總成采用全車(chē)規(guī)設(shè)計(jì)，自然風(fēng)冷，實(shí)現(xiàn)IP67防護(hù)等級(jí)，滿(mǎn)足整車(chē)控制和感知融合的計(jì)算要求。而嵌入式軟件架構(gòu)則保證操作系統(tǒng)響應(yīng)在1毫秒之內(nèi)，滿(mǎn)足高實(shí)時(shí)性要求。在硬件架構(gòu)方面，熊貓智能公交車(chē)采用x86+ARM+FPGA模式。X86CPU配有專(zhuān)用實(shí)時(shí)內(nèi)核，在操作系統(tǒng)發(fā)生死機(jī)或重啟，實(shí)時(shí)內(nèi)核仍能夠正常運(yùn)行，相較于業(yè)界常用的普通工控機(jī)+GPU板卡模式具備更高的可靠性。
綜合一系列技術(shù)優(yōu)勢(shì)，熊貓智能公交車(chē)可實(shí)現(xiàn)：
二、效益提升——精準(zhǔn)廣告推送系統(tǒng)
公交車(chē)屬于便民服務(wù)，也是社會(huì)必須的交通設(shè)施，其票價(jià)在全球范圍內(nèi)遠(yuǎn)低于國(guó)際水平，因此我國(guó)大多公交線路長(zhǎng)期處于虧損狀態(tài)已是公認(rèn)的普遍現(xiàn)象，國(guó)家為保證公交服務(wù)的存在每年需要為運(yùn)營(yíng)商提供大量補(bǔ)貼。為控制成本，公交車(chē)從有人收費(fèi)變?yōu)闊o(wú)人收費(fèi)，運(yùn)營(yíng)商也嘗試在車(chē)內(nèi)安裝廣告屏試圖創(chuàng)收。然而，單向的廣告投放難以統(tǒng)計(jì)成效，廣告商對(duì)于用戶(hù)關(guān)注重點(diǎn)、喜好反饋乃至最重要的轉(zhuǎn)化率難以形成客觀的數(shù)據(jù)參考。因而公交車(chē)的廣告位長(zhǎng)期處于一個(gè)尷尬的位置。
為實(shí)現(xiàn)公交運(yùn)營(yíng)商的效益提升，熊貓智能公交整車(chē)搭載有7塊廣告屏，并基于眼控計(jì)時(shí)廣告系統(tǒng)，結(jié)合屏幕所配備的高清攝像頭進(jìn)行高精度的用戶(hù)行為記錄。深蘭科技眼控計(jì)時(shí)廣告系統(tǒng)引入近距離眼球朝向識(shí)別技術(shù)，在廣告播放的時(shí)間段內(nèi)，系統(tǒng)將攝像頭實(shí)時(shí)獲取的客艙內(nèi)乘客觀看廣告情況的圖像進(jìn)行算法處理和敏感數(shù)據(jù)脫敏處理，在保證乘客隱私的前提下，推算每位乘客的觀看時(shí)長(zhǎng)、性別、年齡段等乘客畫(huà)像數(shù)據(jù)。系統(tǒng)可基于這些數(shù)據(jù)精準(zhǔn)統(tǒng)計(jì)每段廣告的投放效果，并以此推送喜愛(ài)一時(shí)間段的廣告內(nèi)容，并且可根據(jù)觀看人數(shù)及其觀看時(shí)長(zhǎng)進(jìn)行增值計(jì)費(fèi)，使廣告投放效果做到更加精準(zhǔn)有效。
三、智慧出行——智能公交設(shè)施
為優(yōu)化乘客的出行體驗(yàn)，深蘭科技為熊貓智能公交部署了多項(xiàng)智能應(yīng)用，包含手脈識(shí)別扣費(fèi)系統(tǒng)、語(yǔ)音交互系統(tǒng)以及無(wú)人零售系統(tǒng)。
手脈識(shí)別技術(shù)是高精確生物智能識(shí)別技術(shù)。通過(guò)深蘭科技自主研發(fā)的特征提取算法，系統(tǒng)可通過(guò)近紅外傳感器，以非接觸形式采集乘客皮膚以下3毫米處的內(nèi)部活體特征，實(shí)現(xiàn)基于手脈的生物識(shí)別身份認(rèn)證。乘客上車(chē)后可通過(guò)掃手動(dòng)作完成自動(dòng)扣費(fèi)，比手機(jī)掃描二維碼更為便捷。
針對(duì)乘客對(duì)路線信息、實(shí)時(shí)路況、站點(diǎn)周邊設(shè)施等出行資訊的需求，熊貓智能公交所搭載的語(yǔ)音交互系統(tǒng)可根據(jù)車(chē)輛運(yùn)行中所收集到的實(shí)時(shí)信息，以語(yǔ)音交互的模式為乘客提供信息服務(wù)，免除駕駛員分散注意力的風(fēng)險(xiǎn)。
在此之上，熊貓智能公交設(shè)智能有無(wú)人零售柜，其無(wú)人零售系統(tǒng)基于深度學(xué)習(xí)算法、計(jì)算機(jī)視覺(jué)等人工智能技術(shù)搭建。系統(tǒng)采用AI攝像頭360度精確識(shí)別商品，自行完成販?zhǔn)酃ぷ鳌＝Y(jié)合手脈識(shí)別技術(shù)，乘客可使用掃手支付，體驗(yàn)“拿了就走”的便捷購(gòu)物體驗(yàn)。另外，依托大數(shù)據(jù)分析，無(wú)人零售系統(tǒng)同樣能夠記錄并分析乘客消費(fèi)情況，幫助供應(yīng)商按需配置商品庫(kù)存，實(shí)現(xiàn)精細(xì)化運(yùn)營(yíng)。
四、出行安全保障——乘客異常行為監(jiān)控系統(tǒng)
公交車(chē)屬于公共區(qū)域，其乘客身份復(fù)雜，個(gè)體的異常行為會(huì)影響到全車(chē)乘客的舒適度與出行安全性。針對(duì)公交車(chē)內(nèi)場(chǎng)景，深蘭科技為熊貓智能無(wú)人車(chē)部署了異常行為分析系統(tǒng)，基于上文介紹的眼控廣告攝像頭對(duì)拍攝范圍內(nèi)每位乘客諸如吸煙、受傷、物品遺失，乃至偷竊等異常行為做出反饋，并在車(chē)內(nèi)顯示屏聯(lián)動(dòng)提醒。其具體功能包含：
吸煙檢測(cè)：采用one-stage的檢測(cè)模式，由煙霧檢測(cè)器將不同特征圖譜(feature map)獲得的bbox指標(biāo)，經(jīng)過(guò)NMS(Non-maximum suppression非極大值抑制算法)方法生成指標(biāo)集合，從而讓吸煙分類(lèi)器對(duì)檢測(cè)結(jié)果進(jìn)行分類(lèi)。同時(shí)，系統(tǒng)配有多種定制的增廣算法，提升分類(lèi)器的的精準(zhǔn)度，完成吸煙行為識(shí)別。
乘客區(qū)域智能偵測(cè)及預(yù)警：基于眼控廣告攝像頭，系統(tǒng)可對(duì)車(chē)廂內(nèi)乘客區(qū)域、特定物品放置區(qū)域、幣箱、后門(mén)下客緩步臺(tái)、車(chē)內(nèi)配電倉(cāng)門(mén)等重點(diǎn)區(qū)域進(jìn)行智能檢測(cè)監(jiān)控，對(duì)乘客進(jìn)入危險(xiǎn)區(qū)域、快速移動(dòng)(車(chē)廂內(nèi)有緊急事件乘客快速移動(dòng)、聚集等)等行為進(jìn)行偵測(cè)預(yù)警。同時(shí)，系統(tǒng)可結(jié)合目標(biāo)檢測(cè)器識(shí)別乘車(chē)環(huán)境內(nèi)的包和人的狀態(tài)，判斷攝像頭區(qū)域內(nèi)是否存在包裹遺失現(xiàn)象，自動(dòng)發(fā)出丟包提示。
偷盜檢測(cè)：通過(guò)攝像頭獲取圖像信息，先對(duì)車(chē)上乘客做檢測(cè)和跟蹤，并得到乘客的時(shí)間序列;隨后通過(guò)使用two stream的方式對(duì)相關(guān)的兩個(gè)行人之間的行為做判別，實(shí)現(xiàn)可疑/非可疑動(dòng)作分析和判斷，以實(shí)現(xiàn)偷盜識(shí)別。
摔倒檢測(cè)：結(jié)合攝像頭所采集的數(shù)據(jù)，通過(guò)乘客關(guān)鍵點(diǎn)檢測(cè)器，跟蹤模塊，關(guān)鍵點(diǎn)分類(lèi)四個(gè)模塊，結(jié)合圖像背景檢測(cè)判斷當(dāng)前目標(biāo)是站立或摔倒的狀態(tài)，并將摔倒的識(shí)別結(jié)果進(jìn)行告警。
五、應(yīng)用成果——深蘭科技造車(chē)之路
截止目前，深蘭科技憑借熊貓智能公交車(chē)已先后參與“廣州5G營(yíng)運(yùn)車(chē)輛自動(dòng)駕駛與車(chē)路協(xié)同示范區(qū)”、“天津中心生態(tài)城5G-V2X智能公交運(yùn)營(yíng)示范線”以及“武漢中央商務(wù)區(qū)自動(dòng)駕駛公交商業(yè)運(yùn)營(yíng)示范線”的建設(shè)工作。深蘭科技熊貓智能公交車(chē)已然成為公司拳頭產(chǎn)品。而成就的背后，則是深蘭科技在過(guò)去三年的反復(fù)磨煉與堅(jiān)持的“造車(chē)之路”：
2018年，深蘭科技于6月推出芭堤雅自動(dòng)駕駛移動(dòng)零售車(chē)，結(jié)合新零售與自動(dòng)駕駛技術(shù)，以“買(mǎi)東西，叫一個(gè)店”的模式在上海首批上路服務(wù);同年9月，首批12米熊貓智能公交車(chē)下線，于常州和長(zhǎng)沙試跑。
2019年，“AI閃耀一帶一路——熊貓智能巴士發(fā)布會(huì)”于1月在上海召開(kāi)，同時(shí)在四個(gè)城市同時(shí)上路測(cè)試。隨后于四月，天津政府批量采購(gòu)熊貓智能公交并上路載客運(yùn)行。同年6月，深蘭科技圍繞清潔衛(wèi)生場(chǎng)景推出“熊貓掃地王”自動(dòng)駕駛環(huán)衛(wèi)車(chē)，在多個(gè)城市的公園、廣場(chǎng)、地鐵站等場(chǎng)景提供服務(wù)。而在2019年8月，深蘭科技正式引入氫能源專(zhuān)家團(tuán)隊(duì)，并針對(duì)城市配送場(chǎng)景推出熊貓物流車(chē)，正式踏入新能源自動(dòng)駕駛領(lǐng)域，為動(dòng)力升級(jí)打下基礎(chǔ)。
2020年，熊貓智能公交車(chē)厚積而薄發(fā)，先于6月通過(guò)深圳自動(dòng)駕駛測(cè)試，商業(yè)運(yùn)行坪山高鐵站線;又在7月上路武漢，服務(wù)武漢市中心CBD線路，成為中國(guó)首個(gè)商業(yè)運(yùn)行線路。
至此，深蘭科技是國(guó)內(nèi)唯一獲得長(zhǎng)沙、上海、武漢、廣州、深圳大型車(chē)自動(dòng)駕駛測(cè)試牌照和武漢商業(yè)營(yíng)運(yùn)牌照的(5+1)企業(yè)。 同時(shí)熊貓公交也是通過(guò)工信部公告進(jìn)入整車(chē)目錄的可批量生產(chǎn)的智能巴士。
在此之上，基于公司在人工智能、自動(dòng)駕駛等綜合領(lǐng)先科技與落地經(jīng)驗(yàn)所構(gòu)建的優(yōu)勢(shì)，深蘭科技將進(jìn)一步推出45噸自動(dòng)駕駛熊貓重卡，并于2021年2月8日在上?？偛看髲B舉行項(xiàng)目簽約儀式。根據(jù)協(xié)議，深蘭科技將在兩年內(nèi)實(shí)現(xiàn)1000臺(tái)以上自動(dòng)駕駛+氫能重卡的交付，與大型港口集團(tuán)、能源集團(tuán)及運(yùn)輸集團(tuán)等大型央企資源客戶(hù)合作，共同在全國(guó)范圍內(nèi)重點(diǎn)港口、物流、礦山等應(yīng)用場(chǎng)景落地?zé)o人駕駛重卡和氫燃料重卡產(chǎn)品。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
