當(dāng)前，中國自動(dòng)駕駛滲透率和商業(yè)化步伐正在加速，感知系統(tǒng)作為實(shí)現(xiàn)高階自動(dòng)駕駛關(guān)鍵技術(shù)之一，吸引行業(yè)廣泛關(guān)注，成為衡量自動(dòng)駕駛企業(yè)技術(shù)競爭力的核心戰(zhàn)場。
作為無人駕駛商業(yè)化領(lǐng)先企業(yè)，仙途智能深耕自動(dòng)駕駛領(lǐng)域，憑借其全棧自研的無人駕駛技術(shù)棧和在乘用車、商用車以及垂直場景的深厚積累與場景拓展，在感知方面形成了完整、成熟的技術(shù)體系，自主研發(fā)了業(yè)內(nèi)領(lǐng)先的兼具多任務(wù)、多模態(tài)、跨時(shí)序等特點(diǎn)的BEV多任務(wù)感知模塊以及支撐BEV快速迭代的數(shù)據(jù)閉環(huán)系統(tǒng)。
垂直場景下仙途智能BEV感知技術(shù)突破
在傳統(tǒng)的無人感知技術(shù)棧中，2D圖像輸入到感知模塊以生成 2D感知結(jié)果，然后利用傳感器融合技術(shù)對來自多個(gè)相機(jī)的2D結(jié)果、激光雷達(dá)的結(jié)果進(jìn)行推理后傳給下游。在這個(gè)過程中需要大量手工制定的規(guī)則，同時(shí)面臨著遮擋、觀測不全、信息損失等問題。為了克服以上問題，BEV技術(shù)將多傳感器特征統(tǒng)一在同一個(gè)3D空間內(nèi)，減少信息損失，以一種更簡潔高效的、端到端的方式直接在3D空間內(nèi)進(jìn)行感知。基于BEV技術(shù)，仙途智能構(gòu)建了一個(gè)面向環(huán)衛(wèi)場景特色和作業(yè)需求的BEV多任務(wù)感知系統(tǒng)，具有以下特點(diǎn)：
圖1：BEV多任務(wù)處理
多任務(wù)處理，應(yīng)對復(fù)雜場景下感知挑戰(zhàn)：為滿足復(fù)雜多變的環(huán)衛(wèi)作業(yè)需求，仙途感知模塊不僅支持傳統(tǒng)交通場景中的常見檢測任務(wù)(如車輛、行人、交通標(biāo)志等)，還針對環(huán)衛(wèi)場景新增低矮障礙物檢測、路沿檢測、垃圾檢測、揚(yáng)塵水霧識別過濾、可碰撞檢測等任務(wù)。同時(shí)，相比于每個(gè)任務(wù)單獨(dú)1個(gè)小模型的方案，BEV多任務(wù)感知模塊使用共享骨干網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)，計(jì)算負(fù)擔(dān)降低30%以上，確保了自動(dòng)駕駛車輛的實(shí)時(shí)環(huán)境感知能力。
多模態(tài)融合，提供精準(zhǔn)、實(shí)時(shí)的感知支持：BEV感知推理以環(huán)視圖像、多激光雷達(dá)點(diǎn)云作為輸入，具備跨多模態(tài)、跨多傳感器的信息聚合能力，能夠補(bǔ)齊單模態(tài)感知的短板。仙途智能BEV感知精度相較于純視覺算法提升32.6%以上，單激光點(diǎn)云感知算法提升18.9%以上。同時(shí)具備可拓展性，能進(jìn)一步接入更多傳感器數(shù)據(jù)。
跨時(shí)序感知，實(shí)現(xiàn)精準(zhǔn)目標(biāo)速度預(yù)測：BEV感知具備多幀點(diǎn)云輸入和多幀特征聚合的跨時(shí)序感知能力，能夠在長時(shí)間范圍內(nèi)補(bǔ)全當(dāng)前幀中的信息缺失，提升感知精度，并具備更精確的目標(biāo)運(yùn)動(dòng)速度預(yù)測能力。
可以通過以下場景實(shí)例，深入了解仙途智能的BEV多任務(wù)感知技術(shù)是如何高效解決復(fù)雜交通場景中的挑戰(zhàn)以及處理長尾問題。
場景實(shí)例：BEV多任務(wù)感知模塊在復(fù)雜場景下的應(yīng)用實(shí)踐
場景1：提升低矮障礙物檢測精度，確保自動(dòng)駕駛車輛高效作業(yè)
低矮障礙物是無人環(huán)衛(wèi)極具挑戰(zhàn)的場景之一：1.相比常見的車輛、行人等交通參與者，低矮障礙物呈現(xiàn)出種類繁多、數(shù)量稀少的長尾分布特點(diǎn)，如水管、石塊、倒地的鐵鏟、坑洞、保溫杯等;2.由于部分低矮障礙物形狀大小各異，激光雷達(dá)往往無法穩(wěn)定掃描到;3.對于無人駕駛車輛而言，必須精準(zhǔn)判斷哪些障礙物需要繞行以避免碰撞，哪些又可以安全地進(jìn)行清掃作業(yè);4.即便是相同類型的障礙物，其大小、狀態(tài)及內(nèi)容物的不同也會(huì)顯著影響決策結(jié)果，例如，細(xì)小的枝條可以直接清掃而不必繞行;然而，粗壯的大枝條則可能因堵塞清掃設(shè)備的吸口而需要車輛采取繞行策略。
針對上述挑戰(zhàn)，仙途智能設(shè)計(jì)了一套以視覺為主、激光為輔的、結(jié)合2D+3D的多傳感器檢測方案，同時(shí)通過引入對障礙物的屬性預(yù)測+occupancy預(yù)測，并結(jié)合垃圾檢測技術(shù)，能夠準(zhǔn)確預(yù)估障礙物的尺寸、高度等關(guān)鍵參數(shù)，從而有效輔助決策系統(tǒng)判斷是否需要繞行或進(jìn)行清潔作業(yè)。
圖2：玫紅色色塊為低矮障礙物識別結(jié)果：黑色細(xì)水管
圖3：玫紅色色塊為低矮障礙物識別結(jié)果：黑色垃圾袋
圖4：玫紅色色塊為低矮障礙物識別結(jié)果：
黑色垃圾堆與展開的塑料布袋
圖5：玫紅色色塊為低矮障礙物識別結(jié)果：
不可以清掃的白色垃圾堆
上述4張圖片分別顯示了自動(dòng)駕駛車輛在遇到低矮障礙物的情形，從圖2到圖5，其作業(yè)場景地面上分別有黑色細(xì)水管、黑色袋子、黑色垃圾堆與展開的塑料布、不可清掃的白色垃圾堆。
可以看到，當(dāng)自動(dòng)駕駛車輛行駛在上述四個(gè)場景中，仙途智能BEV感知模塊輸出的occ占據(jù)柵格有不同的顏色色塊，低矮障礙物識別的位置精度和朝向都非常準(zhǔn)確，為自動(dòng)駕駛車輛在復(fù)雜的路面環(huán)境下安全作業(yè)、順暢地行駛提供了強(qiáng)有力的保障。
場景2：復(fù)雜路況的3D目標(biāo)檢測，提供更全面的環(huán)境感知
在復(fù)雜道路狀況下，感知系統(tǒng)面臨挑戰(zhàn)諸多：交通擁堵中人車混行，目標(biāo)密集與遮擋、不規(guī)則路面的感知與適應(yīng)、動(dòng)態(tài)變化的環(huán)境與突發(fā)情況等。
圖6：仙途智能BEV感知在繁忙路口的3D檢測綜合能力對狹窄道路上眾多擦肩而過的交通參與者穩(wěn)定檢出及動(dòng)態(tài)預(yù)測
如圖6，在繁忙的交通路口中，車輛來自各個(gè)方向，包括同向行駛的車輛、反向行駛的車輛、準(zhǔn)備轉(zhuǎn)彎的車輛，以及大量占用車道或人行橫道的行人、自行車等，仙途智能BEV感知系統(tǒng)在這樣環(huán)境下檢測出車輛周圍的障礙物、行人、自行車的位置、速度、方向和尺寸等信息，為自動(dòng)駕駛車輛在行駛作業(yè)中提供了周圍環(huán)境全方位、360度精準(zhǔn)感知。
場景3：BEV路沿檢測，位置與形狀的高精度識別與追蹤
在環(huán)衛(wèi)作業(yè)場景中，無人駕駛車輛需要實(shí)現(xiàn)貼邊清掃，這就要求車輛能夠準(zhǔn)確識別并追蹤路沿的精確位置和形狀，以確保清掃作業(yè)的準(zhǔn)確性和安全性。但現(xiàn)實(shí)道路環(huán)境復(fù)雜多變，路沿的不同形態(tài)(直線、曲線、折線)，以及路沿上覆蓋的不同物體(植被、低矮)，都對路沿識別的準(zhǔn)確度和魯棒性形成了挑戰(zhàn)。
為此，仙途智能在BEV網(wǎng)絡(luò)中引入BEV路沿檢測任務(wù)，將路沿劃分成不同網(wǎng)格，利用深度學(xué)習(xí)網(wǎng)絡(luò)提取圖像與激光雷達(dá)對應(yīng)的特征，擬合出各個(gè)網(wǎng)絡(luò)內(nèi)部的路沿，再結(jié)合幾何特征與地圖先驗(yàn)進(jìn)行拼接，以實(shí)現(xiàn)對不同形狀路沿準(zhǔn)確識別;同時(shí)，路沿檢測任務(wù)引入時(shí)序信息，結(jié)合多幀結(jié)果進(jìn)行濾波，進(jìn)一步提升了結(jié)果的穩(wěn)定性。
圖7：BEV路沿檢測，精確檢測路沿彎度與位置(紅色曲線為路沿檢測結(jié)果)
如圖7顯示，仙途智能BEV感知系統(tǒng)精確顯示了彎道中路沿的彎曲程度，使車輛根據(jù)路沿信息選擇合適的速度，確保高貼邊率。
場景4：3D語義分割，有效識別環(huán)境中的水霧、灰塵
由于環(huán)衛(wèi)場景的特性，無人駕駛車在灑水作業(yè)或行駛時(shí)揚(yáng)起的水霧和灰塵，經(jīng)激光雷達(dá)檢測容易形成障礙物，影響正常通行。為此，仙途智能BEV感知系統(tǒng)通過結(jié)合圖像、激光雷達(dá)預(yù)測每個(gè)激光點(diǎn)的語義信息，實(shí)現(xiàn)對自車揚(yáng)塵、水霧和他車濺水的識別和過濾。
圖8：水霧處理前
圖9：水霧處理后
如圖8無人駕駛車輛灑水作業(yè)場景中，車輛周圍被密集的水霧所籠罩，單從點(diǎn)云模態(tài)來看會(huì)誤檢成障礙物。BEV感知系統(tǒng)通過多模態(tài)的點(diǎn)云語義分割技術(shù)，精確識別并剔除這些由水霧產(chǎn)生的噪點(diǎn)有效降低了惡劣天氣和灑水作業(yè)對自動(dòng)駕駛車輛感知精度的影響(圖9)。
仙途智能構(gòu)建高效數(shù)據(jù)閉環(huán)，加速研發(fā)迭代，實(shí)現(xiàn)降本增效
圖10：數(shù)據(jù)閉環(huán)方案
數(shù)據(jù)閉環(huán)已經(jīng)成為自動(dòng)駕駛解決長尾問題的核心策略與關(guān)鍵路徑，如何對數(shù)據(jù)進(jìn)行大規(guī)模高效處理并快速優(yōu)化算法模型，成為自動(dòng)駕駛技術(shù)迭代的關(guān)鍵。仙途智能的無人駕駛車輛已在全球累計(jì)行駛超過1300萬公里，基于這些海量數(shù)據(jù)，通過構(gòu)建高效的數(shù)據(jù)挖掘-標(biāo)注-仿真-模型迭代的數(shù)據(jù)閉環(huán)(圖10)，實(shí)現(xiàn)自動(dòng)駕駛技術(shù)的快速迭代和降本增效。
數(shù)據(jù)挖掘，豐富長尾數(shù)據(jù)庫
圖11：特定場景數(shù)據(jù)挖掘
如圖11展示了仙途智能通過大模型進(jìn)行長尾場景數(shù)據(jù)挖掘的示例。仙途智能構(gòu)建了基于文字到圖像的多模態(tài)模型，當(dāng)需要獲取特定類型的場景數(shù)據(jù)，只需通過自然語言文字描述，比如“非站立行人”，即可從海量歷史數(shù)據(jù)中自動(dòng)挖掘符合條件的場景數(shù)據(jù)，提高了挖掘長尾場景的效率，基于挖掘出的場景數(shù)據(jù)則會(huì)進(jìn)入自動(dòng)/半自動(dòng)標(biāo)注處理，用于模型訓(xùn)練。
數(shù)據(jù)自動(dòng)標(biāo)注，實(shí)現(xiàn)成本節(jié)約與效率提升
圖12：3DBox自動(dòng)標(biāo)注：藍(lán)色黃色box為自自動(dòng)標(biāo)注的車、人，其中箭頭標(biāo)注了其朝向
針對海量未標(biāo)注的數(shù)據(jù)，仙途智能一方面通過半監(jiān)督、數(shù)據(jù)增強(qiáng)等方式提高未標(biāo)注數(shù)據(jù)的利用率(相關(guān)工作發(fā)表于CVPR2022、ECCV2022和ICRA2024);另一方面研發(fā)基于BEV多模態(tài)的自動(dòng)標(biāo)注系統(tǒng)，成倍提升了標(biāo)注效率，大大縮短了模型迭代周期，顯著降低標(biāo)注成本。
2D數(shù)據(jù)仿真+3D數(shù)據(jù)仿真，提升BEV感知模型泛化能力
在數(shù)據(jù)仿真層面，仙途智能通過2D和3D數(shù)據(jù)仿真相結(jié)合，模擬出高保真的長尾場景，豐富了自動(dòng)駕駛算法的訓(xùn)練數(shù)據(jù)，為自動(dòng)駕駛感知算法模型提供更全面的訓(xùn)練和測試環(huán)境。
圖13:2D數(shù)據(jù)仿真實(shí)例
如圖13展示了2D數(shù)據(jù)仿真的實(shí)例。針對在實(shí)際運(yùn)營中遇到的長尾場景(如圖13左)，仙途智能通過大模型或者人工對該類場景進(jìn)行部分語義標(biāo)注(如圖13中)，再由Diffusion Model生成高保真的圖像，其中水管、桶、交通錐等經(jīng)過標(biāo)注的障礙物與原圖具有較高的語義一致性，背景等未經(jīng)過標(biāo)注的障礙物也接近真實(shí)場景(如圖13右)。通過這種多場景的生成與訓(xùn)練，仙途智能的自動(dòng)駕駛車輛能夠更好地適應(yīng)各種復(fù)雜和不可預(yù)測的道路環(huán)境，從而提高整體的安全性和可靠性。
在3D數(shù)據(jù)仿真技術(shù)的應(yīng)用實(shí)踐中，仙途智能通過3D Gaussian Splatting技術(shù)對長尾場景進(jìn)行重建，從而生成Corner Case高保真的新視角視圖，顯著豐富了長尾場景庫，更好支持感知模型的訓(xùn)練和新場景測試。
圖14：車輛正常經(jīng)過的場景
圖15：場景建模后，生成的新視角數(shù)據(jù)
如圖14呈現(xiàn)了車輛在正常行駛途中記錄的場景，圖中左側(cè)懸空的細(xì)長警戒線屬于駕駛過程中較為罕見的元素，對自動(dòng)駕駛感知系統(tǒng)構(gòu)成了極大挑戰(zhàn)。仙途智能采用3D仿真技術(shù)生成了包含警戒線等這些障礙物在內(nèi)的高保真的全新視角視圖(見圖15)，尤其是懸空警戒線出現(xiàn)在前進(jìn)道路這一關(guān)鍵視角，從而支持了“前進(jìn)道路上出現(xiàn)懸空警戒線”這一新場景的測試，有效提升自動(dòng)駕駛系統(tǒng)面對復(fù)雜環(huán)境時(shí)的泛化能力與魯棒性。
以上，系統(tǒng)展示了仙途智能在自動(dòng)感知系統(tǒng)領(lǐng)域所取得的技術(shù)革新與應(yīng)用實(shí)例。未來，仙途智能將繼續(xù)堅(jiān)持“軟硬結(jié)合”的技術(shù)路徑，積極探索感知技術(shù)應(yīng)用場景，分享最新研究成果，聚焦自動(dòng)駕駛商業(yè)化落地，推動(dòng)自動(dòng)駕駛技術(shù)革新。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
