近日，在全球權(quán)威的自動(dòng)駕駛nuScenes競賽的最新一期評測中，浪潮信息AI團(tuán)隊(duì)斬獲純視覺3D目標(biāo)檢測任務(wù)(nuScenes Detection task)第一名，并將關(guān)鍵性指標(biāo)nuScenes Detection Score(NDS)提高到62.4%
自動(dòng)駕駛已被眾多車企與AI 領(lǐng)先公司視為未來出行方式變革最重要的支撐性技術(shù)，而目標(biāo)檢測作為自動(dòng)駕駛技術(shù)的核心模塊，其算法的精度和穩(wěn)定性正在眾多AI研究團(tuán)隊(duì)的推動(dòng)下，不斷創(chuàng)下新高。nuScenes數(shù)據(jù)集是目前自動(dòng)駕駛領(lǐng)域中最流行的公開數(shù)據(jù)集之一，數(shù)據(jù)采集自波士頓和新加坡的實(shí)際自動(dòng)駕駛場景，是第一個(gè)集成攝像頭、激光雷達(dá)和毫米波雷達(dá)等多種傳感器，實(shí)現(xiàn)360度全傳感器覆蓋的數(shù)據(jù)集。nuScenes數(shù)據(jù)集提供了二維、三維物體標(biāo)注、點(diǎn)云分割、高精地圖等豐富的標(biāo)注信息，包含1000個(gè)場景，擁有140萬幀圖像、39萬幀激光雷達(dá)點(diǎn)云數(shù)據(jù)、23個(gè)物體類別、140萬個(gè)三維標(biāo)注框，其數(shù)據(jù)標(biāo)注量比KITTI數(shù)據(jù)集高出7倍以上。
此次浪潮信息AI團(tuán)隊(duì)參與的純視覺3D目標(biāo)檢測任務(wù)是競爭最激烈的賽道，吸引了百度、鑒智機(jī)器人、縱目科技、卡內(nèi)基梅隆大學(xué)、加利福尼亞大學(xué)伯克利分校、MIT、清華大學(xué)、香港科技大學(xué)、上海交通大學(xué)等全球各地的頂尖AI團(tuán)隊(duì)。
純視覺3D目標(biāo)檢測任務(wù)，就是在不使用激光雷達(dá)、毫米波雷達(dá)等額外的傳感器信息條件下，僅使用6個(gè)攝像頭完成車外360度環(huán)視視野的3D目標(biāo)檢測，不僅需要檢測周圍環(huán)境中所有的車、行人、障礙物、交通標(biāo)志、指示燈等若干類對象，還要精確感知到他們在真實(shí)物理世界中的位置、大小、方向、速度等信息。該項(xiàng)任務(wù)的主要難點(diǎn)是通過2D圖像難以準(zhǔn)確的獲取目標(biāo)的真實(shí)深度和速度，當(dāng)提取的深度信息不準(zhǔn)確時(shí)，一切的三維感知任務(wù)都會(huì)變得異常困難;而當(dāng)提取的速度信息不準(zhǔn)確時(shí)，則可能會(huì)對后續(xù)的決策規(guī)劃任務(wù)產(chǎn)生致命性的影響。
浪潮信息AI團(tuán)隊(duì)創(chuàng)新開發(fā)了基于多相機(jī)的時(shí)空融合模型架構(gòu)(Inspur_DABNet4D)，在多視角視覺輸入統(tǒng)一轉(zhuǎn)換到BEV(Bird Eye View)特征空間這一技術(shù)框架的基礎(chǔ)上，引入了數(shù)據(jù)樣本增強(qiáng)、深度增強(qiáng)網(wǎng)絡(luò)、時(shí)空融合網(wǎng)絡(luò)、預(yù)訓(xùn)練權(quán)重等，得到了更魯棒更精確的BEV特征，大幅地優(yōu)化了目標(biāo)物體監(jiān)測速度和位移方向預(yù)測。
基于多相機(jī)的時(shí)空融合模型架構(gòu)實(shí)現(xiàn)了四大核心技術(shù)突破。一是，更豐富的數(shù)據(jù)樣本增強(qiáng)算法，將真值以真實(shí)的3D物理坐標(biāo)實(shí)現(xiàn)拷貝貼圖，并實(shí)現(xiàn)了時(shí)序中的擴(kuò)展，顯著的提高目標(biāo)檢測精度，可將mAP(全類平均正確率，mean Average Precision)平均提升2%+;二是，更強(qiáng)大的深度增強(qiáng)網(wǎng)絡(luò)，主要針對現(xiàn)有方案深度信息難以學(xué)習(xí)和建模的問題，通過深度網(wǎng)絡(luò)架構(gòu)優(yōu)化、點(diǎn)云數(shù)據(jù)監(jiān)督指導(dǎo)訓(xùn)練、深度補(bǔ)全等技術(shù)，大幅提高深度預(yù)測精度;三是，更精細(xì)的時(shí)空融合網(wǎng)絡(luò)，除了進(jìn)一步優(yōu)化駕駛場景中自車運(yùn)動(dòng)所帶來的時(shí)空信息錯(cuò)位融合問題，還引入了sweep幀數(shù)據(jù)隨機(jī)抽取與當(dāng)前幀融合，并實(shí)現(xiàn)不同幀的數(shù)據(jù)樣本同步增強(qiáng)操作，使得模型能夠端到端學(xué)習(xí)到更精細(xì)的時(shí)序特征;四是，更完善的統(tǒng)一建模形式，即針對駕駛場景的視角廣、尺度大、任務(wù)多的特點(diǎn)，設(shè)計(jì)了端到端的特征提取、融合、檢測頭的統(tǒng)一建模架構(gòu)，結(jié)構(gòu)簡單、訓(xùn)練高效、場景通用。預(yù)訓(xùn)練模型可隨時(shí)替換自監(jiān)督模型，快捷便利地完成測試和精度提升。
得益于更先進(jìn)算法和更高算力的進(jìn)步，nuScenes競賽的3D目標(biāo)檢測任務(wù)榜單成績在2022年取得大幅提升，其中浪潮信息AI團(tuán)隊(duì)將關(guān)鍵性指標(biāo)NDS提升到62.4%，而相比而言年初的榜單最佳成績是47%。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
