HAOMO AI DAY顧維灝演講打開端到端自動駕駛、世界知識魔盒

2023年10月11日，北京金秋時節(jié)，第九屆HAOMO AI DAY如期而至。本屆HAOMO AI DAY以 "BETTER AI，BETTER HAOMO"為主題。毫末重磅發(fā)布三款“極致性價比”千元級無圖NOH，全面滿足高中低價位智駕車型量產需求；毫末發(fā)布的行業(yè)首個自動駕駛生成式大模型DriveGPT雪湖·海若公布最新成果：共計篩選出超過100億幀互聯(lián)網(wǎng)圖片數(shù)據(jù)集和480萬段包含人駕行為的自動駕駛4D Clips數(shù)據(jù)；進一步升級引入多模態(tài)大模型，獲得識別萬物的能力；與NeRF技術進一步整合，渲染重建4D空間；借助LLM（大語言模型），讓自動駕駛認知決策具備了世界知識。產品層面，搭載毫末城市NOH功能的魏牌藍山將在2024年第一季度正式量產上市；小魔駝即將在2023年第四季度在商超履約配送場景實現(xiàn)盈利。

（毫末董事長張凱重磅發(fā)布三款“極致性價比”千元級HPilot產品）

成立近四年時間，毫末始終引領中國自動駕駛技術風向標，HAOMO AI DAY更成為中國自動駕駛技術的一面旗幟。毫末率先在行業(yè)布局大模型、大數(shù)據(jù)、大算力技術發(fā)展方向，沖刺自動駕駛3.0時代。

（毫末CEO顧維灝公布DriveGPT發(fā)布200天重要成果）

毫末董事長張凱表示：“毫末一直在全力以赴投入到AI自動駕駛的技術浪潮中，毫末堅持的漸進式路線與對技術投入的長期主義，讓毫末模式成為中國自動駕駛發(fā)展的新范式。”

（從左至右：毫末智行COO侯軍、董事長張凱、CEO顧維灝、CIO甄龍豹）

重磅發(fā)布三款千元級HPilot產品，以“極致性價比”搶占智駕市場

“2023年我國高階智能輔助駕駛市場迎來大爆發(fā)?！被顒蝇F(xiàn)場，張凱以《BETTER AI，BETTER HAOMO》為主題，分享了對2023年智駕市場競爭局勢的判斷，以及毫末四大戰(zhàn)役的最新進展。

（張凱介紹2023年中國高階智能輔助駕駛市場迎來大爆發(fā)）

張凱介紹，目前乘用車銷量和智能化指數(shù)都在穩(wěn)步提升，同時智能駕駛滲透率與價格卻呈反向增長，乘用車市場L2及以上智能駕駛滲透率達42.4%，2025年將達70%，并普及到10-20萬的主銷車型上；城市NOA迎來量產上車潮，目前占L2及以上輔助駕駛份額的17%，2025年將達70%；行泊分體的硬件設計、一體機逐步退出市場，更具性價比的行泊一體的域控方案將成為主流。

為了迎戰(zhàn)智駕市場的變化，現(xiàn)場，毫末重磅發(fā)布了HP170、HP370、HP570三款“極致性價比”智能輔助駕駛產品，預計將在2023年和2024年先后上車。

（重磅發(fā)布三款千元級HPilot產品）

張凱表示：“毫末全新發(fā)布的第二代HPilot乘用車輔助駕駛三款產品，價格打下來的同時性能都打了上去，讓中階智駕便宜更好用，讓高階智駕好用更便宜?！边@也是2023年，毫末給中國如此“卷”的智駕市場交出的答卷。

毫末HP170是3000元級“極致性價比”的高速無圖NOH，可以實現(xiàn)行泊一體智駕。硬件配置上，算力5TOPS，傳感器方案標配1個前視相機、4個魚眼相機、2個后角雷達、12個超聲波雷達，靈活選裝1個前視雷達和2個前角雷達。場景上，可實現(xiàn)高速、城市快速路上的無圖NOH，短距離記憶泊車等功能，并獲E-NCAP 5星AEB的高安全標準認證。

（毫末HP170）

毫末HP370是5000元級“極致性價比”的城市記憶行車與記憶泊車，可以實現(xiàn)行泊一體智駕。硬件配置上，算力32TOPS，傳感器方案標配2個前視相機、2個側視相機、1個后視相機、4個魚眼相機、1個前雷達、2個后角雷達、12個超聲波雷達，靈活選裝2個前角雷達。場景上，可實現(xiàn)高速、城快，以及城市內的記憶行車，免教學記憶泊車、智能繞障等功能。張凱表示：“毫末的記憶行車可看作毫末城市NOH的最小集，是城市NOH的強有力補充?！?/p>

（毫末HP370）

毫末HP570是8000元級“極致性價比”的城市全場景無圖NOH產品，未來將在100+城落地。硬件配置上，算力可選72TOPS和100TOPS兩款芯片，傳感器方案標配2個前視相機、4個側視相機、1個后視相機、4個魚眼相機、1個前雷達、12個超聲波雷達，還支持選配1顆激光雷達。場景上，可實現(xiàn)城市無圖NOH、全場景輔助泊車、全場景智能繞障、跨層免教學記憶泊車等功能。張凱強調：“HP570平臺的歷史使命是打造行業(yè)內最具性價比的高階城市智駕產品?！?/p>

（毫末HP570）

發(fā)布新產品的同時，張凱介紹了毫末2023年四大戰(zhàn)役的最新成果。首先是“智能駕駛裝機量王者之戰(zhàn)”，在中國的自動駕駛公司中，毫末穩(wěn)居中國量產自動駕駛第一名，輔助駕駛產品HPilot整體已搭載至超過20款車型，用戶輔助駕駛行駛里程突破8700萬公里。其中，最新搭載毫末HPilot的車型為山海炮HEV版、新摩卡Hi-4S等。

（毫末HPilot整體已搭載超過20款車型）

其次是“MANA大模型巔峰之戰(zhàn)”，DriveGPT發(fā)布200天左右的時間里，累積480萬段Clips高質量測試。目前已有生態(tài)伙伴17家，助力生態(tài)伙伴提效90%。2023年DriveGPT成功入選“北京市通用人工智能產業(yè)創(chuàng)新伙伴計劃”成為首批模型伙伴觀察員及入選北京市首批人工智能10個行業(yè)大模型應用案例。此外，DriveGPT還助力毫末榮獲2023中國AI基礎大模型創(chuàng)新企業(yè)的稱號。

（DriveGPT發(fā)布200天的蝶變生長）

第三是“城市NOH百城大戰(zhàn)”， 具備城市NOH導航輔助駕駛功能的毫末HP550（原HPilot3.0），將搭載魏牌藍山在2024年第一季度正式量產上市。現(xiàn)場，張凱和顧維灝首次公開測試搭載HP550的城市NOH的魏牌藍山視頻曝光，在保定鬧市區(qū)全程12公里的行駛中，歷時35分鐘，手動接管3次。其中包含21個紅綠燈，7個路口轉向……重感知路線的毫末城市NOH展現(xiàn)出出色性能，尤其是面對擁堵道路、紅綠燈交替以及非機混行等復雜場景，處理得非常自然，產品力行業(yè)領先。

（HP550將搭載魏牌藍山在2024年第一季度正式量產上市）

最后是“末端物流自動配送商業(yè)之戰(zhàn)”，末端物流自動配送車小魔駝3.0，售價89999元，是全球首款9萬元內中型末端物流自動配送車，可以滿足在物流、商超、零售等9大場景的需求，小魔駝3.0產品推出在中國無人車規(guī)?；逃玫男袠I(yè)進程中具有里程碑式的意義。目前，小魔駝已配送超過22萬單。小魔駝即將在2023年第四季度在商超履約配送場景實現(xiàn)盈利。從商業(yè)意義上，毫末具備了成為全球范圍內首家擁有規(guī)?；?L4業(yè)務公司的能力。

（毫末小魔駝3.0亮相）

演講中張凱還介紹毫末總部已落戶北京市順義區(qū)，毫末將充分發(fā)揮在自動駕駛領域的技術和產業(yè)優(yōu)勢，助力順義打造中國新能源智能汽車產業(yè)高地。

DriveGPT雪湖·海若200天蝶變：通用感知實現(xiàn)“萬物識別”、通用認知具備世界知識

歷屆HAOMO AI DAY的核心主題都是聚焦最硬核的自動駕駛AI技術。此次，顧維灝帶來了主題為《自動駕駛3.0時代：大模型將重塑汽車智能化的技術路線》的演講，分享了毫末對于自動駕駛3.0時代AI開發(fā)模式的思考以及毫末DriveGPT大模型的最新進展和實踐。

顧維灝認為，自動駕駛3.0時代與2.0時代相比，其開發(fā)模式和技術框架都將發(fā)生顛覆性的變革。在自動駕駛2.0時代，以小數(shù)據(jù)、小模型為特征，以Case任務驅動為開發(fā)模式。而自動駕駛3.0時代，以大數(shù)據(jù)、大模型為特征，以數(shù)據(jù)驅動為開發(fā)模式。

（毫末提出的自動駕駛3.0時代的技術架構演進趨勢）

相比2.0時代主要采用傳統(tǒng)模塊化框架，3.0時代的技術框架會發(fā)生顛覆性變化。首先，自動駕駛會在云端實現(xiàn)感知大模型和認知大模型的能力突破，并將車端各類小模型逐步統(tǒng)一為感知模型和認知模型，同時將控制模塊也AI模型化。隨后，車端智駕系統(tǒng)的演進路線也是一方面會逐步全鏈路模型化，另一方面是逐步大模型化，即小模型逐漸統(tǒng)一到大模型內。然后，云端大模型也可以通過剪枝、蒸餾等方式逐步提升車端的感知能力，甚至在通訊環(huán)境比較好的地方，大模型甚至可以通過車云協(xié)同的方式實現(xiàn)遠程控車。最后，在未來車端、云端都是端到端的自動駕駛大模型。

顧維灝還詳細介紹了毫末DriveGPT大模型在推出200天后的整體進展。首先是DriveGPT訓練數(shù)據(jù)規(guī)模提升。截止2023年10月DriveGPT雪湖·海若共計篩選出超過100億幀互聯(lián)網(wǎng)圖片數(shù)據(jù)集和480萬段包含人駕行為的自動駕駛4D Clips數(shù)據(jù)。其次是通用感知能力提升，DriveGPT通過引入多模態(tài)大模型，實現(xiàn)文、圖、視頻多模態(tài)信息的整合，獲得識別萬物的能力；同時，通過與NeRF技術整合，DriveGPT實現(xiàn)更強的4D空間重建能力，獲得對三維空間和時序的全面建模能力；最后是通用認知能力提升，借助大語言模型，DriveGPT將世界知識引入到駕駛策略中。

顧維灝認為，未來的自動駕駛系統(tǒng)一定是跟人類駕駛員一樣，不但具備對三維空間的精確感知測量能力，而且能夠像人類一樣理解萬物之間的聯(lián)系、事件發(fā)生的邏輯和背后的常識，并且能基于這些人類社會的經(jīng)驗來做出更好的駕駛策略，真正實現(xiàn)完全無人駕駛。

毫末DriveGPT是如何具備識別萬物的通用感知能力，以及擁有世界知識的通用認知能力？顧維灝也給出了詳盡解釋。

（毫末DriveGPT升級：大模型讓自動駕駛擁有世界知識）

在感知階段，DriveGPT首先通過構建視覺感知大模型來實現(xiàn)對真實物理世界的學習，將真實世界建模到三維空間，再加上時序形成4D向量空間；然后，在構建對真實物理世界的4D感知基礎上，毫末進一步引入開源的圖文多模態(tài)大模型，構建更為通用的語義感知大模型，實現(xiàn)文、圖、視頻多模態(tài)信息的整合，從而完成4D向量空間到語義空間的對齊，實現(xiàn)跟人類一樣的“識別萬物”的能力。

（毫末DriveGPT通用感知大模型：讓自動駕駛認識萬物）

毫末通用感知能力的進化升級包含兩個方面。首先是視覺大模型的CV Backbone的持續(xù)進化，當前基于大規(guī)模數(shù)據(jù)的自監(jiān)督學習訓練范式，采用Transformer大模型架構，實現(xiàn)視頻生成的方式來進行訓練，構建包含三維的幾何結構、圖片紋理、時序信息等信息的4D表征空間，實現(xiàn)對全面的物理世界的感知和預測。其次是構建起更基礎的通用語義感知大模型，在視覺大模型基礎上引入圖文多模態(tài)模型來提升感知效果，圖文多模態(tài)模型可以對齊自然語言信息和圖片的視覺信息，在自動駕駛場景中就可以對齊視覺和語言的特征空間，從而具備識別萬物的能力，也由此可以更好完成目標檢測、目標跟蹤、深度預測等各類任務。

在認知階段，基于通用語義感知大模型提供的“萬物識別”能力，DriveGPT通過構建駕駛語言（Drive Language）來描述駕駛環(huán)境和駕駛意圖，再結合導航引導信息以及自車歷史動作，并借助外部大語言模型LLM的海量知識來輔助給出駕駛決策。

（毫末DriveGPT認知大模型：讓自動駕駛具備常識）

由于大語言模型已經(jīng)學習到并壓縮了人類社會的全部知識，因而也就包含了駕駛相關的知識。經(jīng)過毫末對大語言模型的專門訓練和微調，從而讓大語言模型更好地適配自動駕駛任務，使得大語言模型能真正看懂駕駛環(huán)境、解釋駕駛行為，做出駕駛決策。認知大模型通過與大語言模型結合，使得自動駕駛認知決策獲得了人類社會的常識和推理能力，也就是獲得了世界知識，從而提升自動駕駛策略的可解釋性和泛化性。

（毫末DriveGPT應用的七大實踐）

在分享了最新DriveGPT大模型技術框架后，顧維灝隨后也給出了毫末基于DriveGPT大模型開發(fā)模式的七大應用實踐，包括駕駛場景理解、駕駛場景標注、駕駛場景生成、駕駛場景遷移、駕駛行為解釋、駕駛環(huán)境預測和車端模型開發(fā)。

其中，在駕駛行為解釋方面，毫末DriveGPT在原有結合場景庫及人工標注方式來對駕駛行為進行解釋的基礎上，升級為引入大語言模型來解釋駕駛環(huán)境，讓AI自己解釋自己的駕駛決策。接下來，毫末會持續(xù)通過構建自動駕駛描述數(shù)據(jù)，來對大語言模型進行微調，讓大語言模型能夠像駕校教練或者陪練一樣，對駕駛行為做出更詳細的解釋。

（駕駛行為解釋：透視AI的思考過程）

駕駛環(huán)境預測方面，毫末DriveGPT原來基于海量人駕數(shù)據(jù)預訓練和接管數(shù)據(jù)的反饋強化學習來完成未來BEV場景的預測生成，現(xiàn)在則在此基礎上，進一步通過引入大語言模型，在使用駕駛行為數(shù)據(jù)的同時，讓大語言模型對當前的駕駛環(huán)境給出解釋和駕駛建議，然后再將駕駛解釋和駕駛建議作為prompt輸入到生成式大模型，來讓自動駕駛大模型獲得外部大語言模型內的人類知識，從而具備常識，才能理解人類社會的各種明規(guī)則、潛規(guī)則，才能跟老司機一樣，預測未來最有可能出現(xiàn)的駕駛場景，從而與各類障礙物進行更好地交互。

（駕駛環(huán)境預測：生成未來世界）

車端模型開發(fā)模式變革方面，毫末正在嘗試用蒸餾的方法，也就是用大模型輸出的偽標簽作為監(jiān)督信號，讓車端小模型來學習云端大模型的預測結果，或者通過對齊Feature Map的方式，讓車端小模型直接學習并對齊云端的Feature Map，從而提升車端小模型的能力。基于蒸餾的方式，可以讓車端的感知效果提升五個百分點。

（車端模型開發(fā)新模式：把大模型蒸餾成小模型）

此外，毫末DriveGPT的駕駛場景理解可以對海量駕駛場景數(shù)據(jù)進行秒級特征搜索，從而實現(xiàn)更高效的數(shù)據(jù)篩選，為大模型挖掘海量高質量訓練數(shù)據(jù)；駕駛場景標注是采用了開集（Open-set）場景下的Zero-Shot自動標注，可實現(xiàn)對任意物體既快速又精準的標注，不僅可實現(xiàn)針對新品類的Zero-Shot快速標注，而且精度還非常高，預標注準召達到80%以上；駕駛場景生成，可以基于駕駛場景的文生圖模型，通過文字描述批量生成平時難以獲取的Hardcase數(shù)據(jù)，實現(xiàn)無中生有的可控生成；對于駕駛場景遷移，基于AIGC生成能力，可實現(xiàn)多目標場景生成，能將采集到的一個場景，遷移到該場景的不同時間、不同天氣、不同光照等各類新場景下，可同時獲取全天候駕駛數(shù)據(jù)，實現(xiàn)瞬息萬變的高效場景遷移。

現(xiàn)場，顧維灝還給出了DriveGPT賦能車端的三大測試成果：

第一個是毫末純視覺自動泊車測試成果。毫末利用視覺感知模型，使用魚眼相機可以識別墻、柱子、車輛等各類型的邊界輪廓，形成360度的全視野動態(tài)感知，可以做到在15米范圍內達到30cm的測量精度，2米內精度可以高于10cm。這樣的精度可實現(xiàn)用視覺取代USS超聲波雷達，從而進一步降低整體智駕方案成本。

（毫末純視覺泊車）

第二個是毫末對交通場景全要素識別測試成果。DriveGPT基于通用感知的萬物識別的能力，從原有感知模型只能識別少數(shù)幾類障礙物和車道線，到現(xiàn)在可以識別各類交通標志、地面箭頭、甚至井蓋等交通場景的全要素數(shù)據(jù)。大量高質量的道路場景全要素標注數(shù)據(jù)，可以有效幫助毫末重感知的車端感知模型實現(xiàn)效果的提升，助力城市NOH的加速進城。

（城市NOH全要素覆蓋）

第三個是毫末城市NOH對小目標障礙物檢測的測試成果。毫末在當前城市NOH的測試中，可以在城市道路場景中，在時速最高70公里的50米距離外，就能檢測到大概高度為35cm的小目標障礙物，可以做到100%的成功繞障或剎停，這樣可以對道路上穿行的小動物等移動障礙物起到很好地檢測保護作用。

（毫末城市NOH小目標障礙物檢測）

顧維灝也提到，毫末DriveGPT大模型的應用，在自動駕駛系統(tǒng)開發(fā)過程中帶來了巨大技術提升，使得毫末的自動駕駛系統(tǒng)開發(fā)徹底進入了全新模式，新開發(fā)模式和技術架構將大大加速汽車智能化的進化進程。

全球頂尖產學研重磅嘉賓助陣，毫末生態(tài)伙伴已達近百家

本屆HAOMO AI DAY再度齊聚自動駕駛領域超豪華嘉賓陣容。中國工程院院士、清華大學教授、清華智能產業(yè)研究院（AIR）院長張亞勤；清華大學車輛與運載學院副院長、長聘教授、博士生導師李升波發(fā)表主題演講；合眾新能源汽車CTO戴大力；中汽創(chuàng)智智能駕駛CTO張振林；美團自動車研發(fā)總監(jiān)穆北鵬；達達快送產品與規(guī)劃負責人郭瑜；火山引擎汽車行業(yè)總經(jīng)理楊立偉；車云網(wǎng)&電動邦創(chuàng)始人、CEO程里等產業(yè)領軍人物出席第九屆HAOMO AI DAY尖峰對話環(huán)節(jié)，圍繞“2023自動駕駛：乘風大模型，創(chuàng)造新范式”展開討論。

（尖峰對話——2023自動駕駛：乘風大模型，創(chuàng)造新范式）

張亞勤發(fā)表了題為《Big Model, Generative Al and Intelligent Driving》的主題演講，他表示：“AI大模型帶來了從判別式AI到生成式AI的新技術范式變革，清華AIR正在利用生成式AI來構建自動駕駛仿真平臺以及Real2Sim2Real基礎模型平臺。同時，清華AIR與毫末智行在數(shù)據(jù)驅動決策優(yōu)化方向展開深入探索，共同推動全方位、多層次的產學研深度合作，加速AI技術在自動駕駛領域的落地應用?！?/p>

（張亞勤出席第九屆毫末AI DAY）

李升波表示：“自動駕駛是人工智能的皇冠明珠，算法的突破與數(shù)據(jù)的累積使得汽車駕駛智能性呈現(xiàn)快速發(fā)展的態(tài)勢，這也是自動駕駛技術的重點發(fā)展方向。毫末智行近年于數(shù)據(jù)驅動的感知、預測、決控方向進行了突破性探索，取得了一系列前瞻技術，為生成式人工智能的自動駕駛應用做出了有益嘗試?！?/p>

（李升波出席第九屆毫末AI DAY）

演講結尾，顧維灝提到：“毫末即將成立四周年，一約既定，萬山無阻。毫末人將繼續(xù)用AI連接更廣闊的世界，用技術叩問更浩遠的未來?！?/p>

張凱表示：“風好正揚帆，毫末人將始終秉持初心，保持創(chuàng)業(yè)者的激昂斗志，共同實現(xiàn)自動駕駛的夢想。”

生成海報

免責聲明：此文內容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關。文章僅供讀者參考，并請自行核實相關內容。投訴郵箱：editor@fromgeek.com。

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。