自動(dòng)駕駛的“iPhone 4”時(shí)刻：理想MindVLA到底變革了什么？

文/陳鋒

編輯/子夜

AI對(duì)于理想汽車意味著什么？

幾個(gè)月前的“2024理想AI Talk”上，理想汽車董事長(zhǎng)兼CEO李想的回答是：（在愿景上）意味著未來(lái)的全部。

“電動(dòng)化是上半場(chǎng)，智能化是下半場(chǎng)，但我認(rèn)為，這個(gè)智能化講的不是傳統(tǒng)的軟件智能，而是真正的人工智能，這是造車往下延續(xù)的一個(gè)必經(jīng)之路。汽車將從工業(yè)時(shí)代的交通工具，進(jìn)化成為人工智能時(shí)代的空間機(jī)器人?！崩钕脒@么說(shuō)道。

在當(dāng)下的新能源汽車市場(chǎng)中，理想也是在AI戰(zhàn)略上布局更早、投入更堅(jiān)決的車企之一。

從2022年9月在內(nèi)部將發(fā)展AI定為戰(zhàn)略核心，到2023年初正式將這一戰(zhàn)略對(duì)外，再到去年底“2024理想AI Talk”分享了對(duì)人工智能的最新思考和戰(zhàn)略成果，理想已經(jīng)跑出了更快的AI“加速度”。

近期，圍繞AI戰(zhàn)略布局，以及AI在智能駕駛上的落地，理想汽車又迎來(lái)了一個(gè)關(guān)鍵里程碑，發(fā)布了理想汽車自動(dòng)駕駛架構(gòu)——MindVLA。

圖源理想汽車官方微信公眾號(hào)

理想汽車自動(dòng)駕駛技術(shù)研發(fā)負(fù)責(zé)人賈鵬表示：“就像iPhone 4重新定義了手機(jī)，MindVLA也將重新定義自動(dòng)駕駛”。在理想汽車2024年第四季度及全年財(cái)報(bào)業(yè)績(jī)會(huì)上，李想表示今年計(jì)劃將MindVLA和首款純電SUV車型理想i8同時(shí)發(fā)布。

1、MindVLA，一個(gè)司機(jī)Agent究竟能做什么？

MindVLA到底是什么？

它是視覺(jué)-語(yǔ)言-行為大模型，是機(jī)器人大模型的新范式，非簡(jiǎn)單的將端到端模型和VLM模型結(jié)合在一起。它所有的模塊都是全新設(shè)計(jì)的，將空間智能、語(yǔ)言智能和行為智能統(tǒng)一在了同一個(gè)模型里。

具體來(lái)看，3D空間編碼器通過(guò)語(yǔ)言模型，和邏輯推理結(jié)合在一起后，給出合理的駕駛決策，并輸出一組Action?Token（動(dòng)作詞元），Action Token指的是對(duì)周圍環(huán)境和自車駕駛行為的編碼，并通過(guò)Difusion(擴(kuò)散模型)進(jìn)一步優(yōu)化出最佳的駕駛軌跡，整個(gè)推理過(guò)程都要發(fā)生在車端，并且要做到實(shí)時(shí)運(yùn)行。

理想汽車在VLA上的率先布局，源于其對(duì)自動(dòng)駕駛以及大模型前沿技術(shù)的敏銳洞察，也源于更早、更堅(jiān)定的AI戰(zhàn)略。

“我們認(rèn)為，基座模型到一定時(shí)刻，一定會(huì)變成VLA?！?/strong>此前，李想如此表示。在他看來(lái)，語(yǔ)言模型也要看三維世界，也要通過(guò)語(yǔ)言、認(rèn)知理解三維世界，同時(shí)自動(dòng)駕駛走向L4，也要有極強(qiáng)的認(rèn)知能力。

圖源理想汽車官方微信公眾號(hào)

這意味著，未來(lái)在MindVLA模型加持下的理想汽車，能更好地感知、思考和適應(yīng)環(huán)境，成為一個(gè)能聽(tīng)懂用戶說(shuō)話、看懂用戶需求、幫用戶解決問(wèn)題的“專職司機(jī)”。具體來(lái)說(shuō)：

一來(lái)，用戶可以通過(guò)語(yǔ)音指令來(lái)改變車輛的路線和行為。

比如你正在陌生園區(qū)尋找超市，這時(shí)你只需要通過(guò)理想同學(xué)對(duì)車輛說(shuō)“帶我去超市”，車輛將在沒(méi)有導(dǎo)航信息的情況下，自主漫游找到目的地；車輛在行駛的過(guò)程中，你還可以跟理想同學(xué)說(shuō)“開太快了”“應(yīng)該走左邊這條路”，MindVLA都能理解并執(zhí)行這些指令。

二來(lái)，基于強(qiáng)大的通識(shí)能力，MindVLA能更好地識(shí)別周圍環(huán)境。

比如MindVLA能認(rèn)識(shí)星巴克、肯德基等不同的商店招牌，當(dāng)你在陌生地點(diǎn)找不到車輛時(shí)，可以拍一張附近環(huán)境的照片發(fā)送給車輛，擁有MindVLA賦能的車輛能夠搜尋照片中的位置，并自動(dòng)找到你。

第三，基于空間理解和邏輯推理能力，搭載了MindVLA的車輛，“找得到”的能力也提升了。

搭載MindVLA的車型可以自主地在地庫(kù)、園區(qū)和公共道路上漫游。典型的場(chǎng)景是“找車位”。比如用戶在商場(chǎng)地庫(kù)找不到車位時(shí)，用戶只需要對(duì)著車輛說(shuō)“去找個(gè)車位停好”，車輛無(wú)需依賴地圖或?qū)Ш叫畔?，并?shí)現(xiàn)自主尋找合適的車位停下。

總結(jié)來(lái)看，在有了MindVLA賦能后，每一輛車其實(shí)都不再是單純的駕駛工具了，而是真正成了能與用戶溝通、理解用戶意圖的智能體。

2、MindVLA賦能的車輛，為何能成為“專職司機(jī)”？

MindVLA能成為一名聽(tīng)得懂、看得見(jiàn)、找得到的專職司機(jī)，強(qiáng)大的功能背后在于MindVLA六大關(guān)鍵技術(shù)賦能。

MindVLA打破了自動(dòng)駕駛技術(shù)框架設(shè)計(jì)的傳統(tǒng)模式，使用了能夠承載豐富語(yǔ)義，且具備出色多粒度、多尺度3D幾何表達(dá)能力的3D高斯這一中間表征，能幫系統(tǒng)更高效地感知、理解周圍環(huán)境，同時(shí)充分利用海量數(shù)據(jù)進(jìn)行自監(jiān)督訓(xùn)練，進(jìn)而極大提升了下游任務(wù)性能。

圖源理想汽車官方微信公眾號(hào)

理想從0開始設(shè)計(jì)和訓(xùn)練了適合MindVLA的LLM基座模型，采用MoE混合專家架構(gòu)，引入Sparse Attention（稀疏注意力），實(shí)現(xiàn)模型稀疏化，保證模型規(guī)模增長(zhǎng)的同時(shí)，不降低端側(cè)的推理效率。

基座模型訓(xùn)練過(guò)程中，理想加入大量3D數(shù)據(jù)，使模型具備3D空間理解和推理能力。為了進(jìn)一步激發(fā)模型的空間智能，理想加入了未來(lái)幀的預(yù)測(cè)生成和稠密深度的預(yù)測(cè)等訓(xùn)練任務(wù)。

LLM基座模型獲得3D空間智能的同時(shí)，還需要進(jìn)一步提升邏輯推理能力。理想訓(xùn)練LLM基座模型學(xué)習(xí)人類的思考過(guò)程，讓快慢思考有機(jī)結(jié)合到同一模型中，并可以實(shí)現(xiàn)自主切換快思考和慢思考。

為了把NVIDIA Drive AGX的性能發(fā)揮到極致，MindVLA采取小詞表結(jié)合投機(jī)推理，以及創(chuàng)新性地應(yīng)用并行解碼技術(shù)，進(jìn)一步提升了實(shí)時(shí)推理的速度。至此，MindVLA實(shí)現(xiàn)了模型參數(shù)規(guī)模與實(shí)時(shí)推理性能之間的平衡。

MindVLA利用Diffusion將Action Token解碼成優(yōu)化的軌跡，并通過(guò)自車行為生成和他車軌跡預(yù)測(cè)的聯(lián)合建模，提升在復(fù)雜交通環(huán)境中的博弈能力。同時(shí)Diffusion可以根據(jù)外部條件，例如風(fēng)格指令，動(dòng)態(tài)調(diào)整生成結(jié)果。為了解決Diffusion模型效率低的問(wèn)題，MindVLA采用Ordinary Differential Equation（常微分方程）采樣器，實(shí)現(xiàn)了2-3步就能完成高質(zhì)量軌跡的生成。

面對(duì)部分長(zhǎng)尾場(chǎng)景，理想建立起人類偏好數(shù)據(jù)集，并且創(chuàng)新性地應(yīng)用RLHF（基于人類反饋的強(qiáng)化學(xué)習(xí)）微調(diào)模型的采樣過(guò)程，最終使MindVLA能夠?qū)W習(xí)和對(duì)齊人類駕駛行為，顯著提升安全下限。

與此同時(shí)，基于理想自研的重建+生成云端統(tǒng)一世界模型，MindVLA深度融合了模型的三維場(chǎng)景還原能力與生成模型的新視角補(bǔ)全，以及未見(jiàn)視角的預(yù)測(cè)能力，構(gòu)建了接近真實(shí)的仿真環(huán)境。

源于理想在世界模型上的技術(shù)積累與充足計(jì)算資源的支撐，MindVLA也實(shí)現(xiàn)了基于仿真環(huán)境的大規(guī)模強(qiáng)化學(xué)習(xí)，即真正意義上的從“錯(cuò)誤中學(xué)習(xí)”。

我們了解到，過(guò)去一年里，理想自動(dòng)駕駛團(tuán)隊(duì)完成了世界模型大量的工程優(yōu)化，顯著提升了場(chǎng)景重建與生成的質(zhì)量和效率，其中一項(xiàng)工作，是將3D GS的訓(xùn)練速度提升了7倍以上。

理想通過(guò)創(chuàng)新性的預(yù)訓(xùn)練和后訓(xùn)練方法，讓MindVLA的泛化能力和涌現(xiàn)特性，都更明顯了。其不僅在駕駛場(chǎng)景下表現(xiàn)優(yōu)異，在室內(nèi)環(huán)境也展示出了一定的適應(yīng)性和延展性。

3、自動(dòng)駕駛，將被MindVLA重新定義？

從OpenAI到DeepSeek，大模型推理能力不斷更新與進(jìn)化下，VLA將成為車企探索智駕能力上限的新出口。

“端到端+VLM可以解決L3，比如實(shí)現(xiàn)500公里到1000公里一次接管，讓你在車上相對(duì)輕松。但僅靠端到端實(shí)現(xiàn)不了L4?！崩钕肴绱苏f(shuō)道。

他還提到，自動(dòng)駕駛實(shí)現(xiàn)L4，必須使用VLA。

李想的這一判斷，正加速成為車企共識(shí)——2025年以來(lái)，VLA所呈現(xiàn)出來(lái)的強(qiáng)大感知、思考和適應(yīng)環(huán)境的能力，正重新定義自動(dòng)駕駛，也將成為車企競(jìng)逐自動(dòng)駕駛的新錨點(diǎn)。

“VLA模型極有可能在未來(lái)兩年內(nèi)改寫智能駕駛市場(chǎng)的競(jìng)爭(zhēng)格局。”最近，中國(guó)自動(dòng)駕駛產(chǎn)業(yè)創(chuàng)新聯(lián)盟調(diào)研員高超如此表示。

他提到，預(yù)計(jì)2025年VLA模型的量產(chǎn)落地，將推動(dòng)城區(qū)NOA滲透率提升。

高盛發(fā)布的一則自動(dòng)駕駛報(bào)告也提到，到2030年，VLA模型主導(dǎo)的端到端方案，或?qū)⒄紦?jù)L4級(jí)自動(dòng)駕駛市場(chǎng)60%的份額。

連線Insight也注意到，理想汽車之外，元戎啟行、小鵬、華為等玩家已經(jīng)在加速布局。市場(chǎng)上也有聲音認(rèn)為，2025年將是“VLA上車元年”。

基于上述背景討論MindVLA，其不僅是理想在通向L4級(jí)別自動(dòng)駕駛路上的一次率先搶跑，也是AI推動(dòng)自動(dòng)駕駛能力持續(xù)上探的一個(gè)范本。

從最核心的用戶體驗(yàn)來(lái)看，MindVLA加持之下，傳統(tǒng)的駕乘關(guān)系，正加速迎來(lái)新一輪變革。過(guò)往的智駕體驗(yàn)中，主駕必須監(jiān)管、監(jiān)督車輛行為，但當(dāng)加持了MindVLA的車能夠真正“看得見(jiàn)”“聽(tīng)得懂”“找得到”，疊加車本身的智駕能力不斷上探，這帶來(lái)的是人與車更絲滑的交互體驗(yàn)、更舒適的駕乘生活，乃至更便捷的出行方式。

圖源理想汽車官網(wǎng)

某種程度上，這與早些年智能手機(jī)領(lǐng)域的“iPhone 4時(shí)刻”有一定相似之處——同樣是最大限度變革了人與“機(jī)器”的交互方式和交互體驗(yàn)。

由此，如果說(shuō)“iPhone 4”的推出重新定義了手機(jī)行業(yè)，那如今MindVLA的推出，以及后續(xù)陸續(xù)上車，實(shí)際上已經(jīng)在“重新定義自動(dòng)駕駛”。

從更長(zhǎng)遠(yuǎn)視角來(lái)看，MindVLA所呈現(xiàn)出來(lái)的對(duì)物理世界和數(shù)字世界結(jié)合范式的探索，也有望賦予更多行業(yè)協(xié)同發(fā)展。

(本文頭圖來(lái)源于理想汽車官網(wǎng)。）