太平洋科技 出行

“端到端”的風正在席卷中國智駕行業(yè)。

進入 2024 年下半年，如果有車企談智能駕駛時不談“端到端”，那大概率會被視為落后了。

7月5日，理想汽車發(fā)布了基于端到端模型、VLM 視覺語言模型和世界模型的全新自動駕駛技術架構。這基本是理想汽車端到端路徑的一次方法論輸出，較為完整地呈現(xiàn)出理想智駕下一步發(fā)展路徑。

在虎嗅汽車看來，此次發(fā)布有三大值得關注的焦點——理想的“端到端”和其它玩家的有何不同？理想的智駕研發(fā)到了什么程度？以及，理想為何在此時強調(diào)智駕技術能力？

相較華為，理想方案更為激進

先看理想全新的自動駕駛技術架構。其受諾貝爾獎得主丹尼爾·卡尼曼的快慢系統(tǒng)理論啟發(fā)，在自動駕駛領域模擬人類的思考和決策過程，采用了“快系統(tǒng)”和“慢系統(tǒng)”進行協(xié)同。

快系統(tǒng)，即系統(tǒng) 1，善于處理簡單任務，是人類基于經(jīng)驗和習慣形成的直覺，足以應對駕駛車輛時 95% 的常規(guī)場景。

慢系統(tǒng)，即系統(tǒng) 2，是人類通過更深入的理解與學習，形成的邏輯推理、復雜分析和計算能力，在駕駛車輛時用于解決復雜甚至未知的交通場景，占日常駕駛的約 5%。

在這一架構原型下，系統(tǒng) 1 由端到端模型實現(xiàn)，通過接收傳感器輸入，并直接輸出行駛軌跡用于控制車輛。系統(tǒng) 2 由 VLM 視覺語言模型實現(xiàn)，其接收傳感器輸入后，經(jīng)過邏輯思考，輸出決策信息給到系統(tǒng) 1。雙系統(tǒng)構成的自動駕駛能力將在云端利用世界模型進行訓練和驗證。

據(jù)理想的說法，其系統(tǒng) 1 的端到端模型采用的是 One Model 方案，主要由攝像頭和激光雷達構成，多傳感器特征經(jīng)過 CNN 主干網(wǎng)絡的提取、融合，投影至 BEV 空間。

另外理想在輸入端還加入了車輛狀態(tài)信息和導航信息，經(jīng)過 Transformer 模型的編碼，與 BEV 特征共同解碼出動態(tài)障礙物、道路結構和通用障礙物，并規(guī)劃出行車軌跡。

相較于華為、小鵬等廠商采用的是分段式端到端方案，理想采用的 One Model 方案更為激進。特斯拉同樣是 One Model 方案，但其“輸入圖像、輸出控制”的方案比理想的“輸入傳感器信息、輸出行駛軌跡”更進一步。

需要指出的是，目前各家廠商在端到端上采用不同的路徑只是選擇上的差異，并無優(yōu)劣之分。

理想這套架構的特別之處其實是系統(tǒng) 2，其基于的 VLM 視覺語言模型的算法架構由一個統(tǒng)一的 Transformer 模型組成，將 Prompt（提示詞）文本進行 Tokenizer（分詞器）編碼，并將前視相機的圖像和導航地圖信息進行視覺信息編碼，再通過圖文對齊模塊進行模態(tài)對齊，最終統(tǒng)一進行自回歸推理，輸出對環(huán)境的理解、駕駛決策和駕駛軌跡，傳遞給系統(tǒng) 1 輔助控制車輛。

在實際場景中，如果系統(tǒng)二發(fā)現(xiàn)行駛過程中地面路面非常坑洼不平時候，其會給系統(tǒng) 1 發(fā)一個降速的提醒，并告知駕駛員前方的坑洼路車輛將慢速行駛，減少顛簸；又或者是能夠識別公交車道的位置以及辨別潮汐車道等。

用理想的話說，系統(tǒng) 2 相當于副駕坐了個駕校的教練時刻監(jiān)督駕駛行為。值得一提的是，小鵬的大語言模型 XBrain、毫末的自動駕駛語義感知大模型也有類似能力。

據(jù)悉，理想的 VLM 模型參數(shù)量達到 22 億，VLM 模型在車端的推理時間也從 4.1 秒優(yōu)化至 0.3秒。

雙系統(tǒng)之外，理想還介紹了端到端方案的測試和驗證方法。業(yè)內(nèi)主流的做法是通過 3D 虛擬環(huán)境、重建式仿真、生成式仿真等進行仿真測試。理想的做法則是結合了重建仿真和生成仿真兩種技術路徑，相當于做了重建的真題和生成的模擬題。

事實上，特斯拉也利用了大模型生成連續(xù)視頻，打造 World Model 即世界模型；自動駕駛公司 Wayve 的自動駕駛大模型 GAIA-1（已擁有 90 億個參數(shù)）也同樣可以生成駕駛場景視頻，描述場景以及做出預測。

總的來看，理想的技術架構是在車端布局雙系統(tǒng)，ONE Model 的端到端模型讓其自動駕駛系統(tǒng)擁有了像人類老司機的行為能力；VLM 模型能夠讓自動駕駛系統(tǒng)擁有像人類一樣的邏輯思考能力；而世界模型則是提供了學習和考試的環(huán)境，擁有快速迭代的能力。

據(jù)理想智能駕駛負責人郎咸朋透露，其端到端方案從去年下半年就在內(nèi)部孵化并啟動預研，目前已經(jīng)完成了模型的原型驗證和實車的部署。

不過，這一方案還難以交付給用戶，理想在本月給 AD Max 用戶的，是推送無圖 NOA 方案。

智能駕駛迎來超車時刻

“端到端”正在成為各家廠商智能駕駛追逐戰(zhàn)的重要方向。

今年 3 月，元戎啟行能夠將端到端模型成功上車；華為在 4 月發(fā)布乾崑 3.0 時就表示技術轉向 GOD/PDP 網(wǎng)絡全新架構，實現(xiàn)預決策規(guī)劃一張網(wǎng)；小鵬 5 月在 AI DAY 上宣布端到端大模型已經(jīng)量產(chǎn)上車。另外，包括蔚來、小米、小鵬等廠商都對智駕團隊進行了調(diào)整以開展端到端的布局。

可以看到，包括特斯拉在內(nèi)的各家廠商在端到端技術方向上目前都處在探索當中，盡管在方案、路徑上的選擇各有不同，但可以肯定的是，端到端已經(jīng)成為智駕前進的方向。

不過，端到端會放大智駕系統(tǒng)的上限與下限，其能夠帶來智駕能力提升的同時，也帶來的難以解決的安全問題，端到端是一個神經(jīng)網(wǎng)絡黑箱，其不可解釋性帶來了一部分安全隱患。

在各家爭相布局之際，理想是首個公開端到端技術方案的車企，李想本人上個月在重慶論壇就公開了兩大系統(tǒng)的做法引起了業(yè)內(nèi)熱議，此次更是將全套技術架構方案公示，可謂是趁熱打鐵。

考慮到理想在下半年不會有新品發(fā)布，其率先在智駕能力上的輸出既能讓企業(yè)保持熱度，或也有維持其現(xiàn)有產(chǎn)品競爭力的考量。另外，端到端技術路徑的布局也給了理想在智駕能力上追趕的機會。

相較于華為、小鵬等采用分段式端到端做法，理想的端到端模型實現(xiàn)難度更大，其從PPT到走向量產(chǎn)落地要耗時多久，效果如何，還需要保持觀察。

根據(jù)辰韜資本發(fā)布的《端到端自動駕駛行業(yè)研究報告》，國內(nèi)自動駕駛公司的模塊化端到端方案上車量產(chǎn)時間可能會在 2025年。是騾子是馬，明年就到了拉出來遛遛的時候了。