英偉達在自動駕駛領域做了哪些技術探索?
近幾年,自動駕駛技術正在從技術驗證階段向規模化部署過渡,這對計算基礎設施、模型架構、安全體系與仿真工具提出了更高要求。英偉達近年來在自動駕駛領域持續投入,形成了從車端芯片到云端訓練、從推理模型到安全系統的完整技術方案。
2026年1月CES上,英偉達發布了Alpamayo系列AI模型和工具,并擴展了DRIVE Hyperion全球生態系統,新增Aeva、博世、采埃孚等傳感器合作伙伴。3月GTC大會上,英偉達汽車副總裁吳新宙指出,全球約13萬億英里的出行里程中,自動駕駛占比僅約0.006%,行業面臨的現實問題是如何從小規模驗證走向規模化應用。
大會上,英偉達發布了Alpamayo 1.5推理模型、Halos OS安全架構以及NuRec仿真工具,并宣布比亞迪、吉利、五十鈴、日產等車企加入DRIVE Hyperion平臺生態,共同推進L4級自動駕駛車輛量產。6月GTC臺北大會上,英偉達進一步推出參數規模達320億的Alpamayo 2 Super推理模型,以及專為物理AI打造的開放世界基礎模型Cosmos 3,將自動駕駛技術體系推向新的完整度。今天就帶大家一起聊聊英偉達為自動駕駛做了哪些技術支撐。

模型架構,從軌跡生成到推理決策
英偉達為自動駕駛設計的模型體系以視覺、語言、動作模型為核心,覆蓋從云端訓練到車端部署的完整鏈路。
2026年1月,英偉達在CES上首次發布了Alpamayo平臺,包含參數規模為100億的VLA模型Alpamayo R1、開源模擬框架AlpaSim,以及涵蓋1727小時、來自25個國家的駕駛數據集等三大核心組件。該模型的輸入包含視頻序列、自車運動歷史、導航路徑以及自然語言提示,輸出為帶有推理過程的駕駛軌跡。開發人員可以通過自然語言對模型的駕駛行為施加約束,模型會將指令轉化為路徑約束并執行。

圖片源自:網絡
2026年6月,英偉達在GTC臺北大會上推出了Alpamayo 2 Super模型,其參數規模擴展至320億,成為英偉達迄今最大的自動駕駛開源推理模型。該模型基于NVIDIA Cosmos世界基礎模型構建,輸入視野從前向攝像頭擴展至全車環視,覆蓋前后及側方視野,在長尾場景下的邏輯推理、三維空間感知和軌跡預測能力均有顯著增強。
模型具備元動作輸出能力,能夠預判禮讓、變道、停車等高層級駕駛行為,輸出結構化的駕駛意圖而非僅輸出軌跡點,使下游規劃與控制模塊獲得更明確的指令。模型同時具備推理式自動標注能力,可在訓練數據中生成帶有二維目標定位的因果鏈標簽,將標注周期從數月縮短至數日,在GitHub上開源的因果鏈自動標注流水線支持從原始行車視頻自動生成帶因果關聯的標注數據。
Alpamayo 2 Super還采用教師-學生蒸餾架構,320億參數的教師模型運行在云端,處理大規模數據并生成高精度偽標簽,通過知識蒸餾得到的輕量化學生模型部署在車端芯片上。Alpamayo系列模型自發布以來累計下載量已接近40萬次,在Hugging Face平臺上排名領先,并獲得了臺北國際電腦展車載技術與智能座艙類最佳選擇獎。

計算平臺,車端與云端的算力底座
英偉達的車載計算平臺以DRIVE AGX Thor為核心,Thor芯片基于Blackwell GPU架構,支持4位浮點精度計算,可提供2000 FP4 TFLOPS的AI算力(等效約1000 INT8 TOPS),相比前代DRIVE Orin實現了約7.5倍的性能提升。芯片內部集成了Transformer加速引擎,專門用于VLA模型中的自注意力計算,芯片內部還包含功能安全島,用于持續監控主計算單元的狀態。

圖片源自:網絡
DRIVE Hyperion是基于Thor構建的整車參考平臺,Hyperion包含傳感器配置、線束布置、散熱設計以及基礎軟件層。Hyperion 10版本搭載兩顆DRIVE AGX Thor芯片,合計提供超過2000 FP4 TFLOPS的實時計算能力。
DRIVE Hyperion 10作為英偉達推出的統一L4級自動駕駛參考架構,其官方標準傳感器配置為14個外部高清攝像頭、9個毫米波雷達、1個激光雷達和12個超聲波傳感器,搭載兩顆NVIDIA DRIVE AGX Thor系統級芯片,單顆芯片在FP4精度下算力超過2000 TFLOPS,平臺通過NVIDIA Halos端到端安全框架全面滿足ISO 26262 ASIL-D功能安全與ISO 21434網絡安全標準,硬件設計支持多模態冗余與單點故障安全降級。

圖片源自:網絡
2026年1月,禾賽科技正式成為該平臺的官方激光雷達合作伙伴,其ETX激光雷達完成適配認證,為生態提供可選方案;比亞迪、吉利、五十鈴、日產、現代汽車等車企也已加入生態,其中比亞迪與吉利基于該平臺開發下一代乘用車自動駕駛系統,五十鈴聯合TIER IV利用核心組件開發L4級自動駕駛巴士,日產采用Hyperion 10硬件架構并由Wayve提供軟件方案,而吉利旗下極氪品牌推出的極氪9X車型,在官方平臺基礎上擴展為5顆激光雷達與增強型感知系統,并于2026年1月獲得杭州市全域L3級自動駕駛道路測試牌照,覆蓋9224平方公里,為全國通行面積最大、里程最長的L3測試權限。

安全框架,從芯片到云端的全棧防護
英偉達的Halos安全框架覆蓋芯片、操作系統、中間件、算法模型和云端仿真五個內容。Halos OS是該框架的核心組件,于2026年3月GTC大會上首次發布,6月正式推出完整版本。

圖片源自:網絡
Halos OS基于DriveOS構建,通過了ISO 26262 ASIL-D最高功能安全認證,OS分為三個層級。操作系統層(Halos Core)包含對NVIDIA CUDA和TensorRT的安全認證支持,Hypervisor能隔離安全關鍵功能,并提供TensorRT Edge-LLM開源框架用于車端運行大語言模型推理。中間件層提供了標準化的傳感器抽象和車輛抽象接口,添加或更換傳感器不需要修改應用程序代碼。安全應用層則集成了基于規則的功能,為AI提供安全護欄,包括DRIVE主動安全堆棧,具備自動緊急制動、車道偏離預警、盲點監測等功能,符合Euro NCAP五星標準。
Halos還引入了多層安全護欄機制。第一層護欄監測輸入數據的完整性,如監測攝像頭圖像是否出現丟幀或校驗錯誤;第二層護欄監測模型輸出的合理性,如規監測劃軌跡是否超出車輛物理極限;第三層護欄監測執行層的反饋,如監測方向盤轉角指令是否被正確執行。當任何一層護欄觸發異常時,系統會按照預設的降級策略切換到冗余計算單元或請求駕駛員接管。
2026年3月,英偉達宣布建立Halos AI Systems Inspection Lab。該實驗室配備完整的車輛在環測試臺架和場景注入工具,對整車級自動駕駛系統進行安全評估。檢測項目包括感知系統魯棒性、規劃系統在長尾場景下的行為一致性、以及控制系統在硬件失效后的容錯能力。英偉達同時與廣達、禾賽、法雷奧等生態伙伴簽署Halos安全合作,共同推進安全驗證標準。

仿真工具鏈,數據閉環與加速驗證
仿真工具鏈是英偉達自動駕駛技術體系的關鍵組成部分,以Cosmos 3世界基礎模型為核心。Cosmos 3于2026年6月發布,是全球首款完全開放的全模態物理AI模型,其基于混合Transformer架構構建,能夠原生理解并生成文本、圖像、視頻、環境音和動作。

圖片源自:網絡
Cosmos 3解決了物理AI的一項核心難題,可以使機器人和智能汽車在訓練數據有限和仿真環境碎片化的情況下,在現實世界中進行泛化。該模型基于數十億條文本、圖像、視頻、聲音和動作軌跡樣本進行訓練,開發者可將Cosmos 3用作視覺語言模型進行環境感知推理,或用作世界模型模擬物理環境并預測未來世界狀態,以進行訓練和評估。
模型同時內置了世界動作模型的能力,可用于訓練和執行特定任務,在物理AI基準測試的公開評測中,Cosmos 3在開放模型類別中取得了領先結果,其世界生成準確率和動作策略指標均排名前列。英偉達同時成立了Cosmos Coalition,與Agile Robots、Black Forest Labs、Runway等機構共同推動世界模型發展。
對于已采集的真實路測數據,英偉達則提供了Omniverse NuRec神經重建模型。NuRec配套Fixer、Harvester等生成式模型,用于構建和擴展自動駕駛場景,開發者可以將真實車隊數據重建為高保真3D場景,并在場景中改變光照、天氣、路面附著系數等參數,插入新的動態障礙物,實現數據規模化擴展。此外,Cosmos工具可將同一場景擴展至不同天氣和城市環境,相關仿真體系已在英偉達內部實現每天約200萬次測試,用于模型驗證與迭代。
在Alpamayo 2 Super發布時,英偉達還同步推出了AlpaGym閉環強化學習框架和OmniDreams生成式世界模型。AlpaGym是一個高吞吐量閉環強化學習平臺,模型在仿真環境中可經歷連續的決策、觀察循環,每次動作對環境產生真實影響,仿真反饋直接連接到策略訓練循環,使模型暴露靜態數據集無法發現的復合錯誤和邊緣故障。OmniDreams可生成逼真且多樣化的長尾駕駛場景,支持大規模仿真罕見場景。
整套仿真工具鏈與云端計算資源集成,使自動駕駛開發流程類似于軟件工程,即可以做到數據采集、模型訓練、仿真驗證、上車部署、問題反饋與再訓練形成閉環。英偉達內部模型迭代已可做到每天發布多個版本,測試到上線周期縮短至數小時級別。

整體技術架構
英偉達在自動駕駛領域的技術覆蓋了模型、計算、安全、仿真四個環節,英偉達汽車副總裁吳新宙將其概括為三臺計算機,即云端訓練、云端仿真以及車端推理,三個環節在同一體系內協同運行。

圖片源自:網絡
模型層提供Alpamayo VLA推理模型系列,具備可解釋性和教師-學生蒸餾能力;計算層以DRIVE AGX Thor芯片和DRIVE Hyperion參考平臺為基礎,提供可擴展的硬件底座;安全層通過Halos OS實現全棧功能安全與評估;仿真層利用Cosmos 3、NuRec、AlpaGym和OmniDreams構成數據閉環與驗證體系。四層能力共同構成了從云端訓練到車端部署的完整開發與部署平臺,為自動駕駛從技術驗證走向規模化運營提供了基礎設施。
-- END --
原文標題 : 英偉達在自動駕駛領域做了哪些技術探索?
圖片新聞
最新活動更多
-
精彩回顧立即查看>> 【線下會議】恩智浦創新技術峰會·深圳
-
精彩回顧立即查看>> 【在線直播】可視化神器!VisionSym 賦能汽車光學原型開發
-
精彩回顧立即查看>> 12月16-17日 AMD 嵌入式峰會
-
精彩回顧立即查看>> 恩智浦創新技術峰會
-
精彩回顧立即查看>> 【工程師系列】汽車電子技術在線大會
-
精彩回顧立即查看>> Works With 開發者大會深圳站
推薦專題
- 1 特斯拉 CVPR 2026 演講全文和詳解:把自動駕駛,做成「所有機器人的基礎模型」
- 2 深圳立法放開自動駕駛全域通行,7月1日正式實施
- 3 特斯拉CEO馬斯克又放狠話:2026年無人車開遍全美,十年后自己開車成“小眾愛好”
- 4 特斯拉監督版FSD登陸中國被廣泛關注,技術架構有啥特點?
- 5 2026年5月國內汽車質量投訴指數分析報告
- 6 「豆包汽車」要來了?賽力斯藍電改名賽豆,字節跳動深度上車
- 7 無人配送車2026:別急著喊“跨過生死線”,但它確實從“能不能跑”跨越到“能不能賺錢”
- 8 2026年無人車突然滿大街跑了?三大拐點疊加,行業悶聲發大財的時代真的來了
- 9 地平線股價年內大跌44%:都怪比亞迪自研芯片?
- 10 一周股評|全球市場受挫,半導體開始收割市場


分享










