本文來源:智車科技

/ 導讀 /

埃隆·馬斯克一直在詬病激光雷達的成本,現在激光雷達便宜的競爭者來了,他應該點贊哦。不過,特斯拉至今沒有搭載,咋的了?

埃隆·馬斯克的特斯拉打死也不搭載激光雷達(LiDAR)自有其道理,但也沒能找到讓尚處于自動駕駛起步階段的車輛發現未經機器學習訓練的龐然大物的方法,以至于因“視而不見”而事故不斷,當然,無端突然加速又是另外一回事了。事實上,近年來馬斯克愛用的攝像頭方案已有了新的進展,引起了主機廠和Tier 1極大的關注和采用,它就是立體視覺(StereoVision)技術,也有人叫它3D感測或雙目攝像頭,當然還有多目攝像頭。今天就來聊聊這個雙目攝像頭的一些事兒。

特斯拉黑客的發現

談到一種技術,人們總要看電動汽車的領頭羊特斯拉是怎么做的,雙目攝像頭自然也不能例外。

近,特斯拉黑客@greentheonly在Autopilot代碼中觀察到Tesla Semi卡車的10個攝像頭設置,發現了Semi可能會安裝10個攝像頭的提示。他說:“Semi的第十個攝像頭被列為“右中繼器(Repeater)2”,這是相當有趣的,在Class 8卡車位于中央駕駛位置。車輛控制器‘HW3．2’也提到了Semi的10個攝像頭設置。所以只有一個右中繼器是不夠的。”不過,上述發現沒有涉及雙目立體視覺之類的攝像頭。

此前,Model 3車主Erik J． Martin曾路遇一輛路測的Semi原型車,它配備了26個攝像頭。特斯拉工程師當時表示,量產版Semi車型不會配備那么多攝像頭。那么,除了Green發現的10個攝像頭,另外16個又是什么樣的攝像頭呢?其實,早在2016年,在Model S上測試的特斯拉Autopilot 2．0硬件就可能有“某種雙目鏡頭相機,在駕駛員一側有一個吸盤支架,看起來像一副小望遠鏡。支架下面是一個非常大的中心鏡頭,看起來很像警車的行車記錄儀。”駕駛員側的大鏡頭是一個較小的單元,看起來像是面對路邊。這些附加攝像頭都沒有成為Model S或Model X當前Autopilot傳感器套件的一部分。為什么?最后會分析。

地主家有沒有余糧啊

就目前來說,特斯拉只能算新能源領域的豪車,尚無法與傳統意義上的豪車相提并論。看看那些典型豪華車:奔馳S級和E級、寶馬7系和5系、雷克薩斯LS系列、路虎Discovery Sport SUV、捷豹XFL、XE,都搭載了雙目攝像頭。

目前,全球主要雙目系統供應商有德國大陸、博世、韓國LG、日本日立和日本電裝,國內也有中科慧眼等雙目相機頭部企業,這些廠商的主要工作是使雙目相機能夠具備較好的障礙物分類能力。  兩個“眼睛”的雙目攝像頭

那真正的豪華車為什么與“新貴”一樣不使用測距很精確,視角也很大,覆蓋面更廣的LiDAR呢?最主要的原因還是成本太高,豪華車也不能不計成本呀!

現在,L4自動駕駛所需64線LiDAR的成本約為8-10萬美元,而在改裝第一代自動駕駛時大概花了兩百萬人民幣。”一位業內人士透露。其中,LiDAR是公認最花錢的地方之一。分辨率底很多的16線LiDAR也要約4千美元。一些初創公司如Oryx Vision、Oryx Vision、Quanergy都在研發替代旋轉式LiDAR的全固態LiDAR,但是,即使這樣,后者的價格還是在近千美元,況且成熟度有待考量。性能好的LiDAR與雙目攝像頭相比不相上下,而價格卻一個是“很高”,另一個是“中等”。

Innoviz聯合創始人兼CEO Omer Keilaf也承認:“針對L3自動駕駛,主機廠通常只愿意為LiDAR付1000美元;對于L2車型,他們只愿付400到500美元。”面對激烈的市場競爭,哪家主機廠會不計成本為車輛增加更多功能呢?

實錘還要看性能

現代汽車中使用的各種傳感器都是為了安全相關的感測目的,其實并無優劣之分,各有各的用處。自動駕駛車輛通常部署多個傳感器系統用于環境感知,LiDAR、雷達和攝像頭模塊最受歡迎。這些傳感器系統協同工作,提供對外部世界車輛、行人、騎自行車的人、標志等的綜合表示,其重疊功能也會產生冗余,確保在一個系統出現故障時,另一個系統會填補這一空白。來看看三種方案的對比。

·雷達:是大多數汽車傳感器套件的一個組成部分,也是一種成本相對較低、可靠且經過時間考驗的技術,能夠在合理距離內探測到較大的物體,并且在弱光和惡劣天氣情況下表現良好,這也是其在汽車領域的強大優勢。然而,由于很難探測到較小的物體并識別已探測到的物體,因此雷達只是解決方案的一個組成部分,即主要感測方式(LiDAR或攝像頭)的重要補充。

·LiDAR:通過測量激光信號從物體上返回到本地傳感器所需的時間來測量距離。它使用與聲納相似的原理,通過發射激光脈沖并測量這些信號從物體上彈回接收器所需的時間來確定車輛與環境之間的距離。

·雙目攝像頭:成對兒使用的攝像頭(即立體視覺)也可提供距離估計,它基于從相鄰的兩個視角(即兩個攝像頭)獲取同一環境的兩幅獨立圖像來估計距離,是視覺信息的三角測量結果。下圖顯示了雙目攝像頭的簡單原理。 

與人類雙眼成像原理相同,利用左相機和右相機同步對場景進行成像,近處物體在左右眼之間的位置變化比較大,而遠處的物體在左右眼中的位置差異較小。這就是視差,坐標系中的每一點距立體相機的距離都可以通過視差來轉化。

由于立體攝像頭有兩個“眼睛”,能夠利用一個攝像頭拍攝的圖像中的差異來檢測每種類型的障礙物,從掉在道路上的物品到人、動物和道路邊界,并可以確定它們的大小和到它們的距離,實現物體、車輛和行人檢測。LiDAR與雙目攝像頭的優缺點在下表中一目了然。

LiDAR與雙目攝像頭的優缺點

比起LiDAR,雙目攝像頭最大的優勢是成本,價格在幾千元人民幣。另外就是不用裸露在車外,維護成本低。此外,與成為豪華車首選的雙目攝像頭相比,LiDAR車載功能單一,無法識別顏色(剎車燈)。雙目攝像頭不僅能精確測量距離,還可以識別剎車燈、車道線、路旁交通標志等。

中科慧眼COO孟然表示:“隨著更高等級自動駕駛系統的技術成熟和市場應用,雙目天然的測量精度優勢,加上干擾較少,可以使其在未來的發展中生命周期更長。

立體視覺算法結合立體攝像頭的實時高精度深度圖(冷色調表示遠,暖色調表示近)

特斯拉還是“比目魚”

我們人類閉著一只眼也能感受到深度,因為視野中包含了很多深度相關的語義線索,例如物體大小、消失點等;自然界中還真存在依靠單目感知的生物,例如比目魚。其實比目魚也是雙目,只不過兩眼離得很近罷了。

特斯拉有點像它,那為什么它敢以目前的單目攝像頭為主傳感器呢?因為單目成本最低,所以才把重點放在單目上。之所以敢用,是因為它用實踐證明了單目可行和好用。

眾所周知,目前主流攝像頭只能提供2D圖像信息,缺少深度。使用攝像頭作主傳感器的主要難點就在于深度恢復。而自動駕駛的路徑規劃需要有3D道路信息和3D障礙物信息。如果攝像頭想成為主傳感器,就必須能夠提供準確的深度感知。從特斯拉公開的資料看,其深度恢復做的相當好,為感知、定位和規劃提供了堅實的基礎。不過,這樣做必須讓系統訓練有素,雖然它有海量數據可以用來訓練深度模型,但實際上仍無法保證能正確處理所有場景。所以,一旦出現深度預測失準,出現訓練的“漏網之魚”,就會錯誤估計道路環境和障礙物位置,可能車毀人亡。

事實上,LiDAR和HDMap(高精地圖)都可以可以作為額外的安全保障,但為了寬慰消費者和投資者,馬斯克必須控制成本,拋棄LiDAR的理由主要是太貴。馬斯克還有虛晃的一槍:2020年底就實現完全自動駕駛,但遇到實操時卻說:Autopilot只能作為L2使用,出了事故還是用戶背鍋。2020年9月,加拿大一車主就被這漂亮的甩鍋砸中,因“濫用”Autopilot超速而受到犯罪指控。

特斯拉還玩不轉立體視覺?

攝像頭越用越多,怎么選擇?特斯拉任何車型至今沒有搭載雙目攝像頭,這一直是個謎。

使用單目攝像頭獲得距離信息,必須先識別目標。而雙目攝像頭需要對每一個像素點進行立體匹配,需要超大運算量,但算法簡單,適合用FPGA來完成,佐思產研研究總監周彥武認為:“FPGA不是特斯拉這種小廠能玩得轉的。”

2020年4月,特斯拉收購了一家專注于開發計算機視覺技術的初創公司DeepScale,以提高其算法能力。特斯拉的深度學習網絡HydraNet包含48個不同的神經網絡,每個時間步輸出1000個不同的張量(tensor)即預測;理論上,HydraNet可以同時檢測1000個物體。

同時,特斯拉還發布了自主研發設計的芯片Tesla FSD,作為一款FPGA芯片,它集成了60億個晶體管和2．5億個邏輯門,每顆處理器內部有多達12個ARM A72 CPU核。馬斯克稱之為世界上最強大的芯片,性能是之前是用的NVIDIA方案的21倍,而且不只是性能強大,更關鍵是安全,任何一個模塊掛掉,汽車都會繼續正常行駛,故障率甚至比人失去意識的可能性還要低一個數量級。不過,至今尚無下文,沒有車型搭載。

半導體供應商和主機廠緊鑼密鼓 2020年8月,在日本市場銷售的新款斯巴魯Levorg的高級駕駛輔助系統(ADAS)搭載了FPGA頭部企業Xilinx汽車認證Zynq UltraScale+多處理器片上系統(MPSoC)。

雙目組件上的FPGA已在量產車中發揮關鍵作用 典型ADAS具有多種功能,包括自適應巡航控制、車道保持輔助和搖擺警告、碰撞前感測和發動機油門控制。斯巴魯的專有ADAS稱為Eyesight,基于立體視覺技術,2020和2021年幾款車型都將采用。

立體視覺系統生成兩種類型環境數據,一是基于高程(elevation)測量的復雜駕駛環境密度圖,二是由參數化車道、跟蹤長方體和行人組成的一系列幾何元素。這些計算元素既耗時又密集。為了根據接收到的環境數據進行實時決策,系統需要大量的數據帶寬和處理能力,因此并行性是必須的。這就是Xilinx UltraScale+SoC的用武之地。

Zynq UltraScale+MPSoC為ADAS提供了關鍵功能,Xilinx IP核上的高精度3D點云有助于產生立體視覺;Xilinx FPGA進行高速并行視頻和圖像處理,算法處理由Arm Cortex-A53處理,實時事件由Arm Cortex-R5處理。

汽車級Zynq UltraScale+MPSoC框圖

斯巴魯首席技術官Tetsuo Fujinuki表示:“立體攝像頭是斯巴魯ADAS應用的核心。與普通方法不同,我們新一代系統采用的圖像處理技術可掃描立體攝像頭捕捉的所有東西,并創建高精度3D點云,使我們能夠提供先進的功能,例如在交叉口進行碰撞前制動,在高速公路和交通擁堵時協助放手駕駛。”

他補充說:“由于Xilinx汽車器件具有內置功能,使我們能夠滿足嚴格的ASIL要求,因此它們無疑是實現斯巴魯新ADAS視覺系統的最佳技術。”

ADAS雙目感知進入AI時代

雙目系統成本比單目系統要高,但尚處于可接受范圍內,且與激光雷達等方案相比成本較低,但計算量級的加倍是難關也是突破口。

過去,傳統雙目攝像頭不能區分障礙物類型,僅僅是將前方障礙物檢測或測量出來,在實際應用中難以滿足要求。現在,利用先進處理器和人工智能算法,雙目攝像頭已能夠具備較好的障礙物分類能力和量產實用性。值得我們期待的是,雙目系統的門檻將正在逐步降低,未來將進入更多車型。- End -