自動駕駛領(lǐng)頭羊Waymo十周年奉獻：Auto ML機器學習

2019-01-17 10:12

美國當?shù)貢r間1月16日，全球自動駕駛領(lǐng)頭羊Waymo，發(fā)布了十年周年慶祝短視頻，并且在官方博客上發(fā)布了關(guān)于“Auto ML（Auto Machine Learning）”的文章，深度剖析了Auto ML與Google AI大腦，是如何幫助Waymo發(fā)展自動駕駛技術(shù)的。

在Waymo的官方推特上寫著：十年前的這個星期，“項目司機”正式成立，其使命是改善道路安全，使交通更加便利。從這個“登月”項目，到谷歌自動駕駛汽車項目，現(xiàn)在是Waymo，一起為下一個十年及更遠的將來而努力！

下面是關(guān)于Auto ML的文章，在Waymo，機器學習幾乎在自動駕駛系統(tǒng)的每個部分都扮演著關(guān)鍵角色。它幫助我們的汽車看清周圍的環(huán)境，理解世界，預測他人的行為，并決定他們下一步的最佳行動。

以感知為例，Waymo的系統(tǒng)采用了神經(jīng)網(wǎng)絡(luò)的組合，使Waymo的車輛能夠解讀傳感器數(shù)據(jù)、識別物體，并隨著時間的推移跟蹤它們，從而對周圍的世界有一個深入的了解。

創(chuàng)建這些神經(jīng)網(wǎng)絡(luò)通常是一項耗時的任務(wù)：優(yōu)化神經(jīng)網(wǎng)絡(luò)架構(gòu)，以達到自動駕駛汽車運行所需的質(zhì)量和速度，是一個復雜的微調(diào)過程，Waymo工程師可能需要數(shù)月時間來完成一項新任務(wù)。

現(xiàn)在，通過與來自Google AI大腦的研究人員合作，Waymo正在將前沿研究付諸實踐，以自動生成神經(jīng)網(wǎng)絡(luò)。更重要的是，這些最先進的神經(jīng)網(wǎng)絡(luò)比那些由工程師手工調(diào)整的神經(jīng)網(wǎng)絡(luò)質(zhì)量更高、速度更快。

為了將Waymo的自動駕駛技術(shù)應(yīng)用到不同的城市和環(huán)境中，需要針對不同的場景快速優(yōu)化Waymo的模型。Auto ML使Waymo能夠做到這一點，高效和連續(xù)地提供大量ML解決方案。

01 遷移學習：使用現(xiàn)有的自動化架構(gòu)

Waymo和Google AI大腦的合作始于一個簡單的問題：Auto ML能否為汽車生成高質(zhì)量、低延遲的神經(jīng)網(wǎng)絡(luò)？

質(zhì)量衡量的標準是由神經(jīng)網(wǎng)絡(luò)產(chǎn)生的答案的準確性，延遲度量網(wǎng)絡(luò)提供答案的速度，也稱為推理時間。由于駕駛是一種活動，它要求車輛使用實時答案，并且考慮到系統(tǒng)的安全性，神經(jīng)網(wǎng)絡(luò)需要在低延遲的情況下運行。大多數(shù)網(wǎng)絡(luò)直接運行在Waymo的車輛上，結(jié)果少于10毫秒，這比部署在數(shù)千臺服務(wù)器上的數(shù)據(jù)中心中的許多網(wǎng)絡(luò)要快。

在原來的Auto ML論文（Learning Transferable Architectures for Scalable ImageRecognition PDF，獲取方式見文末），谷歌AI的員工能夠自動探索12000多個架構(gòu)解決CIFAR－10的經(jīng)典圖像識別任務(wù)：確定一個小形象代表十個類別之一，比如買一輛汽車、飛機、一只狗，等等。

在后續(xù)文章（NEURAL ARCHITECTURE SEARCH WITHREINFORCEMENT LEARNING

PDF，獲取方式見文末），他們發(fā)現(xiàn)了一個家庭的神經(jīng)網(wǎng)絡(luò)的構(gòu)建塊，稱為NAS單元，這可能是由自動構(gòu)建比手工網(wǎng)CIFAR－10和類似的任務(wù)。通過這種合作，Waymo的研究人員決定使用這些單元來自動構(gòu)建針對自動駕駛?cè)蝿?wù)的新模型，從而將CIFAR－10上的知識轉(zhuǎn)移到汽車領(lǐng)域，第一個實驗是語義分割任務(wù)：識別激光雷達點云中的每個點，如汽車、行人、樹等。

圖一：一個NAS單元的例子，這個單元在神經(jīng)網(wǎng)絡(luò)中處理前兩層的輸入

為此，Waymo研究人員建立了一個自動搜索算法，在卷積網(wǎng)絡(luò)架構(gòu)（CNN）中探索數(shù)百種不同的NAS單元組合，為Waymo的激光雷達分割任務(wù)訓練和評估模型。當Waymo的工程師手工調(diào)整這些網(wǎng)絡(luò)時，只能探索有限數(shù)量的架構(gòu)，但是使用這種方法，可以自動探索了數(shù)百個架構(gòu)。

相比以前的人工微調(diào)優(yōu)化神經(jīng)網(wǎng)絡(luò)，Auto ML通過下面兩種方式來改進：

一些具有類似質(zhì)量的延遲顯著降低；

其他的則具有更高的質(zhì)量和類似的延遲。

初步成功后，Waymo將相同的搜索算法應(yīng)用于另外兩個與交通車道檢測和定位相關(guān)的任務(wù)，轉(zhuǎn)移學習技術(shù)也適用于這些任務(wù)，最后能夠在汽車上部署三個新訓練和改進的神經(jīng)網(wǎng)絡(luò)。