目標(biāo)檢測(cè)二十年間那些事兒：加速與優(yōu)化

2020-08-21 11:14

在上一章中我們簡(jiǎn)短回顧了目標(biāo)檢測(cè)在過(guò)去的二十年中如何從傳統(tǒng)滑窗算法到基于深度神經(jīng)網(wǎng)絡(luò)的全新領(lǐng)域，點(diǎn)擊回顧。這次，我們來(lái)分享一些近年涌現(xiàn)的各類(lèi)優(yōu)化技術(shù)，正是這些技術(shù)讓目標(biāo)檢測(cè)一再提速，從而能在工程上應(yīng)用到各類(lèi)設(shè)備中。

好快！比高鐵加速還快！

目標(biāo)檢測(cè)的加速技術(shù)

目標(biāo)檢測(cè)速度的提升一直是一個(gè)重要而又具有挑戰(zhàn)性的問(wèn)題。在過(guò)去的20年里，目標(biāo)檢測(cè)領(lǐng)域已經(jīng)發(fā)展了許多復(fù)雜的加速技術(shù)。接下來(lái)我們簡(jiǎn)要介紹“輕量化網(wǎng)絡(luò)設(shè)計(jì)”、“數(shù)值加速”、“特征檢測(cè)優(yōu)化”、“語(yǔ)義分割”等重要優(yōu)化方法。

輕量網(wǎng)絡(luò)設(shè)計(jì)

基于 CNN 檢測(cè)器的輕量化方法是直接設(shè)計(jì)一個(gè)輕量級(jí)的網(wǎng)絡(luò)，而不是使用現(xiàn)成的檢測(cè)引擎。研究人員長(zhǎng)期以來(lái)一直在探索網(wǎng)絡(luò)的正確配置，以便在有限的時(shí)間成本下獲得準(zhǔn)確性。一個(gè)通用的設(shè)計(jì)原則是“更少的通道，更多的層（fewer channels and more layers）”［1］。

此外，近年來(lái)也有一些新的技術(shù)，見(jiàn)下圖：

分解卷積

群卷積

深度可分離卷積

瓶頸設(shè)計(jì)

神經(jīng)結(jié)構(gòu)搜索

分解卷積

分解卷積是構(gòu)建輕量級(jí)CNN模型最簡(jiǎn)單、最直接的方法，有兩類(lèi)分解方法。

第一類(lèi)方法是將一個(gè)大的卷積濾波器分解成一組空間維數(shù)較小的卷積濾波器［2］，如上圖（b）所示。例如，可以將一個(gè)7x7過(guò)濾器分解為三個(gè)3x3過(guò)濾器，它們共享相同的接收域，但是后者效率更高。另一個(gè)例子是將 k×k 濾波器分解為k×1濾波器和1×k濾波器，這對(duì)于非常大的濾波器來(lái)說(shuō)可能更有效，比如15x15。該思想最近被用于目標(biāo)檢測(cè)。

第二類(lèi)方法是將一大組卷積分解為信道維數(shù)較小的兩組［3］，如上圖（c）所示。例如，可以用 d個(gè)濾波器近似卷積層，用d＇個(gè)濾波器＋一個(gè)非線(xiàn)性激活＋另外d個(gè)濾波器（d＇＜d）近似有c個(gè)通道的特征圖。在這種情況下，原始層的復(fù)雜度