碼隆科技提出跨越時空的樣本配對,解決深度度量學習痛點
六、對比 SOTA
與最近的深度度量學習方法對比,我們在四個檢索數據庫上效果均大幅提升,這里僅列出 VehicleID 的效果,其他數據集的效果見原論文。

簡單來說,不同于部分文章中使用更好的網絡結構,更大的輸出維度,或者更大的 mini-batch 來提升效果,強行 SOTA。我們列出 XBM 在 64 的 mini-batch 在不同的主干網絡下及各種維度下的效果,其效果一直是最好的。
七、可視化

更多可視化見論文補充材料,有更多實例說明效果。
八、總結與展望
第一,本文提出的 XBM 方法能夠記住過去的特征,使得模型的訓練不再僅僅依靠當前 mini-batch 的樣本,而是可以跨越時空進行樣本配對。從而用極小的代價,提供了巨量的樣本對,為 pair-based 的深度度量學習方法取得了巨大的效果提升。這種提升難例挖掘效果的方式,也是突破了過去兩個傳統思路:加權和聚類,并且效果也更加簡單、直接,很好地解決了深度度量學習的痛點。
第二,其實 Memory 機制并不是本文原創,但是用 Memory 來做難例挖掘是一個全新的嘗試。同樣在 CVPR 2020 獲得 Oral,也是由 Kaiming He 作為一作的 MoCo 也是這種思路。本文的方法其實可以認為是 MoCo 在 m=0 的特例,Kaiming 通過動量更新 key encoder,可以直接控制住特征偏移。作者認為,這種方法還會在很多任務帶來提升,不局限于 Kaiming 的自監督表示學習,以及此前我們一直關注研究的度量學習(或者說監督表示學習)。
第三,在本文中,雖然 XBM 在所有的 pair-based 的方法都有提升,但是明顯在對比損失(Contrastive Loss)上提升最大,具體原因待考。另外,我們也把在無監督表示上表現很好的 infoNCE 方法用到了深度度量學習,但效果并不顯著。作者認為這兩個問題的答案是同一個,且有值得深究的價值,希望在后續研究中進行進一步跟進探索。

關于我“門”▼
將門是一家以專注于發掘、加速及投資技術驅動型創業公司的新型創投機構,旗下涵蓋將門創新服務、將門技術社群以及將門創投基金。將門成立于2015年底,創始團隊由微軟創投在中國的創始團隊原班人馬構建而成,曾為微軟優選和深度孵化了126家創新的技術型創業公司。
將門創新服務專注于使創新的技術落地于真正的應用場景,激活和實現全新的商業價值,服務于行業領先企業和技術創新型創業公司。
將門技術社群專注于幫助技術創新型的創業公司提供來自產、學、研、創領域的核心技術專家的技術分享和學習內容,使創新成為持續的核心競爭力。
將門創投基金專注于投資通過技術創新激活商業場景,實現商業價值的初創企業,關注技術領域包括機器智能、物聯網、自然人機交互、企業計算。在近四年的時間里,將門創投基金已經投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數科技、迪英加科技等數十家具有高成長潛力的技術型創業公司。
請輸入評論內容...
請輸入評論/評論長度6~500個字


分享













