這次推出的 SAM 3 是一個統一模型，它基于概念提示來檢測、分割和跟蹤圖像和視頻中的對象。

可提示概念分割 (PCS) 可為所有匹配的對象實例返回分割掩碼和唯一標識。為了改進 PCS，團隊構建了一個可擴展的數據引擎，該引擎能夠生成一個包含 400 萬個唯一概念標簽的高質量數據集，涵蓋圖像和視頻。

SAM 3 在圖像和視頻 PCS 方面比現有系統提升了 2 倍，并在交互式視覺分割任務中提升了先前 SAM 的性能。

目前，SAM 3 以及全新的“帶概念的任意分割 (SA-Co)”基準測試已在各大平臺上開源。

可提示分割

SAM 3 是 SAM 2 的推廣，支持新增的 PCS 任務以及 PVS 任務。它使用概念提示（簡單名詞短語、圖像樣本）或視覺提示（點、框、蒙版）來定義需要（單獨）進行時空分割的對象。

SAM 3 的架構是由一個雙編碼器-解碼器轉換器組成，該轉換器與跟蹤器和視頻存儲器結合使用。檢測器和跟蹤器從對齊的感知編碼器 (PE) 主干網絡獲取視覺語言輸入。

團隊構建一個高效的數據引擎，該引擎通過 SAM 3、人工注釋者和 AI 注釋者的反饋循環迭代生成帶注釋的數據，并主動挖掘當前 SAM 3 版本無法生成高質量訓練數據的媒體短語對，以便進一步改進模型。該引擎使吞吐量提高了一倍以上。

訓練分為四個階段：

第一階段： 人工驗證。首先，通過隨機采樣圖像進行數據挖掘，并使用簡單的字幕器和解析器進行名詞短語提議。

第二階段：人機協同驗證。利用第一階段收集的 MV 和 EV 任務中人為接受/拒絕的標簽，對 Llama 3.2 進行微調，從而創建 AI 驗證器來自動執行 MV 和 EV 任務。

第三階段：規模化和領域擴展。使用 AI 模型挖掘日益復雜的案例，并將 SA-Co/HQ 的領域覆蓋范圍擴展至 15 個數據集。

第四階段：視頻標注。此階段將數據引擎擴展到視頻領域。

實驗結果

團隊對 SAM 3 進行了圖像/視頻分割、小樣本自適應檢測和計數基準測試，以及使用 SAM 3 + MLLM 進行復雜語言查詢分割的評估。

結果顯示，零樣本 SAM 3 在封閉詞匯 COCO、COCO-O 和 LVIS 邊界框上均具有競爭力，并且在 LVIS 掩碼上表現更佳。

在開放詞匯 SA-Co/Gold 上，SAM 3 的 CGFscore 是最強基準 OWLv2 的兩倍，并且達到了人類表現預估下限的 88%。

在 ADE-847、PascalConcept-59 和 Cityscapes 數據集上的開放詞匯語義分割結果表明，SAM 3 的表現優于強大的專業基準 APE。

與 MLLM 相比，SAM 3 不僅實現了良好的物體計數準確率，而且還提供了大多數 MLLM 無法提供的對象分割功能。

在文本提示的視頻 PCS 的基準測試中，SAM 3 表現出色，尤其是在包含大量名詞短語的基準測試集上。

SAM 3 在大多數基準測試中都比 SAM 2 取得了顯著的改進，尤其是在具有挑戰性的 MOSEv2 數據集上，SAM 3 的表現比先前的研究高出 6 個點。對于交互式圖像分割任務，SAM 3 在平均 mIoU 方面優于 SAM 2。

論文的主要貢獻包括：

1. 引入了 PCS 任務和 SA-Co 基準。

2. 提出了一種解耦的識別-定位架構，在保留 PVS 功能的同時擴展了 SAM 2 的 PCS 功能。

3. 開發了一個高質量、高效的人工和 AI 注釋器循環數據引擎。

研究人員表示，SAM 3 和 SA-Co 基準將成為重要的里程碑，為計算機視覺領域未來的研究和應用鋪平道路。

參考資料：

https://openreview.net/pdf?id=r35clVtGzw