降本增效

論文提到，現有的同步 RL 系統面臨著嚴重的性能瓶頸。部署階段存在顯著的長尾延遲和資源利用率低下的問題。

Seer 通過利用共享同一提示的請求之間輸出長度和生成模式的相似性來解決這些挑戰。引入了三項關鍵技術：用于動態負載均衡的分段部署、上下文感知調度、和自適應分組推測解碼。

這些機制顯著降低了部署階段的長尾延遲并提高了資源效率。

傳統的組級部署將請求組視為整體單元，導致實例間和實例內負載嚴重不均衡。Seer 通過分段部署實現動態負載均衡并防止搶占�；�于分段部署，Seer 實現了在線上下文學習，從而支持上下文感知調度和自適應分組推測解碼，進一步縮短部署時間。

分段式部署

Seer 采用了分割式滾動調度（Divided Rollout）來實現動態負載均衡并最大化顯存利用率。Seer 不僅將請求組拆分為獨立的請求，還將其進一步分解為多個塊，并進行增量調度和分發。這種策略使得整個滾動調度過程能夠在不觸發代價高昂的搶占的情況下最大化資源利用率。

上下文感知調度

Seer 利用推測性請求機制來指導其調度策略。通過從每個 GRPO 組生成一個高優先級響應，它可以在線估算該組的預期生成長度和 KVCache 占用空間。這使得全局調度器能夠實現近似的最長作業優先策略。

這種方法優先處理耗時較長的任務，使其與耗時較短的任務并行運行，從而最大化批處理密度

自適應分組推測解碼

Seer 引入了一種基于在線上下文學習的推測解碼機制，以實現部署加速。Seer 部署了一個分布式分組草稿服務器（DGDS），創建了一個高度精確的動態草稿模型，該模型與目標模型固有地同步。

此外，DGDS 還引入了一種自適應草稿范圍機制，以最大化系統吞吐量。自適應分組推測解碼在端到端吞吐量方面分別比兩種消融變體高出 27% 和 11%。

實驗結果

為了測試 Seer 端到端的性能，研究人員將 Seer 的吞吐量性能與同步強化學習系統 veRL 進行比較。結果顯示，盡管不同強化學習任務的模型規模和工作負載特征存在顯著差異，但 Seer 在所有任務中均實現了顯著的加速，吞吐量比 veRL 提高了 74% 到 97%。

這種改進源于 Seer 的細粒度負載均衡以及其在線學習分組請求上下文信息的能力，從而實現了更優的調度策略和更高效的分組推測解碼。

基準系統在迭代過程中完成時間和吞吐量表現出較大的波動性。這種不穩定性源于其組級調度方法，該方法中資源利用率受初始請求分配隨機性的嚴重影響。相比之下，Seer 采用細粒度調度和動態負載均衡，顯著降低了資源利用率的波動性。

為了進一步分析，研究人員還對部署過程中的長尾延遲現象進行了統計分析。

結果表明，尾部延遲是部署過程中的一個嚴重問題，尤其對于像 Moonlight 和 Qwen2-VL-72B 這樣內存受限的任務而言，僅最后 10% 的請求就消耗了高達 50% 的總執行時間。

由于缺乏長度信息，請求排隊和搶占機制會導致長輸出請求的調度延遲，使得少數請求主導最終執行階段。其次，單一的請求組會導致實例間的負載不均衡，某些實例會被分配平均長度極長的請求，從而造成尾延遲。Seer 利用在線上下文學習和細粒度請求調度，顯著降低了 75% 到 93% 的尾延遲，從而大幅提升了系統吞吐量。

參考資料：

https://arxiv.org/pdf/2511.14617